Data Engineer Spark S3 - Freelance (H/F)

Description du poste

Taux journalier (TJM): 550€ La mission : * Concevoir, développer et maintenir des pipelines de traitement de données avec Apache Spark. * Modéliser et faire évoluer les tables Apache Iceberg sur Amazon S3, en veillant à la performance, à l'évolutivité et à la gouvernance des données. * Mettre en place des contrôles de qualité : complétude, unicité, fraîcheur, cohérence et traçabilité des données du catalogue. * Construire un système résilient : traitements idempotents, reprise sur erreur, retries maîtrisés, gestion des données en retard, rejouabilité et backfill. * Déployer un monitoring opérationnel avec métriques, logs structurés, dashboards et alertes utiles sur les erreurs, les volumes, la fraîcheur et les temps de traitement. * Participer aux phases de développement et de tests : unitaires, intégration, qualité des données, performance et montée en charge. * Documenter les pipelines, les modèles de données, les procédures d'exploitation et les décisions techniques. * De formation supérieure en informatique, en data ou en ingénierie, avec une première expérience en Data Engineering. * Bonne maîtrise de Spark et de SQL ; une expérience en Python ou Scala est appréciée. * Connaissance des architectures data sur AWS, du stockage objet S3 et des formats ou tables analytiques comme Iceberg. * Sensibilité forte à la qualité des données, à la résilience, à l'observabilité et à l'amélioration continue. * Esprit d'équipe, autonomie, curiosité et envie de contribuer à des produits utilisés par les abonnés

Métiers associés

• Architecte cloud