Data Engineer Senior - Databricks / AWS - Freelance (H/F)

Taux journalier (TJM): 550

Localisation : La Garenne-Colombes - télétravail hybride

Démarrage : fin novembre 2026

Expérience : 5 ans minimum

Type de contrat : freelance

Contexte

Dans le cadre du renforcement de ses équipes, un grand groupe du secteur de l'énergie recherche un(e) Data Engineer Senior au sein de sa Direction Data & IT, pour son activité dédiée aux particuliers.

Le poste s'inscrit dans une équipe Agile de 14 personnes, dont 7 Data Engineers, en charge du traitement des données de consommation des clients et de leur mise à disposition sur les canaux digitaux. L'équipe fait partie d'un Train SAFe synchronisé avec d'autres Trains et équipes Data.

Missions

Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d'intégration et les flux métiers

Concevoir et faire évoluer les architectures de données selon l'approche Medallion (Bronze, Silver, Gold) sur Databricks

Modéliser les données dans des tables Delta Lake en appliquant les bonnes pratiques de partitionnement, d'indexation, d'optimisation et de gouvernance

Optimiser les performances des traitements Spark et Delta Lake, en termes de temps d'exécution et de coûts

Concevoir, développer et maintenir des APIs d'exposition et de consommation des données

Mettre en place des dispositifs de contrôle qualité des données, de monitoring et d'alerting

Assurer le développement, les tests et le déploiement des composants via des chaînes CI/CD

Analyser et résoudre les incidents de production et assurer le suivi des actions correctives

Rédiger et maintenir la documentation technique

Participer aux cérémonies SAFe (PI Planning, refinements, macro-chiffrage, rétrospectives)

Contribuer aux choix techniques et à l'amélioration continue de la plateforme

Accompagner l'équipe dans l'adoption des bonnes pratiques de Data Engineering

Environnement technique

Langages : Python, SQL

Traitement de données : Spark, PySpark, DBUtils

Plateforme : Databricks, Unity Catalog, Delta Lake

Orchestration : Airflow (migration en cours vers Databricks Workflows)

APIs et tests : FastAPI, Pytest

Cloud : AWS (Lambda, S3, ECS, Secrets Manager)

Outillage : Git, CI/CD

Profil recherché

Expérience d'au moins 5 ans en Data Engineering

Expérience confirmée en conception et développement de pipelines de données

Maîtrise de Python, SQL et des bibliothèques associées (PySpark, DBUtils, Boto3)

Maîtrise de la configuration des ressources Databricks sur AWS

Solides connaissances en modélisation, performance et qualité des données

Connaissance des principes d'API REST et des architectures orientées services

Expérience significative sur l'environnement AWS

Capacité d'analyse et de résolution d'anomalies en production

Expérience en tant que Tech Lead

Pratique du Data Engineering assisté par l'IA

Atouts appréciés

Expérience en traitement de données en temps réel (streaming)

Capacité à comprendre les enjeux métiers et à les traduire en solutions techniques