Lead Data Orchestration Engineer Airflow (H/F)

DGTL / Signe + est le facilitateur pour tous les acteurs qui recherchent des ressources ou des missions DATA.

Spécialiste du marché Data et BI, nous intervenons dans toute la France comme à l'étranger ; en sous-traitance, pré-embauche, recrutement, portage commercial, portage salarial, etc.

Depuis 2018, nous accompagnons nos clients avec proximité, juste prix et préoccupation éthique de tous les instants.

https://www.dgtl-performance.com

Le poste

Rejoignez une grande organisation du secteur automobile en tant que Lead Data Orchestration Engineer, en charge du pilotage et de l'optimisation d'une plateforme d'orchestration Apache Airflow hébergée sur AWS MWAA. Vous porterez une mission stratégique de transformation technique, alliant optimisation architecturale, sécurisation de l'infrastructure, et autonomisation des équipes autour d'une plateforme bancaire de données critiques.

Notre client gère des pipelines de données complexes traversant 9 pays européens, avec une volumétrie considérable (200+ DAGs en production). Suite à un audit technique approfondi en début 2026, la plateforme a été stabilisée et entre désormais dans une phase d'optimisation structurelle. Vous serez au cœur de cette évolution, responsable de faire évoluer les mécanismes d'orchestration existants, de renforcer la robustesse face à la charge et aux défaillances, d'étudier les alternatives architecturales, et de structurer les équipes pour une exploitation en autonomie long terme.

La mission s'organise autour de quatre axes complémentaires :

• Axe 1 - Optimisation architecturale : faire évoluer la DAG Factory existante, migrer les dépendances inter-DAGs vers les mécanismes natifs Airflow (Datasets), optimiser les performances au parse-time et runtime, et mettre en place la validation automatisée en CI/CD (parse test, linting, tests d'intégration).

• Axe 2 - Sécurisation et résilience : implémenter une politique de rotation des secrets, déployer le routage différencié des alertes par type d'incident et criticité, piloter le capacity planning et le tuning de la plateforme (pools, scaling, rétention logs), renforcer l'isolation réseau et durcir la configuration, finaliser et maintenir les runbooks d'incidents.

• Axe 3 - Étude et migration vers une infrastructure cible : l'audit a mis en évidence les limites structurelles d'AWS MWAA (contraintes de scaling, flexibilité limitée, coûts). Vous serez chargé de benchmarker les alternatives (Airflow auto-hébergé sur ECS/EKS, Astronomer, Dagster, Prefect ou autres solutions), de produire une recommandation argumentée avec analyse coûts/bénéfices et risques, et de piloter la migration vers l'infrastructure retenue si pertinent.

• Axe 4 - Autonomie des équipes : lancer et piloter un programme de formation sur l'orchestration destiné aux équipes Dev et Ops (environ 10 personnes), constituer une méta-équipe plateforme avec vision unifiée Dev + Ops sous leadership technique commun, accompagner l'évolution des profils (Dev vers Data Engineers, Ops vers DataOps), et évaluer l'internalisation progressive de profils techniques clés.

Vous travaillerez dans un environnement technique mature et ambitieux, au sein d'une organisation valorisant l'excellence technique, la rigueur architecturale et le mentorat. Vous aurez également la responsabilité de concevoir et faire appliquer des standards techniques robustes (code reviews, patterns, conventions), et de piloter des programmes d'optimisation complexes avec priorisation, suivi et reporting.

Responsabilités

• Piloter l'optimisation et l'évolution des mécanismes d'orchestration Airflow pour le passage à l'échelle et la réduction des coûts d'exploitation
• Faire évoluer la DAG Factory existante en enrichissant les patterns, en améliorant la maintenabilité et en validant automatiquement les DAGs en CI/CD
• Implémenter et maintenir une stratégie complète de sécurisation : rotation des secrets, routage d'alertes par criticité, isolation réseau, durcissement de configuration
• Étudier et recommander l'infrastructure cible pour l'orchestration, en analysant les alternatives à AWS MWAA et en piloter la migration
• Piloter le capacity planning, le tuning de performance (pools, scaling, rétention logs) et la résilience globale de la plateforme
• Concevoir et faire appliquer les standards techniques et les bonnes pratiques d'orchestration auprès de l'ensemble des équipes
• Lancer et piloter un programme de formation et de mentorat auprès des équipes Dev et Ops pour accroître leur autonomie
• Accompagner la montée en compétence des profils vers des rôles Data Engineer et DataOps
• Garantir la continuité de service lors des transitions et migrations techniques

Télétravail : à déterminer

Localisation : Sochaux

Profil recherché

Indispensables :

• Minimum 5 ans d'expérience solide sur Apache Airflow, dont une expérience significative en environnement managé (AWS MWAA ou Google Cloud Composer)
• Maîtrise approfondie du modèle d'exécution Airflow : sched...