Data Engineer Big Data (F/H) (H/F)

Description du poste

Au sein de nos équipes d'ingénierie Data, vous serez au cœur de la construction d'écosystèmes Big Data scalables :Conception & Industrialisation : Développer et maintenir des pipelines de données robustes (Batch et Real-Time) pour traiter de larges volumes de données.Traitement Distribué : Optimiser les algorithmes et les jobs de calcul de masse en utilisant Spark (Scala/Python).Gestion du Streaming : Mettre en place et configurer des architectures d'ingestion et de messagerie distribuée en temps réel avec Kafka.Maintenance du Stockage : Collaborer à la gestion, au requêtage et à l'évolution des clusters de stockage de l'écosystème Hadoop (HDFS, Hive, HBasep>Performance & Optimisation : Monitorer les flux, identifier les goulots d'étranglement techniques et optimiser les temps de traitement et les coûts d'infrastructure (DataOps).

Métiers associés

• data manager