Data Engineer Databricks (H/F)

RESPONSABILITÉS

Dans le cadre du développement de ses expertises Data, Sully Group recherche un Data Engineer pour rejoindre une équipe Data déjà bien établie et composée de plusieurs experts Data et Cloud.

Vous intégrerez un environnement technique moderne, fortement orienté plateforme, industrialisation et cloud, au sein d'un écosystème où la donnée occupe une place stratégique. L'équipe intervient sur des problématiques de collecte, transformation, enrichissement et mise à disposition de données à grande échelle.

Vous participerez à la construction et à l'évolution d'une plateforme Data robuste, pensée pour répondre à des enjeux de performance, de fiabilité et de passage à l'échelle.

Vos missions

Au sein d'une équipe de Data Engineers expérimentés, vous serez amené à :

• Concevoir et développer des pipelines de traitement de données fiables et performants.
• Participer à la construction et à l'évolution d'une plateforme Data moderne basée sur Databricks et AWS.
• Développer des traitements distribués à l'aide de Spark.
• Mettre en œuvre des architectures Data Lake selon les bonnes pratiques du marché.
• Industrialiser les déploiements et les composants de la plateforme grâce à l'Infrastructure as Code.
• Garantir la qualité, la disponibilité et la maintenabilité des flux de données.
• Contribuer à l'amélioration continue de l'écosystème Data en proposant des évolutions techniques.
• Collaborer avec les différentes équipes afin de faciliter l'exploitation et la valorisation des données.
• Participer aux réflexions d'architecture et aux choix techniques de la plateforme.

Stack technique

Compétences clés

• Python
• Apache Spark
• Databricks

Environnement technique

• AWS
• Terraform
• Scala
• Data Lake
• Git
• CI/CD
• Infrastructure as Code

PROFIL RECHERCHÉ

Parlons de vous

• Vous justifiez d'au moins 2 ans d'expérience en Data Engineering.
• Vous maîtrisez Python dans un contexte de développement et de traitement de données.
• Vous possédez une solide expérience de Spark en environnement de production.
• Vous avez impérativement déjà travaillé sur Databricks dans le cadre d'un projet professionnel.
• Vous êtes à l'aise sur les problématiques d'industrialisation et de mise en production.
• Vous connaissez les environnements Cloud, idéalement AWS.
• Une expérience avec Terraform est fortement appréciée.
• Des connaissances en Scala constituent un atout supplémentaire.
• Vous appréciez les environnements collaboratifs et les équipes techniques expertes.
• Vous êtes reconnu pour votre autonomie, votre rigueur et votre capacité à être force de proposition.

Les plus

• Expérience sur des plateformes Data à forte volumétrie.
• Connaissance des architectures Data Lake et des approches médaillon.
• Sensibilité aux problématiques de performance, d'observabilité et de scalabilité