Data Engineer Senior - Freelance (H/F)

Taux journalier (TJM): 700

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Senior afin de participer à la conception et au développement d'une nouvelle architecture orientée Lakehouse.

Vous interviendrez sur la collecte, la transformation, le stockage et la mise à disposition de données structurées à destination notamment d'équipes métier et analytiques.

VOS MISSIONS

Participer à la conception de l'architecture Data cible et à l'organisation d'un Lakehouse.

Concevoir et développer des pipelines de collecte et de transformation de données.

Développer les traitements en Python, Spark / PySpark et SQL.

Mettre en place les mécanismes de stockage et d'exposition des données.

Participer à l'intégration de données provenant de différentes sources.

Concevoir des jeux de données structurés à destination des équipes métier et marketing.

Participer à la mise à disposition de données pour les outils de reporting et de DataViz.

Mettre en place l'ordonnancement et le suivi des traitements.

Développer des tests unitaires afin de sécuriser les traitements.

Mettre en place les contrôles nécessaires au suivi de la qualité et de la bonne exécution des pipelines.

Participer à la maintenance corrective et évolutive des solutions développées.

Documenter les développements, flux et architectures mis en place.

Accompagner les équipes MOA et utilisateurs lors des phases de recette.

Estimer les charges et assurer le suivi de l'avancement des développements.

Collaborer avec les équipes transverses sur les problématiques d'architecture et d'intégration.

Contribuer à l'amélioration continue des pratiques de développement et d'industrialisation.

DATA SCIENCE & INTELLIGENCE ARTIFICIELLE

Vous serez également amené(e) à intervenir ponctuellement sur des sujets de valorisation avancée de la donnée :

Utilisation de Machine Learning appliqué aux données.

Feature engineering et préparation des données.

Utilisation de bibliothèques telles que scikit-learn.

Contribution à l'intégration de solutions LLM / GenAI facilitant l'accès, l'exploration ou l'interrogation des données.

ENVIRONNEMENT TECHNIQUE

Data Engineering

Python

Spark / PySpark

SQL

ETL / ELT

Data Lake / Lakehouse

Plateforme cible

AWS S3

Dagster

Trino

Industrialisation

Git

Jenkins

CI/CD

Jira

Confluence

Machine Learning / IA

scikit-learn

Feature Engineering

LLM / GenAI

Environnement existant

Informatica

Oracle

OBIEE

BIRT

PROFIL RECHERCHÉ

Vous disposez d'une expérience significative en Data Engineering, avec une forte maîtrise de :

Python

Spark / PySpark

SQL

Conception et développement de pipelines de données

ETL / ELT

Modélisation et structuration de données

Data Lake / Lakehouse

Tests unitaires et qualité des traitements

Une expérience sur AWS S3, Dagster ou Trino sera particulièrement appréciée.

La connaissance d'Informatica constitue également un atout important dans le cadre de la modernisation d'environnements Data existants.

Vous disposez par ailleurs d'une première expérience ou d'une forte appétence pour les sujets Machine Learning et GenAI / LLM appliqués à la donnée.