Data Engineer F/H
Au sein d’une squad data, vous intervenez en tant que Data Engineer sur la conception, le développement et l’optimisation de pipelines de données, dans une architecture de type Datalake / MDM reposant sur le modèle Bronze / Silver / Gold. Vous contribuez à la fiabilité, à la performance et à la qualité des données tout au long de leur cycle de vie.
Missions principales :
-
Concevoir et développer des pipelines de données robustes et évolutifs
-
Implémenter et maintenir des workflows d’ingestion et d’orchestration sous Apache NiFi
-
Intégrer des données issues de sources variées (API REST, fichiers XML/CSV, JSON)
-
Participer à la modélisation des données et aux transformations pour alimenter le MDM
-
Mettre en place des contrôles de qualité, de traçabilité et d’audit des données
-
Optimiser les performances des flux et proposer des améliorations continues
-
Garantir la sécurité, la conformité et la gestion des accès aux données
-
Documenter les processus, schémas et bonnes pratiques techniques
Expérience :
-
3 ans d’expérience minimum en ingénierie de données (BI, Datalake, flux data)
-
Expérience dans des environnements complexes et multi-sources, idéalement en finance ou assurance
Compétences techniques :
-
Maîtrise d’Apache NiFi (ingestion, orchestration, monitoring)
-
Compétences en SQL et modélisation relationnelle (PostgreSQL)
-
Connaissance des stockages objet (S3, Blob)
-
Maîtrise des formats et protocoles : JSON, XML, CSV, API REST
-
Scripting apprécié : Python, Bash
-
Outils : GitLab, GitLab CI
