Data Engineer Senior – Modernisation de pipelines de données

À propos du poste

Dans le cadre de la modernisation d’une solution de reporting réglementaire pour un acteur international du conseil et de l’audit, nous recherchons un·e Data Engineer Senior. Vous serez chargé·e de migrer les traitements historiques SQL vers des composants Python / PySpark modulaires, tout en garantissant traçabilité, qualité et conformité.

Missions principales

• Analyser les logiques SQL existantes (procédures stockées, flux, dépendances) pour planifier leur migration.
• Concevoir et développer des modules Python / PySpark réutilisables couvrant ingestion, transformation, préparation au calcul et génération des sorties.
• Construire et maintenir des pipelines batch fiables avec identifiants de run, snapshots et traçabilité opérationnelle.
• Mettre en place des contrôles de qualité, de réconciliation et de parité entre les résultats historiques et les nouvelles sorties.
• Optimiser les traitements PySpark et SQL (partitionnement, parallélisation) pour performance et scalabilité.
• Participer à la conception de modèles de données lakehouse/medallion et à la documentation technique.

Profil recherché

• Minimum 5 ans d’expérience en ingénierie data, analytics engineering ou software engineering orienté données.
• Capacité à analyser des logiques SQL complexes et à anticiper les impacts de migration.
• Autonomie, rigueur et sens de la responsabilité dans un environnement réglementé.
• Bonne communication avec des interlocuteurs techniques et non‑techniques.

Compétences requises

• Python (développement et traitement de données).
• PySpark / Apache Spark pour le traitement distribué.
• SQL avancé (requêtes complexes, jointures, fonctions de fenêtrage, optimisation).
• SQL Server et bases de données relationnelles.
• Conception de pipelines batch (ingestion, transformation, validation, restitution).
• Tests automatisés (unitaires, d’intégration, de non‑régression) et contrôles de qualité.
• Optimisation de performances et modélisation de données (lakehouse, medallion, entrepôt).