CV/Mission d'Ingénieur hadoop freelance

Exemple de missions de Djamel,
Ingénieur hadoop habitant Paris (75)

Expérience professionnelle

CACIB : Data Ingénieur Spark / Kubernetes / S3 04/2024 – 05/2025(13 mois)
Projet Programme Bâle 4 : Refonte de l’ensemble des moteurs de calcul risques
Contexte : Dans le cadre du programme Bâle 4, le projet vise à refondre les moteurs de calcul des risques
en migrant vers une architecture Big Data. Cette refonte permet de répondre aux exigences
réglementaires et d'améliorer la génération des rapports pour les entités métiers.
Tâches
✓ Analyse des besoins techniques et fonctionnels avec les équipes métier.
✓ Participation aux cérémonies agiles (Sprint Planning, Daily, Sprint Review, Rétrospective)
✓ Conception et mise en place de l’architecture du projet P3 : Reporting & Restitution
✓ Développement et optimisation des jobs Spark pour le traitement des fichiers Parquet (lecture,
transformation, écriture en BD et sur S3).
✓ Test & validation des résultats avec PySpark via Jupiter Notebook
✓ Orchestration des workflows avec Argo Workflows et ArgoCD.
✓ Mise en œuvre et gestion des pipelines CI/CD avec GitLab CI et Docker.
✓ Assistance aux phases de recette, qualification métier et tests de performance.
✓ Analyse et correction des anomalies fonctionnelles et techniques.
Environnement : Java 17, Spark 3.4.0, PySpark, Python, Jupyter Notebook, Parquet, IceBerg, S3 MinIO,
Gitlab CI/CD, Docker, Kubernetes, SonarQube, K9S, ArgoCD, Oracle, SQL, Shell, Scrum

DGFIP : Data Ingénieur PySpark / Hadoop 09/2023 – 03/2024 (08 mois)
Projet Refonte ICAM V2 – Infocentre national du recouvrement des amendes
Contexte : Refonte de l’infocentre ICAM pour migration vers une architecture Big Data basée sur le Data
Lake TDP Hadoop et exploitation via API PySpark, en remplacement de la solution SAS.
Missions :
✓ Développement et optimisation des jobs PySpark pour ingestion, traitement et transformation
des données amendes (sources internes et ANTAI) dans le Data Lake
✓ Mise en place des règles de qualité des données : nettoyage, validation et gestion des erreurs
dans les pipelines Spark.
✓ Tests et validation des traitements avec Jupyter Notebook.
✓ Collaboration avec l’équipe MOE pour support aux requêtes spécifiques et mise à disposition
des données traitées.
✓ Participation aux phases de recette technique et ajustement des pipelines selon retours métier.
Environnement : PySpark, Python, Data Lake TDP Hadoop, Jupyter Notebook, GitLab CI, Scrum.

Picard : Tech Lead Data ingénieur 10/2021 – 09/2023 (23 mois)
Projet : Vision Client 360°
Contexte : Mise en place d’un Data Lake Vision 360° à des fins Marketing et Analytics : Programmes de
fidélisation, Coupons (Welcome, Birthday, Events), et communication multicanale optimisant
ainsi la promotion des offres de manière stratégique (Maxxing, Selligent)
Tâches
✓ Analyse des besoins en collaboration avec les différentes équipes métiers
✓ Participation aux cérémonies agiles (SP, DM, SR, Retro)
✓ Pipelines d'ingestion de données depuis Salesforce, Référentiels, dépôt SFTP
✓ Développement des DAG Airflow/PySpark (Ciblage,Coupon,Cartes, Mouvement,Segmentation)
✓ Mise en œuvre systématique de tests unitaires sur les transformations PySpark via pytest et
chispa, garantissant la fiabilité des pipelines
✓ Intégration REST avec Maxxing et Selligent (Gestion intelligente des campagnes)
✓ Ordonnancement, exécution et supervision des jobs Airflow (DAG)
✓ Optimiser en continu des performances des services (Airflow)
✓ Mise en place d’une chaîne CI/CD avec GitLab, docker et Kubernetes
✓ MCO : Maintenance en Conditions Opérationnelles : Suivi de production
Environnement : Python 3.10, PySpark, Parquet, PyCharm, Airflow 2.2.5, Gitlab CI/CD, Docker, Kubernetes,
Shell, pytest, chispa, Azure [Storage, MV, Data Lake Storage Gen2]

HACHETTE LIVRE : Data ingénieur Cloud Azure 01/2020 – 09/2021(21 mois)
Projet : « CYCLADE » : Cycle de vie des articles éditoriaux
Contexte : Mise en place d’une chaine de traitement analytique sur Azure, afin d’optimiser la production,
la diffusion, la promotion des articles à base de critères pertinents
Tâches
✓ Ateliers métiers avec les équipes marketing et communication (Use cases, KPI, Insight, …)
✓ Ingestion des données depuis DB2, Salesforce, Partenaires avec Synapse pipelines
✓ Conception et alimentation de Data Lake Storage
✓ Traitement des données (Filtre, transformation, enrichissement, …) avec Spark et SQL
✓ Alimentation et actualisation de la matrice de distribution dans Cosmos DB
✓ Mise ne place de chaine CI/CD avec Azure DevOps
✓ Gestion et suivi d’incidents de production
Environnement : PySpark, Python 3.8, pytest, Jupyter Notebook, Azure (ADF, Synapse Analytics, Data Lake
Storage, Blob Storage, Cosmos DB, DevOps), SQL, DB2, SQL, Scrum, Jira

Hyppner : Tech lead Data 01/2019 – 12/2019 (12 mois)
Projet : Intégration d’une plateforme Web B2B propriétaire (Shiptify) de mise en relation entre des
Clients chargeurs et des transporteurs
Contexte : La plateforme permet à des clients chargeurs d’organiser leurs transports de marchandise
(Devis, réservation directe, suivi des colis, réclamations, reporting…)
Tâches
✓ Identification et synchronisation des systèmes d’information transport & la plateforme cible :
Utilisateurs, clients, données de transports, données de suivis, demande de devis, demande de
transports
✓ Mise en place d’une architecture Event Driven (CDC, Kafka, API)
✓ API Rest pour récupérer les détails des données transports
✓ Mise en place de brokers Kafka sur GCP
✓ Déploiement des micro services : Docker, GKE
✓ Synchronisation des données en temps réel : Producer et Consumer Kafka/API en Java
✓ Mapping entre données Transports/Plateforme (MongoDB, Spring batch)
Environnement : GCP (GKE, App Engine, Pub/Sub), Java, JEE, Spring (Kafka, Data, Cloud, Rest), Qlik Replicate
(CDC), DB2, Tomcat 8, Jenkins, Git, IntelliJ, Docker, gravitee, Postman, SQL, Shell, Scrum

BUREAU VERITAS : Réfèrent technique JEE /Data 09/2017 - 11/2018(15 mois)
Projet: « ASWA »: Armenian Single Window for Automotive
Contexte : Afin de lutter contre les arnaques à l’assurance, la CBA a décidé de mettre en place un guichet
unique multi compagnies afin de mieux contrôler l’activité d’assurance automobile
Tâches
✓ Prise en compte des dossiers de spécifications fonctionnelles
✓ Conception du Modèle de données multi-agences
✓ Définition des règles de mapping de données (Migration)
✓ Implémentation des jobs de migration des données avec Talend
✓ Implémentation d'une chaîne de traitement sous ELK pour l'analyse des données d'assurance
✓ Mise en place d'une surveillance de la qualité du code à l'aide de SonarQube
Environnement : Java EE, Springboot, ELK (Elasticsearch, Kibana), Talend TOS, WS REST, Tomcat7, IntelliJ,
PostgreSQL, Git, Jenkins, SonarQube (PMD, Checkstyle et FindBugs), Jira, Scrum

Banque de France : Ingénieur étude et développement 04/2015 - 08/2016(17 mois)
Projet : « STORE » Système de Traitement des Opérations de marchés et Risques
Tâches
✓ Implémentation de la chaine STP (Straight Through Processing) en Java/Camel/FIX
✓ Conception et réalisation d’un module centralisé de gestion d’anomalies STP
✓ Réalisation d’une IHM de consultation des anomalies à destination des traders
✓ Packaging et livraison via Maven-release-plugin & DeployIt
Environnement : Java 6, JEE Spring, Tomcat-6, Camel, Oracle 11g, JIRA, Juno, FIX (Financial eXchange)

BDF – ACPR : Ingénieur études et développement 01/2013 - 02/2015(26 mois)
Projet : « FONGAR » : FONds de GAranties Refonte (Garanties des Dépôts, des Titres et des Cautions)
Tâches
✓ Réunions fonctionnelles (Atelier Métier) et de réunion de suivi (Comité de suivi)
✓ Développement de la couche de traitement en JAVA/Spring-Batch
✓ Développement de la couche présentation en JSF/Spring Web Flow
✓ Développement des Web Service Spring-WS et implémentation ORM avec Hibernate
✓ Méthodologie Agile (Scrum) avec sprint de deux semaines,
Environnement : Tomcat-6, Java6, Spring (IOC, batch, WS) Oracle 11g, JIRA, Jaxb, Eclipse, SoapUI, UNIX

Agence France Presse : Ingénieur études et développement 03/2011 - 11/2012(21 mois)
Projet : « AFPQuotes » : Mise en place d'une plateforme d’extraction, validation et match de citations
✓ Coordination des réunions et rédaction des spécifications fonctionnelles
✓ Développement des scripts python/NLP pour l’extraction des citations/Auteurs
✓ Implémentation du moteur d’indexation de citation dans Lucene en Java
✓ Création des Web Services client et serveur avec Spring WS
Environnement : Python 3.0, NLP, Java 6, Spring, Lucene, Eclipse 3.2.2, Tomcat-6, XSD, WSDL, MySQL

CSP SI VEOLIA : Ingénieur études et développement 01/2010 - 02/2011(14 mois)
Projet : « VCMS » : Veolia Customer Management System (CC&B)
✓ Analyses et mise à jour des SFD et STD (Internal & External Design)
✓ Développement spécifique et paramétrage CC&B en Java
✓ Tests d’intégration PGI et rédaction des UTP : Unit Test Protocol
Environnement : CC&B, Tomcat 5.5, WebLogic, Oracle, JAVA, Eclipse 3.1, ALM, SQL, FileZilla