CV/Mission d'Ingénieur hadoop freelance

Exemple de missions de Djamel,
Ingénieur hadoop habitant Paris (75)

• Data Ingénieur Spark / Kubernetes / S3

  CACIB :
  Jan 2024 - Jan 2025

  Projet Programme Bâle 4 : Refonte de l’ensemble des moteurs de calcul risques
  Contexte : Dans le cadre du programme Bâle 4, le projet vise à refondre les moteurs de calcul des risques
  en migrant vers une architecture Big Data. Cette refonte permet de répondre aux exigences
  réglementaires et d'améliorer la génération des rapports pour les entités métiers.
  Tâches
  &#10003 Analyse des besoins techniques et fonctionnels avec les équipes métier.
  &#10003 Participation aux cérémonies agiles (Sprint Planning, Daily, Sprint Review, Rétrospective)
  &#10003 Conception et mise en place de l’architecture du projet P3 : Reporting & Restitution
  &#10003 Développement et optimisation des jobs Spark pour le traitement des fichiers Parquet (lecture,
  transformation, écriture en BD et sur S3).
  &#10003 Test & validation des résultats avec PySpark via Jupiter Notebook
  &#10003 Orchestration des workflows avec Argo Workflows et ArgoCD.
  &#10003 Mise en œuvre et gestion des pipelines CI/CD avec GitLab CI et Docker.
  &#10003 Assistance aux phases de recette, qualification métier et tests de performance.
  &#10003 Analyse et correction des anomalies fonctionnelles et techniques.

  Environnement : Java 17, Spark 3.4.0, PySpark, Python, Jupyter Notebook, Parquet, IceBerg, S3 MinIO, Gitlab CI/CD, Docker, Kubernetes, SonarQube, K9S, ArgoCD, Oracle, SQL, Shell, Scrum

• Data Ingénieur PySpark / Hadoop

  DGFIP :
  Jan 2023 - Jan 2024

  Projet Refonte ICAM V2 – Infocentre national du recouvrement des amendes
  Contexte : Refonte de l’infocentre ICAM pour migration vers une architecture Big Data basée sur le Data
  Lake TDP Hadoop et exploitation via API PySpark, en remplacement de la solution SAS.
  Missions :
  &#10003 Développement et optimisation des jobs PySpark pour ingestion, traitement et transformation
  des données amendes (sources internes et ANTAI) dans le Data Lake
  &#10003 Mise en place des règles de qualité des données : nettoyage, validation et gestion des erreurs
  dans les pipelines Spark.
  &#10003 Tests et validation des traitements avec Jupyter Notebook.
  &#10003 Collaboration avec l’équipe MOE pour support aux requêtes spécifiques et mise à disposition
  des données traitées.
  &#10003 Participation aux phases de recette technique et ajustement des pipelines selon retours métier.
  Environnement : PySpark, Python, Data Lake TDP Hadoop, Jupyter Notebook, GitLab CI, Scrum.
  
  Picard : Tech Lead Data ingénieur 10/2021 – 09/2023 (23 mois)
  Projet : Vision Client 360°
  Contexte : Mise en place d’un Data Lake Vision 360° à des fins Marketing et Analytics : Programmes de
  fidélisation, Coupons (Welcome, Birthday, Events), et communication multicanale optimisant
  ainsi la promotion des offres de manière stratégique (Maxxing, Selligent)
  Tâches
  &#10003 Analyse des besoins en collaboration avec les différentes équipes métiers
  &#10003 Participation aux cérémonies agiles (SP, DM, SR, Retro)
  &#10003 Pipelines d'ingestion de données depuis Salesforce, Référentiels, dépôt SFTP
  &#10003 Développement des DAG Airflow/PySpark (Ciblage,Coupon,Cartes, Mouvement,Segmentation)
  &#10003 Mise en œuvre systématique de tests unitaires sur les transformations PySpark via pytest et
  chispa, garantissant la fiabilité des pipelines
  &#10003 Intégration REST avec Maxxing et Selligent (Gestion intelligente des campagnes)
  &#10003 Ordonnancement, exécution et supervision des jobs Airflow (DAG)
  &#10003 Optimiser en continu des performances des services (Airflow)
  &#10003 Mise en place d’une chaîne CI/CD avec GitLab, docker et Kubernetes
  &#10003 MCO : Maintenance en Conditions Opérationnelles : Suivi de production

  Environnement : Python 3.10, PySpark, Parquet, PyCharm, Airflow 2.2.5, Gitlab CI/CD, Docker, Kubernetes, Shell, pytest, chispa, Azure [Storage, MV, Data Lake Storage Gen2]

• Data ingénieur Cloud Azure

  HACHETTE LIVRE :
  Jan 2020 - Jan 2021

  Projet : « CYCLADE » : Cycle de vie des articles éditoriaux
  Contexte : Mise en place d’une chaine de traitement analytique sur Azure, afin d’optimiser la production,
  la diffusion, la promotion des articles à base de critères pertinents
  Tâches
  &#10003 Ateliers métiers avec les équipes marketing et communication (Use cases, KPI, Insight, …)
  &#10003 Ingestion des données depuis DB2, Salesforce, Partenaires avec Synapse pipelines
  &#10003 Conception et alimentation de Data Lake Storage
  &#10003 Traitement des données (Filtre, transformation, enrichissement, …) avec Spark et SQL
  &#10003 Alimentation et actualisation de la matrice de distribution dans Cosmos DB
  &#10003 Mise ne place de chaine CI/CD avec Azure DevOps
  &#10003 Gestion et suivi d’incidents de production

  Environnement : PySpark, Python 3.8, pytest, Jupyter Notebook, Azure (ADF, Synapse Analytics, Data Lake Storage, Blob Storage, Cosmos DB, DevOps), SQL, DB2, SQL, Scrum, Jira

• Tech lead Data

  Hyppner :
  Jan 2019 - Jan 2019

  Projet : Intégration d’une plateforme Web B2B propriétaire (Shiptify) de mise en relation entre des
  Clients chargeurs et des transporteurs
  Contexte : La plateforme permet à des clients chargeurs d’organiser leurs transports de marchandise
  (Devis, réservation directe, suivi des colis, réclamations, reporting…)
  Tâches
  &#10003 Identification et synchronisation des systèmes d’information transport & la plateforme cible :
  Utilisateurs, clients, données de transports, données de suivis, demande de devis, demande de
  transports
  &#10003 Mise en place d’une architecture Event Driven (CDC, Kafka, API)
  &#10003 API Rest pour récupérer les détails des données transports
  &#10003 Mise en place de brokers Kafka sur GCP
  &#10003 Déploiement des micro services : Docker, GKE
  &#10003 Synchronisation des données en temps réel : Producer et Consumer Kafka/API en Java
  &#10003 Mapping entre données Transports/Plateforme (MongoDB, Spring batch)

  Environnement : GCP (GKE, App Engine, Pub/Sub), Java, JEE, Spring (Kafka, Data, Cloud, Rest), Qlik Replicate (CDC), DB2, Tomcat 8, Jenkins, Git, IntelliJ, Docker, gravitee, Postman, SQL, Shell, Scrum

• Réfèrent technique JEE /Data

  BUREAU VERITAS :
  Jan 2017 - Jan 2018

  Projet: « ASWA »: Armenian Single Window for Automotive
  Contexte : Afin de lutter contre les arnaques à l’assurance, la CBA a décidé de mettre en place un guichet
  unique multi compagnies afin de mieux contrôler l’activité d’assurance automobile
  Tâches
  &#10003 Prise en compte des dossiers de spécifications fonctionnelles
  &#10003 Conception du Modèle de données multi-agences
  &#10003 Définition des règles de mapping de données (Migration)
  &#10003 Implémentation des jobs de migration des données avec Talend
  &#10003 Implémentation d'une chaîne de traitement sous ELK pour l'analyse des données d'assurance
  &#10003 Mise en place d'une surveillance de la qualité du code à l'aide de SonarQube

  Environnement : Java EE, Springboot, ELK (Elasticsearch, Kibana), Talend TOS, WS REST, Tomcat7, IntelliJ, PostgreSQL, Git, Jenkins, SonarQube (PMD, Checkstyle et FindBugs), Jira, Scrum

• Ingénieur étude et développement

  Banque de France :
  Jan 2015 - Jan 2016

  Projet : « STORE » Système de Traitement des Opérations de marchés et Risques
  Tâches
  &#10003 Implémentation de la chaine STP (Straight Through Processing) en Java/Camel/FIX
  &#10003 Conception et réalisation d’un module centralisé de gestion d’anomalies STP
  &#10003 Réalisation d’une IHM de consultation des anomalies à destination des traders
  &#10003 Packaging et livraison via Maven-release-plugin & DeployIt

  Environnement : Java 6, JEE Spring, Tomcat-6, Camel, Oracle 11g, JIRA, Juno, FIX (Financial eXchange)

• Ingénieur études et développement

  BDF – ACPR :
  Jan 2013 - Jan 2015

  Projet : « FONGAR » : FONds de GAranties Refonte (Garanties des Dépôts, des Titres et des Cautions)
  Tâches
  &#10003 Réunions fonctionnelles (Atelier Métier) et de réunion de suivi (Comité de suivi)
  &#10003 Développement de la couche de traitement en JAVA/Spring-Batch
  &#10003 Développement de la couche présentation en JSF/Spring Web Flow
  &#10003 Développement des Web Service Spring-WS et implémentation ORM avec Hibernate
  &#10003 Méthodologie Agile (Scrum) avec sprint de deux semaines,

  Environnement : Tomcat-6, Java6, Spring (IOC, batch, WS) Oracle 11g, JIRA, Jaxb, Eclipse, SoapUI, UNIX

• : Ingénieur études et développement

  CSP SI VEOLIA
  Jan 2010 - Jan 2011

  Projet : « VCMS » : Veolia Customer Management System (CC&B)
  &#10003 Analyses et mise à jour des SFD et STD (Internal & External Design)
  &#10003 Développement spécifique et paramétrage CC&B en Java
  &#10003 Tests d’intégration PGI et rédaction des UTP : Unit Test Protocol

  Environnement : CC&B, Tomcat 5.5, WebLogic, Oracle, JAVA, Eclipse 3.1, ALM, SQL, FileZilla

• Ingénieur études et développement

  Agence France Presse :
  aujourd'hui

  Projet : « AFPQuotes » : Mise en place d'une plateforme d’extraction, validation et match de citations
  &#10003 Coordination des réunions et rédaction des spécifications fonctionnelles
  &#10003 Développement des scripts python/NLP pour l’extraction des citations/Auteurs
  &#10003 Implémentation du moteur d’indexation de citation dans Lucene en Java
  &#10003 Création des Web Services client et serveur avec Spring WS

  Environnement : Python 3.0, NLP, Java 6, Spring, Lucene, Eclipse 3.2.2, Tomcat-6, XSD, WSDL, MySQL