Développeur ETL : Meilleurs freelances dispos et missions récentes déposées

Exemple de missions d'Ibrahima,
Développeur ETL habitant la Sarthe (72)

• Développeur Big Data Cloud

  Jan 2024 - Jan 2024

  Responsabilités
   Construire le patrimoine data applicatif de ARTM
   Concevoir, développer et maintenir des flux de données complexes et variées
   Développer des algorithmes de transport pour le parcours Km
   Développer les systèmes de surveillance des flux de données
   Dockerisation des livrables avec les Azure container

  Python, PySpark, Git, Databricks, Docker, VS Code, Microsoft Azure

• Consultant développeur BI

  Institut de la statistique du Québec
  Jan 2022 - Jan 2023

  Projet : Comptoir de données ISQ
  Responsabilités
   Développement des rapport paginés dans Power BI Builder et Power BI Report.
   Intégration de sources de données Oracle dans Power BI afin de calculer les métriques de rapports.
   Modélisation, enrichissement des données avec DAX (Data Analysis Expression) dans Power BI Report

  Power BI Builder, Power BI Report, Base de données Oracle

• Consultant ETL Talend

  Client: Morgan Stanley
  Jan 2022 - Jan 2024

  Responsabilités :
   Concevoir l’architecture technique, développer et maintenir les jobs ETLs pour répondre aux exigences métier
   Tuning SQL des jobs ETLs et calibrage
   Dockerisation des ETLs et orchestration
   Développement des flux métiers sur Python
   Déploiement, ordonnancement et gestion des jobs ETLs sous Autosys
   Suivre et maintenir des jobs de qualité de données

  Talend, Git, Jenkins CICD, Java, Maven, Docker, Python, Data Quality, DB2

• Développeur des microservices Java Spring Boot

  Jan 2021 - Jan 2022

  Projet: Personne Speed Layer
  Volumétrie des données manipulées : 3 millions par jour
  Contexte du projet : ce projet consiste à charger le référentiel personne dans le CRM Salesforce en temps réel afin de gérer
  le dossier client des personnes en temps réel.
  Responsabilités :
   Développement des micro-services sur Java Spring Boot
   Collecte et chargement de données dans l’outil de gestion client CRM afin d’avoir une vision complète du dossier
  client en temps réel.
   Mise en place des tables de rétention et de réconciliation des données chaudes afin de générer une version
  cohérente du dossier client en vision temps réel.
   Monitoring des traitements
   Construction des Dashboard Kibana pour le compte-rendu de chargement des données.
   Remontée des indicateurs de fonctionnement dans AppDynamics
   Tests d’endurance pour les montées en charge
   Homologation des traitements en préproduction
   Sécurisations des mises en production
   Déploiement et mise en place des microservices sur la plateforme OpenShift.
  Projet: Sinistre Speed Layer
  Volumétrie des données manipulées: 400 milles par jour
  Contexte du projet : ce projet consiste à charger les déclarations de sinistre dans le CRM Salesforce en temps réel afin de
  réduire les fraudes.
  Responsabilités :
   Développement des micro-services sur Java Spring Boot
   Collecte et chargement de données dans l’outil de gestion client CRM afin d’avoir une vision complète du sinistre
  en temps réel.
   Mise en place des tables de rétention et de réconciliation des données chaudes afin de générer une version
  cohérente du sinistre en vision temps réel.
   Déploiement et mise en place des microservices sur la plateforme OpenShift.
   Monitoring des traitements
   Construction des Dashboard Kibana pour le compte-rendu de chargement des données.

  APACHE KAFKA, JAVA SPRING BOOT, JMETER, POSTMAN APACHE KAFKA, JAVA SPRING BOOT, JMETER, POSTMAN

• Consultant développeur ETL Talend Big Data/Spark

  MMA (Mutuelle du Mans Assurances)
  Jan 2019 - Jan 2022

  Projet : Purge RGPD Personne
  Responsabilités :
   Conception architecturale et technique des flux de purge.
   Implémentation et chargement des flux de notification de purge dans le CRM Salesforce
   Tests de qualité, validation des niveaux de purge avec le métier

  ETL TALEND, SPARK SQL, MÉTHODOLOGIE DATA LAKE

• Consultant développeur ETL Talend Big Data/Spark

  MMA (Mutuelle du Mans Assurances)
  Jan 2019 - Jan 2022

  Projet : Sinistre Batch Layer
  Volumétrie des données manipulées : 10 millions en init et un incrémental de 400 milles par jour
  Responsabilités :
   Développement Batch Layer sur Talend Spark.
   Intégration de +3 CAL de base de données (à peu près 30 sources de tables par CAL) en 3 mois afin d’optimiser
  le calcul des montants de sinistre atteignant un score d’intégrité de 98 %.
   Implémentation des Batch Layer pour faire du chargement en masse dans le CRM Salesforce.
   Tests de qualité, contrôle et validation des données
   Tests de montée en charge
   Optimisation des jobs ETL avec Spark SQL.
   Homologation des traitements en préproduction
   Support de tickets en production
   Capacité de planification en fonction des ressources du cluster
  Projet : Recherche Floue SolR
  Volumétrie des données manipulées : 20 millions en init et un incrémental de 400 milles par jour
  Contexte du projet : ce projet consistait à remonter les données de personne morale (entreprise ou association) dans la
  plateforme de recherche SolR afin de faire de la recherche floue.
  Responsabilités :
   Développement Batch Layer sur Talend Spark.
   Intégration de +3 sources de tables en 1 mois afin de faciliter la recherche et garantir l’accès à ces données dans
  un moteur de recherche.
   Implémentation des échanges ETL pour le chargement dans SolR.
   Tests de performances sur les jobs Talend

  ETL TALEND, SPARK SQL, MÉTHODOLOGIE DATA LAKE ETL TALEND, SPARK SQL, MÉTHODOLOGIE DATA LAKE

• Développeur ETL Talend Big Data/Spark

  Client: MMA
  Jan 2016 - Jan 2019

  Projet : ECLA personne
  Volumétrie des données manipulées : 30 millions de fiches personne
  Contexte du projet : ce projet consistait à charger le référentiel personnes dans le CRM Salesforce en mode init et
  incrémental afin d’avoir une vision complète du dossier client.
  Responsabilités :
   Développement Batch Layer sur Talend Spark.
   Intégration de +5 CAL de base de données (à peu près 30 sources de tables par CAL) en 4 mois afin d’optimiser
  des procédés internes pour une augmentation en efficacité opérationnelle de +20 %.
   Implémentation des jobs Batch Layer de traitement afin d’exporter les données vers le gestionnaire client CRM
  Salesforce.
   Construction des dashboard Kibana afin d’analyser et corriger les rejets de chargement dans le CRM Salesforce.
   Développement Speed Layer sur Talend Spark Streaming.
   Mise en place des tables de rétention et de réconciliation des données chaudes afin de générer une version
  cohérente de la personne en vision temps réel.
   Performance et homologation des échanges pour minimiser l’utilisation abusive des ressources.
  
  Projet: Projet SETUP
  Volumétrie des données manipulées : 60 millions de fiches personne
  Contexte du projet : ce projet consistait à mettre en place un modèle standard uniforme pour les données provenant de
  sources multiples aux différents formats afin de mieux gérer les échanges d’informations personnes.
  Responsabilités :
   Dérivation d’un modèle fonctionnel personne en modèle applicatif afin de couvrir 100 % des données sources en 4
  mois.
   Mapping des 3 sources de données (MMA, MAAF et GMF) de formats différents vers un modèle applicatif prédéfini.
   Implémentation des jobs Batch Layer Talend Spark d’un modèle fonctionnel applicatif.

  ETL TALEND, SPARK SQL, MÉTHODOLOGIE DATA LAKE, SPARK STREAMING ETL TALEND, SPARK SQL, MÉTHODOLOGIE DATA LAKE.

• Développeur ETL Talend

  Client : SNCF (Société nationale des chemins de fer français)
  Jan 2016 - Jan 2018

  Projet: Emeraude
  Volumétrie de données manipulées : 3 millions par jour.
  
  Contexte du projet : ce projet consistait à l’intégration des données des voyageurs SNCF dans le gestionnaire client CRM
  Salesforce pour mieux gérer les clients pour les campagnes marketing.
  Responsabilités :
   Conception des SFG ou SFD (spécifications fonctionnelles détaillées ou générales) des échanges Talend.
   Implémentation et déploiement des échanges de pipeline de données
   Chargement de données en masse avec le gestionnaire client CRM Salesforce.
   Tests de performances
   Homologation des traitements en préproduction

  TALEND DI, ESB TALEND, SOAP UI, POSTMAN, JAVA STANDARD

• Autorité régionale de transport métropolitain (ARTM)

  ARTM
  aujourd'hui

  Tech Lead Big Data Cloud Novembre 2024 à ce jour (1 mois)
  Responsabilités
   Responsable de la qualité de code de l’équipe
   Concevoir, développer et maintenir des flux de données complexes, variés et avancés
   Développer des solutions transverses
   Automatisation des tests unitaires et tests de données
   Mise en place des scripts Azure CLI de déploiement des applications containerisés
   Tests d’intégration, qualité de données

  Python, PySpark, Git, Databricks, Azure CLI, Docker, VS Code, Microsoft Azure