Expériences professionnelles
CNP Assurances Février 2018– Janvier 2024
Data Engineer – BI Big Data
Projet : Migration des traitements ETL Datastage vers un socle Big Data On-Premise Cloudera et création
d’un nouveau projet (Hadoop, Spark Scala, Hive, Shell ...) :
• Accompagnement du client pour la consolidation, l'enrichissement des données brutes, qui
sont destinées à l’exploitation par le métier (Reporting, Analytics, Spécifications)
• POC dataplateforme Hadoop Cloudera : Mise en place et implémentation de jobs de type
Batch (Big Integrate, Spark Scala, PySpark)
• Migration des projets ETL datastage : Conception, développement et mise en place des
traitements Spark Scala (CDP 7.1.6) : Pipelines d'ingestion et de normalisation des données
pour alimenter un data lake (tables hive hdfs partitionnées)
• Mise en place et développement des traitements Spark Scala d’optimisation et d'agrégation
à partir des données brutes ingérées ainsi que les données normalisées pour alimenter en Y
une base Hive et une base Vertica dédiées au reporting Tableau :
o Données du passif : Migration des traitements datastage en Spark Scala
o Données de l’actif : Création d’un nouveau projet en Spark Scala basé sur
l’expression du besoin
• Automatisation des actions de déploiement continue : DevOps (XlDeploy, Jenkins,
XlRelease, Git, Nexus)
• Réalisation des documents techniques de migration et des nouveaux besoins
• Recette technique et fonctionnelle
• POC Azure et NumSpot : Etude de faisabilité sur un projet pilote : Risques de l’actif
• Environnement Technique : Cdp 7.1.6, Scala 2.11.11, Spark 2.3.2, Python 3.12, Hive 3.1.3, Datastage
PX V.11.5-V.11.7, Big Integrate, Intellij, Maven 3.8.1, Tableau Software 2022.3, Linux, Shell, Devops
(Jenkins, XlDeploy, XlRelease, Git, Nexus, Jira), PL/SQL, Oracle V19c, Vertica V9, Azure, NumSpot
CNP Assurances Août 2016 – Janvier 2018
Data Engineer – Consultant BI
Projet : Support & architecture transverse sur DataStage (200 projets, +20000 unités de traitements)
• Organisation et participation aux réunions et aux comités de pilotages
• Mise en place d’une infrastructure transverse, donnant un cadre commun de développement,
de déploiement et d’exploitation à l’ensemble des projets
• Elaboration des normes standards et best practices Datastage conformes aux exigences
d’exploitabilité et maintenabilité, les diffuser et veiller à leur application
• Traitement des demandes de support axées datastage, soumises au pôle support via l’outil
de gestion des demandes : Moji-Jira
• Identification au plus tôt les projets susceptibles d’utiliser la technologie Etl/Datastage et leur
proposer un accompagnement de la phase de pré-étude jusqu’au bilan d’exploitation
• Proposer la mutualisation de certains composants datastage, organiser et gérer la
réutilisation, favoriser l’industrialisation des développements
• Evaluer et proposer le déploiement des upgrades du produit
• Organiser et dispenser sur demande des séances de formation à datastage
• Gestion et remplacement des Composants datastage dépréciés à partir de la v11.5 : Oracle
Entreprise, Oracle OCI, Oracle OCI Load
Anis ******** – 3/6
• Environnement Technique : Datastage Server & Px V.11.3-V.11.5, Unix, Linux, Shell, Git, Clearcase,
C, C++, Xml, Pl/Sql, Oracle V.11G-V12
LCL : LE CREDIT LYONNAIS / TERADATA Février 2015 – Juillet 2016
Data Engineer – Référent Technique Datastage
Projet : En intégrant l’équipe Teradata, ainsi que l’équipe LCL, et plus particulièrement sur la Migration du
Data Warehouse et des datamarts (400 tables) de la base de données Oracle vers Teradata, la tâche confiée
était :
• Rédaction des spécifications techniques :
o Rédaction de documentations techniques : Spécifications techniques, dossiers
d’architecture, d’exploitation…
o Communication avec les équipes LCL et SILCA (équipe de production)
o Planification des tâches
• Configuration et Paramétrage du projet datastage :
o Configuration de l’accès Teradata depuis Datastage
o Paramétrage des différents projets datastage
• Développements Datastage PX 9.1 :
o Migration des jobs Datastage : Remplacement des connecteurs Oracle par les
connecteurs Teradata
o Modification et adaptation des jobs Datastage PX 9.1, des routines, des tables Teradata
et des fichiers plats en sources (Mvs et Unix) et adaptation des règles de gestion
o Migration des datamarts : Unica, O2C, CRCO et structure commerciale
o Développement Teradata : Analyse de l'existant, création et adaptation des tables
o Migration des requêtes Sql Oracle vers des requêtes Sql Teradata
o Création et adaptation des scripts d’ordonnancements Shell
o Analyse des données, recette et correction des anomalies
o Mise en production
• Environnement Technique : Datastage PX V.9.1, Teradata 15.0, Oracle V.11G, Unix
EIFFAGE – de Novembre 2013 à Janvier 2015
En intégrant le département "Direction Des Services applicatifs" d’EIFFAGE, et plus particulièrement sur le projet DEFACTO (Dématérialisation des factures), la tâche confiée était :
Rédaction des spécifications fonctionnelles et techniques
• Communication avec les équipes métiers de Eiffage, ainsi que les différentes branches Eiffage
• Rédaction de documentations: Spécifications fonctionnelles et techniques dans le cadre du projet DEFACTO, GEPEC, LDS, MDM
• Collecte d’informations
Développements Datastage PX
• Développement des jobs Datastage PX dans le cadre du projet DEFACTO (Dématérialisation des factures): Extraction des données depuis des fichiers plats, applications des régles de gestions complexes et alimentation des fichiers plats avec un format bien définis.
• Traitement de évolutions et suivie de production dans le cadre du projet OPERIS :
o Extraction des données depuis des fichiers Xml
o Développement Oracle : Analyse de l'existant, création et adaptation des tables
• Alimentation des données dans le cadre du projet GPEC (Besoins de formation) : Import de données de TalentSoft vers Sextant Formation
• Développement de l’évolution sur le projet LDS (Livret des salaires)
• Développement des jobs Datastage PX dans le cadre du projet MDM : Extraction des données
depuis les fichiers Xml, applications des régles de gestions complexes et alimentation des tables Oracle.
• Restructuration des données dans le cadre du projet PFF (Fiabilisation des données) : Extraction des données depuis des fichiers plats, création et alimentation des tables Oracle
• Développement des script unix dans le cadre du projet PFI2
ENVIRONNEMENT
DATASTAGE PX V.8.7, DATASTAGE PX V.8.1, ORACLE 11G, TOAD FOR ORACLE V.9.7
CNP Assurance – d’Octobre 2013 à Novembre 2013
Mission d’expertise et d’audit au sein de la DSI de la Cnp, la tâche confiée était :
Audit sur le projet : Convertisseur ODS
• Analyse de l’existant et collecte d’informations
• Revue des traitements et des jobs datastage ainsi que des scripts unix
• Correction des anomalies
• Refonte des jobs séquences
• Revue des tris et des partitionnements sur l’ensemble des jobs
• Optimisation des jobs et des scripts unix
• Livraison des traitements sur l’ensemble des environnements
• Rédaction de documents d’audit: Spécifications techniques et rapport d’audit
ENVIRONNEMENT : DATASTAGE PX V.8.1, ORACLE 11G
Crédit Agricole Leasing & Factoring
Rabobank Group- Athlon Car Lease – de Mars 2013 à Octobre 2013
Dans le cadre de la migration des données du système d’information du crédit agricole Leasing vers celui d’Athlon Car Lease, mon rôle au sein d’une équipe de 9 personnes était :
Rédaction des spécifications fonctionnelles et techniques
• Communication avec les équipes métiers du crédit Agricole et les équipes de production de Athlon Car Lease
• Rédaction de documents: Spécifications fonctionnelles et techniques …
• Collecte d’informations
• Planification des tâches
Développements Datastage PX et Server V7.5.1
• Extraction des données depuis des fichiers plats fournies par le crédit Agricole
• Application des régles de gestions : développement de jobs datastage Px et des jobs datastage Server
• Développement Sql Server : Analyse de l'existant, création et adaptation des tables
• Intégration des données
• Détermination du niveau de fiabilité et d'intégrité des données.
• Certification de la conformité des données.
• Détections des données frauduleuses.
• Correction des anomalies
• Suivi de recette
• Mise en production
ENVIRONNEMENT
DATASTAGE PX V.7.5.1, DATASTAGE SERVER V.7.5.1, SQL SERVER 2008R2, TOAD FOR SQL SERVER V.5.8.1
Malakoff Médéric SI2M – de Mars 2012 à Mars 2013
Dans le cadre de la création d'un nouveau SID, mon rôle au sein d’une équipe de 7 personnes était :
Développements Datastage PX 7.5.3
• Création d'un nouveau Infocentre : Infocentre Individuel: Chargement des tables unitaires via datastage
• Création de 4 nouveaux Datamarts liés au nouvel Infocentre individuel
• Modification des tables SYBASE et des fichiers plats en sources et application des régles de gestion
• Correction des anomalies
• Suivi de recette
Gestion d’équipe
• Gestion d'une équipe de 3 développeurs datastage
• Organisation des développements
• Analyse, chiffrage et choix techniques d’évolutions
• Gestion de planning de recette et de livraison
ENVIRONNEMENT
DATASTAGE PX V.7.5.3, SYBASE V.11.5.1, DBVISUALIZER V.8.0.8, TOAD FOR SYBASE V.1.2, UNIX, MVS
Neuflize OBC ABN AMRO – de Mai 2011 à Mars 2012
En intégrant le domaine " Département d'études informatiques" de Neuflize OBC, et plus particulièrement sur la rationalisation du projet SIRIUS, Data Warehouse avec outil de Reporting (100 utilisateurs finaux, 2To de données), la tâche confiée était :
Rédaction des spécifications techniques
• Rédaction de documentations techniques : Spécifications techniques, dossiers d’architecture, d’exploitation…
• Communication avec les équipes métiers, les équipes de production
• Planification des tâc...