CV/Mission de Concepteur développeur datastage freelance

Exemple de missions de Hassen,
Concepteur développeur datastage habitant le Val-de-Marne (94)

Expériences Professionnelles

Mars 2020 – Aout 2020 Centre de services NODYA GROUP
Data Engineer – Architecte Technique Big
Data
 Prise en main et maitrise des outils Big Data sur Google Cloud
Plateform (formations en ligne)
 Etude et mise en place d’un environnement de formation Big
Data
 Rédaction de scénarios de formations sur un environnement Big
Data : HDFS, Hive, Yarn, Spark, Kafka, Sqoop, Pig, Oozie …
 Etude et proposition d’une architecture commune de l’infrastructure des filiales du groupe Nodya (Aydon, Digglerz, Consultake,
…)

Environnement Docker, Docker-compose, Cloudera, GitLab, Word, Excel, PowerPoint, BigQuery, BigTable, DataFlow, Cloud Data Fusion

Avril 2019 – Février
2020
SOCIETE GENERALE ASSURANCES
(SOGECAP-ASSU)

Dans le cadre d’une migration de projets ASSU d’une plateforme IBM BigInsight vers une nouvelle plateforme sous Hortonworks (HDP 2.6) :
 Etude de solutions techniques offertes par la nouvelle plateforme
 Adaptation des anciens traitements (Shell, Hql, Java Spark) aux
normes de la nouvelle plateforme
 Test et validation des traitements sur l’environnement de développement HDP 2.6
 Développement des Workflows Oozie pour l’ordonnancement des
traitements sur la nouvelle plateforme
 Livraison des traitements vers les environnements Intégration,
Homologation et Production
 Tuning et optimisation de traitements Hive et Spark en Production
 Amélioration et stabilisation du plan d’ordonnancement Oozie en
Production
 Accompagnement des équipes projets et Datascientistes pour la
prise en main de nouvel environnement

Architecte Technique
Big Data (Nodya Group)
Dans le cadre d’un nouveau projet de collecte des données télématiques :
 Etude et cadrage du projet avec les parties prenantes (Datascientistes, Métiers)
 Mise en place de l’architecture du projet plateforme télématique
 Rédaction de spécifications techniques
 Accompagnement d’un data engineer junior pour la réalisation
des traitements de collecte de données et leur mise à disposition
aux Datascientistes.

Environnement Hadoop (Hortonworks), Hive, Spark Java, Hbase, Jira, Git, Maven,
Hue, Yarn, Word, Excel, Oozie

Février 2019 – Mars
2019 Centre de services NODYA GROUP
Data Engineer – Techlead Big Data
 Contribution aux études et réponses aux appels d’offre de services Big Data
 Participation aux soutenances et présentation avant-vente
 Contribution aux projets internes du groupe Nodya
 Autoformation
Environnement Docker, Hortonworks, GitLab, Word, Excel, Powerpoint

Juin 2016 – Février 2019
SOCIETE GENERALE : CCBD (Centre de
Compétences Big Data)

Au sein d’une équipe Big Data dédié aux projets Cash Management :
 Assurer le rôle du réfèrent technique Talend et Administration
Hadoop
 Contribution à la mise en place de l’architecture de nouveaux
projets : Contrôle de conformité et pilotage de l’activité commerciales Cash Management
 Développer des traitements de collecte de données, ingestion de
données et générations de vues métier
 Accompagner l’équipe projet pour la prise en main des traitements Big Data

Data Engineer – Techlead Big Data

Au sein d’un centre de compétences Big Data :
 Animer des mini-meetup Big Data pour partager les connaissances entre les collaborateurs du CCBD et Hors CCBD.
 Développer des traitements Spark Scala pour un projet de collecte et contrôle des données réglementaires (TOMFIR)
 Assurer le rôle d’administrateur Hadoop sur une plate-forme
HDP 2.6 en DEV
 Contribuer à des projets d’amélioration et migration des outils
Big Data au sein des équipes Socle Big Data à la Société Générale.
 Assurer le rôle de pilote sur un projet de mise en place d’un nouvel environnement Talend Big Data
 Assurer le rôle du réfèrent technique pour la plateforme Talend
Big Data
 Mise en place de bonnes pratiques de développement et déploiement de traitements Talend
 Pilotage de la migration du plateforme Talend Big Data de la
version 5.6 à la 6.2 puis la 6.4 sur l’ensemble des environnements (DEV, Intégration, Homologation et PROD)
 Réalisation et optimisation de traitements Talend DI et Big Data
en ETL et ELT (selon les besoins projets)
 Contribution à des projets socle Big Data : migration hadoop, sécurisation et normalisation des environnements de DEV, développement des outils génériques réutilisables par tous les développeurs CCBD
 Accompagner des équipes hors CCBD sur toutes les phases d’un
projet en interaction avec le datalake CCBD (Architecture, choix
des outils, développement, industrialisation …)
 Réalisation des POC :
o Techniques : pour tester la capacité d’un outil à répondre
à un besoin métier (tester les fonctionnalités Talend
d’anonymisation de données pour le projet GDPR « general data protection regulation »)
o Projet : développement d’un mini projet se basant sur un
échantillon de données pour générer un rapport répondant
à un besoin métier
 Mise en place d’un playbook ansible pour installer les différents
composants de la plateforme Talend Big Data (TAC, Jobserver,
Cmdline, Talend Data Preparation …)
 Contribution à des ateliers pour la mise en place d’une solution
Data Management pour les données du datalake CCBD
 Aider les nouveaux arrivants du CCBD à bien monter en compétences et à l’application des normes de développement.

Environnement Hadoop (Hortonworks), Hive, Spark, Hbase, Talend, Kerberos, Jira,
Git, Ambari, Hue, Yarn, Word, Excel, Quality Center, Control M

Décembre 2012- Mai
2016
SOCIETE GENERALE

Ingénieur d’étude et développement Datastage

Dans le cadre de la fin du mode projet et le passage en mode maintenance évolutive de l’application AMD :
 Assurer la stabilité du plan de production AMD
 Assurer la bonne alimentation du datamart AMD
 Pilotage de la migration d’ETL Datastage de la version 8 vers la
version 9 dans tous les environnements (DEV, VF, Homologation
et Production)
 Pilotage et réalisation de la refonte des traitements d’extraction
Datasatge suite à la mise en place du projet Appliance de l’EDC
 Pilotage et réalisation des évolutions suite à des expressions de
besoins métier.
 Contribution à la migration du progiciel UNICA de la version 8
vers la version 9
 Assistance pour l’équipe UNICA et proposition des solutions
aux problèmes techniques rencontrés par l’équipe.
 Livraison et suivi en production de la partie donnée du projet
AMD.
 Conception et réalisation d’un traitement de tokenisation pour le
projet DMSA
 Rédaction des fiches d’évolutions.
 Responsable de la mise à jour des modèles BI-Query et MEGA de
l’application AMD

Environnement DataStage PX 9, AIX, GIT, Script Shell, Oracle, Teradata, PL/SQL,
Word, Excel, Quality Center, Control M, UNICA, BI-Query, MEGA

Janvier 2012- Novembre
2012 Malakoff Médéric : SI2M

Concepteur et développeur Datastage (Intrabases)
Dans le cadre de la maintenance évolutive de l’infocentre BC2I (Base Commune Incrémentale et Itérative) :
 Analyse du modèle décisionnel BC2I
 Conception et développement des jobs d’alimentation des tables
BC2
 Réécriture des jobs Server en PX
 Livraison des jobs en recette et en production
 Correction des anomalies techniques et fonctionnelles
 Suivi de production

Environnement DataStage PX 7.5.3, AIX, Script Shell, Sybase, Sql SERVER, Word,
Excel, MVS, TWS

Octobre 2010- Décembre 2011 SOCIETE GENERALE

Concepteur et développeur Datastage (Intrabases)
Dans le cadre du projet AMD (Avenir de Marketing Direct), création d’un nouveau datamart pour la mise en place d’un nouvel outil de gestion de campagnes
marketing (UNICA) :
 Conception de traitements Datastage réalisés par une équipe de
développeurs externalisés (Réalisation de Dossiers de Conception
Applicative)
 Vérification et validation de Dossiers de Conception Applicative
rédigés par les autres membres de l’équipe
 Conception et réalisation de traitements Datastage plus complexes
 Vérification et validation des traitements Datastage livrés par
l’équipe de développeurs externalisés
 Contribution à la conception et réalisation de l’ordonnancement
des traitements Datastage AMD via Control M
 Création de scripts de modification des schémas du datamart
AMD (Création, modification de tables, indexes, contraintes …)
 Prise en charge des corrections d’anomalies sur les traitements
Datastage détectées lors des phases de recette (Validation Fonctionnelle, Homologation Fonctionnelle et Homologation Bancaire)
 Livraison et suivi en production de la partie donnée du projet
AMD.
 Optimisation du temps des traitements en production.

Environnement DataStage PX 7.5.3, AIX, ClearCase, Script Shell, Oracle, PL/SQL,
Word, Excel, Quality Center, Control M
Mars 2010- Sep 2010 CNP Assurances

Concepteur et développeur Datastage (Intrabases)

Dans le cadre d’un projet au forfait, création et alimentation de la
base de données ALIX pout les tableaux de bord du COMEX pour
l’ensemble des assurances individuelles et collectives :
 Rédaction des spécifications fonctionnelles et techniques
des alimentations et des traitements des données ALIX
 Réalisation des Alimentations de la base ALIX à partir des
bases ODSREF et de fichiers plats
 Modélisation et création du datamart ALIX.
 Rédaction des dossiers de livraison
 Réalisation en DataStage PX , PL SQL, Shell, C
 Tests Unitaires et d’intégration
 Assistance aux utilisat...