CV/Mission de Concepteur développeur datastage freelance

Exemple de missions de Hassen,
Concepteur développeur datastage habitant le Val-de-Marne (94)

• Data Engineer &#x2013 Architecte Technique Big Data

  Centre de services NODYA GROUP
  Jan 2020 - Jan 2020

  &#61680 Prise en main et maitrise des outils Big Data sur Google Cloud
  Plateform (formations en ligne)
  &#61680 Etude et mise en place d&#x2019un environnement de formation Big
  Data
  &#61680 Rédaction de scénarios de formations sur un environnement Big
  Data : HDFS, Hive, Yarn, Spark, Kafka, Sqoop, Pig, Oozie &#x2026
  &#61680 Etude et proposition d&#x2019une architecture commune de l&#x2019infrastructure des filiales du groupe Nodya (Aydon, Digglerz, Consultake,
  &#x2026)

  Environnement Docker, Docker-compose, Cloudera, GitLab, Word, Excel, PowerPoint, BigQuery, BigTable, DataFlow, Cloud Data Fusion

• SOCIETE GENERALE ASSURANCES (SOGECAP-ASSU)
  Jan 2019 - Jan 2020

  Dans le cadre d&#x2019une migration de projets ASSU d&#x2019une plateforme IBM BigInsight vers une nouvelle plateforme sous Hortonworks (HDP 2.6) :
  &#61680 Etude de solutions techniques offertes par la nouvelle plateforme
  &#61680 Adaptation des anciens traitements (Shell, Hql, Java Spark) aux
  normes de la nouvelle plateforme
  &#61680 Test et validation des traitements sur l&#x2019environnement de développement HDP 2.6
  &#61680 Développement des Workflows Oozie pour l&#x2019ordonnancement des
  traitements sur la nouvelle plateforme
  &#61680 Livraison des traitements vers les environnements Intégration,
  Homologation et Production
  &#61680 Tuning et optimisation de traitements Hive et Spark en Production
  &#61680 Amélioration et stabilisation du plan d&#x2019ordonnancement Oozie en
  Production
  &#61680 Accompagnement des équipes projets et Datascientistes pour la
  prise en main de nouvel environnement

• Data Engineer &#x2013 Techlead Big Data

  Centre de services NODYA GROUP
  Jan 2019 - Jan 2019

  Contribution aux études et réponses aux appels d&#x2019offre de services Big Data
  &#61680 Participation aux soutenances et présentation avant-vente
  &#61680 Contribution aux projets internes du groupe Nodya
  &#61680 Autoformation

  Environnement Docker, Hortonworks, GitLab, Word, Excel, Powerpoint

• Data Engineer &#x2013 Techlead Big Data

  SOCIETE GENERALE : CCBD (Centre de Compétences Big Data)
  Jan 2016 - Jan 2019

  Au sein d&#x2019une équipe Big Data dédié aux projets Cash Management :
  &#61680 Assurer le rôle du réfèrent technique Talend et Administration
  Hadoop
  &#61680 Contribution à la mise en place de l&#x2019architecture de nouveaux
  projets : Contrôle de conformité et pilotage de l&#x2019activité commerciales Cash Management
  &#61680 Développer des traitements de collecte de données, ingestion de
  données et générations de vues métier
  &#61680 Accompagner l&#x2019équipe projet pour la prise en main des traitements Big Data
  Au sein d&#x2019un centre de compétences Big Data :
  &#61680 Animer des mini-meetup Big Data pour partager les connaissances entre les collaborateurs du CCBD et Hors CCBD.
  &#61680 Développer des traitements Spark Scala pour un projet de collecte et contrôle des données réglementaires (TOMFIR)
  &#61680 Assurer le rôle d&#x2019administrateur Hadoop sur une plate-forme
  HDP 2.6 en DEV
  &#61680 Contribuer à des projets d&#x2019amélioration et migration des outils
  Big Data au sein des équipes Socle Big Data à la Société Générale.
  &#61680 Assurer le rôle de pilote sur un projet de mise en place d&#x2019un nouvel environnement Talend Big Data
  &#61680 Assurer le rôle du réfèrent technique pour la plateforme Talend
  Big Data
  &#61680 Mise en place de bonnes pratiques de développement et déploiement de traitements Talend
  &#61680 Pilotage de la migration du plateforme Talend Big Data de la
  version 5.6 à la 6.2 puis la 6.4 sur l&#x2019ensemble des environnements (DEV, Intégration, Homologation et PROD)
  &#61680 Réalisation et optimisation de traitements Talend DI et Big Data
  en ETL et ELT (selon les besoins projets)
  &#61680 Contribution à des projets socle Big Data : migration hadoop, sécurisation et normalisation des environnements de DEV, développement des outils génériques réutilisables par tous les développeurs CCBD
  &#61680 Accompagner des équipes hors CCBD sur toutes les phases d&#x2019un
  projet en interaction avec le datalake CCBD (Architecture, choix
  des outils, développement, industrialisation &#x2026)
  &#61680 Réalisation des POC :
  o Techniques : pour tester la capacité d&#x2019un outil à répondre
  à un besoin métier (tester les fonctionnalités Talend
  d&#x2019anonymisation de données pour le projet GDPR « general data protection regulation »)
  o Projet : développement d&#x2019un mini projet se basant sur un
  échantillon de données pour générer un rapport répondant
  à un besoin métier
  &#61680 Mise en place d&#x2019un playbook ansible pour installer les différents
  composants de la plateforme Talend Big Data (TAC, Jobserver,
  Cmdline, Talend Data Preparation &#x2026)
  &#61680 Contribution à des ateliers pour la mise en place d&#x2019une solution
  Data Management pour les données du datalake CCBD
  &#61680 Aider les nouveaux arrivants du CCBD à bien monter en compétences et à l&#x2019application des normes de développement.

  Environnement Hadoop (Hortonworks), Hive, Spark, Hbase, Talend, Kerberos, Jira, Git, Ambari, Hue, Yarn, Word, Excel, Quality Center, Control M

• Ingénieur d&#x2019étude et développement Datastage

  SOCIETE GENERALE
  Jan 2012 - Jan 2016

  Dans le cadre de la fin du mode projet et le passage en mode maintenance évolutive de l&#x2019application AMD :
  &#61680 Assurer la stabilité du plan de production AMD
  &#61680 Assurer la bonne alimentation du datamart AMD
  &#61680 Pilotage de la migration d&#x2019ETL Datastage de la version 8 vers la
  version 9 dans tous les environnements (DEV, VF, Homologation
  et Production)
  &#61680 Pilotage et réalisation de la refonte des traitements d&#x2019extraction
  Datasatge suite à la mise en place du projet Appliance de l&#x2019EDC
  &#61680 Pilotage et réalisation des évolutions suite à des expressions de
  besoins métier.
  &#61680 Contribution à la migration du progiciel UNICA de la version 8
  vers la version 9
  &#61680 Assistance pour l&#x2019équipe UNICA et proposition des solutions
  aux problèmes techniques rencontrés par l&#x2019équipe.
  &#61680 Livraison et suivi en production de la partie donnée du projet
  AMD.
  &#61680 Conception et réalisation d&#x2019un traitement de tokenisation pour le
  projet DMSA
  &#61680 Rédaction des fiches d&#x2019évolutions.
  &#61680 Responsable de la mise à jour des modèles BI-Query et MEGA de
  l&#x2019application AMD

  Environnement DataStage PX 9, AIX, GIT, Script Shell, Oracle, Teradata, PL/SQL, Word, Excel, Quality Center, Control M, UNICA, BI-Query, MEGA

• Concepteur et développeur Datastage (Intrabases)

  Malakoff Médéric : SI2M
  Jan 2012 - Jan 2012

  Concepteur et développeur Datastage (Intrabases)
  Dans le cadre de la maintenance évolutive de l&#x2019infocentre BC2I (Base Commune Incrémentale et Itérative) :
  &#61680 Analyse du modèle décisionnel BC2I
  &#61680 Conception et développement des jobs d&#x2019alimentation des tables
  BC2
  &#61680 Réécriture des jobs Server en PX
  &#61680 Livraison des jobs en recette et en production
  &#61680 Correction des anomalies techniques et fonctionnelles
  &#61680 Suivi de production

  Environnement DataStage PX 7.5.3, AIX, Script Shell, Sybase, Sql SERVER, Word, Excel, MVS, TWS

• Concepteur et développeur Datastage (Intrabases)

  SOCIETE GENERALE
  Jan 2010 - Jan 2011

  Dans le cadre du projet AMD (Avenir de Marketing Direct), création d&#x2019un nouveau datamart pour la mise en place d&#x2019un nouvel outil de gestion de campagnes
  marketing (UNICA) :
  &#61680 Conception de traitements Datastage réalisés par une équipe de
  développeurs externalisés (Réalisation de Dossiers de Conception
  Applicative)
  &#61680 Vérification et validation de Dossiers de Conception Applicative
  rédigés par les autres membres de l&#x2019équipe
  &#61680 Conception et réalisation de traitements Datastage plus complexes
  &#61680 Vérification et validation des traitements Datastage livrés par
  l&#x2019équipe de développeurs externalisés
  &#61680 Contribution à la conception et réalisation de l&#x2019ordonnancement
  des traitements Datastage AMD via Control M
  &#61680 Création de scripts de modification des schémas du datamart
  AMD (Création, modification de tables, indexes, contraintes &#x2026)
  &#61680 Prise en charge des corrections d&#x2019anomalies sur les traitements
  Datastage détectées lors des phases de recette (Validation Fonctionnelle, Homologation Fonctionnelle et Homologation Bancaire)
  &#61680 Livraison et suivi en production de la partie donnée du projet
  AMD.
  &#61680 Optimisation du temps des traitements en production.

  Environnement DataStage PX 7.5.3, AIX, ClearCase, Script Shell, Oracle, PL/SQL, Word, Excel, Quality Center, Control M Mars 2010- Sep 2010 CNP Assurances

• Concepteur et développeur Datastage (Intrabases)

  CNP Assurances
  Jan 2010 - Jan 2010

  Dans le cadre d&#x2019un projet au forfait, création et alimentation de la
  base de données ALIX pout les tableaux de bord du COMEX pour
  l&#x2019ensemble des assurances individuelles et collectives :
  &#61680 Rédaction des spécifications fonctionnelles et techniques
  des alimentations et des traitements des données ALIX
  &#61680 Réalisation des Alimentations de la base ALIX à partir des
  bases ODSREF et de fichiers plats
  &#61680 Modélisation et création du datamart ALIX.
  &#61680 Rédaction des dossiers de livraison
  &#61680 Réalisation en DataStage PX , PL SQL, Shell, C
  &#61680 Tests Unitaires et d&#x2019intégration
  &#61680 Assistance aux utilisateurs pour les recettes
  &#61680 Correction d&#x2019anomalies dans les phases de recettes

  Environnement DataStage PX 7.5.3, AIX, ClearCase, Script Shell, Oracle, PL/SQL, Word, Excel

• Maintenance Groupée de l&#x2019Entrepôt des Données Commerciales

  SOCIETE GENERALE Maitrise d&#x2019&#x153uvre EDC : (ALTI)
  Jan 2008 - Jan 2010

  Données Commerciales
  (MG - EDC)
  &#61623 Alimentations vers l&#x2019EDC et/ou extractions de l&#x2019EDC vers
  d&#x2019autres Datamarts :
  o Etude et Chiffrage des demandes d'évolution
  o Rédaction des spécifications fonctionnelles
  o Rédaction des dossiers de conception
  o Réalisation en ETI-EXTRACT, PL SQL, Shell
  o Tests Unitaires
  o Assistance aux utilisateurs pour audit des problèmes
  en production
  o Correction d&#x2019anomalies en environnement de production
  &#61623 Responsable d&#x2019applications transversales :
  o Mise à jour de la base de suivi (Oracle)
  o Mise à jour du dictionnaire de l&#x2019EDC
  &#61623 Maintenance Evolutive d&#x2019application de Gestion des Cautions émises par la SG (IGCAU) : jusqu&#x2019à Juillet 2009
  o Responsable ME de l&#x2019application IGCAU
  o Traitement des demandes des utilisateurs
  o Suivi et contrôle du fonctionnement automatique de
  l&#x2019application (quotidien et mensuel)

  Environnement UNIX, Script Shell, Oracle, PL/SQL, Excel, ETI-Extract, Control-M, Quality Center

• Architecte Technique

  Big Data (Nodya Group)
  aujourd'hui

  Dans le cadre d&#x2019un nouveau projet de collecte des données télématiques :
  &#61680 Etude et cadrage du projet avec les parties prenantes (Datascientistes, Métiers)
  &#61680 Mise en place de l&#x2019architecture du projet plateforme télématique
  &#61680 Rédaction de spécifications techniques
  &#61680 Accompagnement d&#x2019un data engineer junior pour la réalisation
  des traitements de collecte de données et leur mise à disposition
  aux Datascientistes.

  Environnement Hadoop (Hortonworks), Hive, Spark Java, Hbase, Jira, Git, Maven, Hue, Yarn, Word, Excel, Oozie