CV/Mission d'expert e-care freelance

Exemple de missions de Mohamed,
Expert e-care habitant les Hauts-de-Seine (92)

• TechLead Data Engineer

  SOCIETE GENRALE
  Jan 2020 - aujourd'hui

  Migration des projets BigData (Talend / Scala spark) vers le nouveau Datalake LUCID et
  migration de Talend BigData de la version 6.4.1 vers la 7.3.1
  Coordination avec les différentes équipes (Admin Talend, Admin datalake LUCID, …)
  Mise en place des nouvelles solutions techniques pour le nouveau cluster Talend
  Définition des étapes de migration des jobs Talend
  Mise en place de la documentation pour la migration des projets Talend
  Accompagnement et formation des équipes du quartier finance dans leurs migration
  Migration des jobs Talend vers la nouvelle version de Talend 7.3.1
  Mise en place de la chaine CI/CD pour les projets Talend
  Mise en place du nouveau plan d’ordonnancement avec Control-M
  Techlead Data Engineer
  Mise en place des projets BigData sur Talend BigData et Spark/Scala
  Maintenance évolutive des projets
  Pilotage et coordination des équipes de développement à Bangalore
  Coordination des évolutions avec les différentes équipes
  Maintenance et évolution des plans de production sur Control-M
  Développement des playbook Ansible

  Environnement Technique : Base de données : Hive, SQLServer PostGres Langages : Scala/spark, sparkSQL Java, Groovy, SQL, Shell, Json, XML Outil : Trino, DBeaver, Jenkins, Ansible. Reporting : Power BI ETL : TALEND BigData (6.4.1, 7.3.1) BigData : Hadoop, Cloudera 7.1.1

• TechLead Nifi GCP

  CARREFOUR
  Jan 2020 - Jan 2020

  Installation et préparation des environnements de developpement Nifi sur GCP
  Définition des règles et norme de développement sur Nifi
  Formation des équipes Carrefour sur Nifi
  Accompagnement des équipes Carrefour dans le développement avec Nifi
  Gestion et formation d’une équipe de formation
  Développement des flux sur Nifi
  Développement de nouveaux composants Nifi
  Définition de l’architecture de déploiement pour Nifi

  Environnement Technique : Base de données : PostGres, BigQuery Langages : Groovy, Java, SQL, Shell, Json, XML Outil : Nifi 1.11 Cloud : GCP

• Architecte BigData / Data Engineer

  SAFRAN AIRCRAFT ENGINES
  Jan 2019 - Jan 2020

  Amélioration de l’architecture data actuelle
  Changement du partitionnement des données cooked, d’un partitionnement fonctionnel vers un
  partitionnement technique
  Mise en place d’un ordonnancement avec Nifi à la place de Oozie
  Création des templates NIFI pour le lancement des traitements de collecte, d’Ingestion et des
  algorithmes
  L’étude de l’utilisation de Drill comme connecteur aux données de la plateforme à partir des
  autres applications
  Etude et POC pour l’utilisation de Hbase sur la plateforme.
  Faire un POC sur Flume
  Amélioration de la performance d’accès à la base de données Hive
  Etude d’utilisation de Drill comme connecteur et accélérateur pour la base Hive
  Elargir l’utilisation de LLAP
  POC sur les outils dataviz
  Participation aux ateliers de travail sur le choix de l’outil de dataviz
  Architecturer les traitements d’ingestion et d’indexation
  Mise en place d’une architecture pour le lancement des traitements d’ingestion et d’indexation en
  détectant dynamiquement les nouvelles données
  Rédaction du DAT
  Participation à la mise en place des algorithmes
  Orientation de la conception et des développements pour respecter les normes internes et les
  bonnes pratiques
  Support aux concepteurs et développeurs
  Mise en place d’un POC Elasticsearch sur Docker
  Installation d’un cluster Elasticsearch sur Docker

  Environnement Technique : Base de données : Hive, Hbase, MongoDB 3.4 Langages : Scala, Python, Spark, Hql, Hpl, Oozie, Java, SQL, Shell Outil : Docker, Putty, MongoDB Compass, Ambari, Docker, kubernetes Reporting : Superset BigData : HDP 2.6.4, HDF 3.1.1, Nifi, Apache Drill, Apache Flume, Elasticsearch

• Consultant BI / Senior Data Engineer

  SOCIETE GENRALE
  Jan 2017 - Jan 2019

  Mise en place d’une application spark/scala pour l’évaluation des entreprises
  Conception de l'architecture applicatifs
  Création de la base et des tables associés sur Hive
  Développement de l’ordonnancement avec Oozie
  Développement des traitements avec scala/spark
  Mise en place d’une chaine CI/CD pour Talend
  Définir l’architecture de la chaine CI/CD
  Installation et test des différents modules de la chaine CI/CD (continuous
  integration and continuous delivery)
  Développement des playbooks sur ansible Tower pour la partie CD
  
  Maintenance Evolutive d’une application Scala/spark pour la catégorisation des opérations
  Bancaires
  Suivi de la production des traitements existants
  Correction des anomalies sur les traitements scala
  Développement des évolutions sur les traitements (Scala et Talend)
  Création des tables externes pour l’exploitation des fichiers sur le lake
  Optimisation des traitements de catégorisation (scala/spark)
  Mise en place d'un datawarehouse et des datamarts pour le reporting :
  Conception de l'architecture applicatifs
  Modélisation et conception du modèle de la base de données décisionnelle (datawarehouse et
  des datamarts)
  Développement des traitements d’alimentation avec Datastage PX
  Développement des fiches control-M pour l’exécution et l’enchainement des traitements
  Mise en place d'un infocentre de reporting pour la mobilité bancaire :
  Conception de l'architecture applicatifs
  Développement des traitements Talend qui :
   Récupèrent les données sur HDFS (Datalakes)
   Calculent les différents indicateurs et qui traite les données bruts
   Injectent les données dans la base MongodDB
  Développement de l'application Web sur AngularJS
  Génération des tableaux de reporting en Excel et permettre aux utilisateurs le téléchargement.
  Migration des machines de la base de données Vectorielle vers Redhat 7.1
  Pilotage de la migration des serveurs Linux Redhat 5.1 vers Redhat 7.1 et de la base de données
  Vectorielle Harry Vectorial Server de la version 32 bits vers la version 64 bits.
  Définition de la capacité des nouvelles machines.
  Définir l'architecture cible et mise en place du plan de migration.
  Adapter les traitements sur les nouvelles machines.
  Développement des rapports décisionnels avec la suite Harry Liberty
  Développement des traitements d'alimentation de la base de données Vectorielle Harry Vectorial
  Server

  Environnement Technique : Base de données : Hive, Harry Vectorial Server, Oracle 11g, Teradata 14.1, 15.1, MongoDB 3.4 Langages : Scala, Spark, Hql, Oozie, AngularJS, Java, Rest, HVS, SQL, Shell Outil : SqlDevelopper, Teradata Sql Client, , IntelliJ, Winscp, Putty, MongoDB Compass, Hadoop, HDFS Reporting : Harry Pilot 8.7, Harry DASHNORD 8.7, Microstrategy 10 ETL : TALEND TOS (6.2.1) TALEND BigData (6.2.1), Datastage PX 11

• Consultant BI et DWH

  La Banque Postale
  Jan 2014 - aujourd'hui

  Tâches réalisées :
  Conception et modélisation d'un Datamart (R-OLAP).
  Développement des traitements d'alimentation et de calcul des données du datamarts.
  Maintenance des outils décisionnels du système d’information de la surveillance prudentielle pour la direction des marchés financiers.
  Etudes, conception et développement des nouvelles évolutions (Talend / WebService / PL/SQL)
  Modification et correction des jobs Talend.
  Correction des anomalies dans les traitements PL/SQL.
  Evolution des traitements PL/SQL.
  Analyses et correction des problèmes de la production.
  Optimisation des performances des traitements PL/SQL.
  Mise en place de la version Talend Entreprise Data Integration.
  Migration des traitements Talend TOS vers la version payante Talend TEDI

  Environnement Technique : Base de données : Oracle 11g Systèmes : Windows XP Pro, Windows 2003 Server. Langages : SQL, PL/SQL, JAVA. Outil : SqlDevelopper, TALEND TOS (5.3.1), TALEND TEDI (5.6).

• Consultant Technique sur l’ERP Oracle Customer Care and Billing

  Lyonnaise des eaux
  Jan 2013 - Jan 2014

  Développement des scripts shell et des traitements PL/SQL.
  Paramétrage CC&B.
  Correction des données et mise en place des contournements des anomalies.
  Analyse des données.
  Surveillance des environnements de production.
  Analyse des plantages et des anomalies sur les batchs CC&B en production.

  Environnement Technique : Base de données : Oracle 11g, Progiciel : Oracle Customer Care and Billing Systèmes : Unix (IBM AIX), Windows XP Pro, Langages : SQL, PL/SQL, shell. VBA, Outils : SQLDeveloper, Quality Center, Access, Sully, putty

• Consultant Décisionnel et expert Oracle PL/SQL

  Lucheux
  Jan 2013 - Jan 2013

  Tâches réalisées :
  Refonte des Traitements Report en SQL et PL/SQL.
  Refonte des traitements Pro*c en PL/SQL.
  Développement des scripts shell.
  Modification des écrans Forms.
  Création des rapports avec JasperReport iReport Designer.
  Intégration des rapports Jasper dans un intranet JAVA/J2EE (Spring).
  Développement d..