Heni - Consultant BIG DATA

Avril 2019
Consultant Big
DATA
Mission Groupe euro-information
Equipe infrastructure : 3A60
Gestion des clusters HADOOP des environnements de travail pour le groupe euroinformation.

Projet Monitoring Ambari Alertes : Remonter les alertes d’Ambari dans l’outil de monitoring BEM.
 Développement d’un POC en Python pour API REST pour récupérer les alertes d’Ambari de tous les environnements (DEV, RECETTE, PRE-PRO, PROD)
 Gestion d’une base de données SQLITE contenant les configs utilisées.
 Formatage et standardisation des alertes récupérées pour les envoyer avec XSURVEI vers BEM.
 Développement des tests unitaires.
 Mise en production du POC et création du RPM.

Projet Monitoring Ambari Manage users-groups: Gérer les utilisateurs et groupes d’Ambari
 Développement d’un POC en Python pour API REST pour gère (get /delete) des (users/groups) d’Ambari de tous les environnements (DEV, RECETTE, PRE-PRO, PROD).
 Récupération des users/groupe via ligne de commande ou des fichiers.
 Gestion d’une base de données SQLITE contenant les configs utilisées.
 Développement des tests unitaires.
 Mise en production du POC et création du RPM.

Projet Monitoring Ambari STOP-START-RESTART des composants d’Ambari
 Développement d’un POC en Python pour API REST pour STOPSTART-RESTART des composants d’Ambari de tous les environnements (DEV, RECETTE, PRE-PRO, PROD).
 Récupération des actions via ligne de commande.
 Gestion d’une base de données SQLITE contenant les configs utilisées
 Développement des tests unitaires.
 Mise en production du POC et création du RPM.

Projet Monitoring Ambari : Dump-Restore toutes les bases de données Postgres
 Développement d’un POC Bash pour Dump-Restore de toutes les bases de données Postgresql de tous les environnements et renvoie des fichiers de Backup d e la machine Ambari Prod vers Ambari StandBy s’il existe.
 Assurer l’échange des clés entre la machine Ambari Prod et StanBy
 Mise en production du POC et création du RPM
Environnement Technique: Python 2.7, Hadoop, PostgreSq, Shell, Hive, Sqlite, Linux, Junit, Git, MremoteNG.

Juillet 2018
Consultant Big DATA
(8 mois)
Mission Groupe Adeo
DATA LAB :
Chercher de la valeur depuis les données Adeo à travers de pocs de 10 jours pour toutes les BU.

En méthodologie AGILE :
 Accompagner les Data Scientists et les data Analysts.
 Préparer l’infrastructure pour le lab afin de réaliser des pocs
 Soutien technique à l’équipe lors de la réalisation des pocs
 Gérer les flux de données entre les bases de données relationnelles et Hadoop via Stambia
 Gérer les bases de données et le HDFS
 Faire la relecture et la validation des codes.
 Mise en Prod ou industrialisation des pocs prouvés.

L’équipe Data Solution
La mise en production des pocs sur la plateforme GCP et les exposer pour toutes les BU d’Adeo partout dans le monde.
 Projet CPQ : Le projet Customer Purchase Quantity vise à connaitre la quantité achetée par client et par article.
 Projet API Complémentaire : Vise à identifier les produits complémentaires afin de les suggérer aux clients.

En méthodologie AGILE :
 Etude de l’architecture à mettre en place sur la GCP.
 Consommer des données déjà sauvegardé sur FireStore ou BigQuery
 Développer les fonctionnalités en python
 Assurer le logging de l’exécution des requetés sur BigQuery
 Créer des tests unitaires
 Faire la relecture et la validation des codes
Environnement Technique:
Google Cloud Platform, Python, JAVA7, Teradata, HDFS, Shell, Stambia, Hive, Sql, Linux, Junit, Git, SVN.

Novembre 2017
Consultant Big DATA
(8 mois)
Mission Chronopost
Projet Supervision Agence
Le projet vise à optimiser et industrialiser le processus de pilotage des flux de colis dans les sites Chronopost. Il s'agit d'une application web avec un back-end en micro services REST.

En méthodologie AGILE :
 Développement des batch qui permettent d'alerter quelques catégories de colis
 Consommer les résultats des batch via une interface web sous forme d'indicateur.
 Ajout de fonctionnalités sur l'application Web supervision.
 Mettre en place Elasticsearch (client rest basic + kibana) pour étudier les logs utilisateurs
 Faire la relecture et la validation des codes.

Projet Vision
Le projet vise à créer une plateforme de micro-services REST dont le but de centraliser les services de plusieurs applications Chronopost.
En méthodologie AGILE :
 Gestion de la base de données Cassandra
 Amélioration des micro-Services existants
 Développement des nouveaux micros services
 Créer des tests d'acceptante et des tests unitaires
 Faire la relecture et la validation des codes
Environnement Technique :
JAVA7, Tomcat7, micro-services (Dropwizard), REST (Jersey, Swagger), Spring MVC, Spring (IOC, AOP, security, Batch), Apache Tiles, Log4j, Cassandra (Datastax DevCenter, CQL),Maven 3.1, Jenkins, GIT, SourceTree, Gitflow, TestNG, Mockito 1.10.8, JSP, HTML, Javascript, JQuery, CSS, ElasticSearch : restClient, Kibana, tranportClient, API-Java

Mai - Novembre 2017
Mise en place d’une plateforme Big DATA pour l’Observatoire de la Mobilité Electrique
Consultant Big DATA chez Enedis.
(8 mois)
En méthodologie AGILE :
 Ingestion des données relatives à la mobilité électrique dans un cluster
HADOOP (Horton Works) par la mise en oeuvre d’outils tels : Nifi,
Kafka, Node-RED, ActiveMQ afin d’alimenter HDFS et Hive.
 Développement d’une application de traitement des données de la mobilité électrique à l’échelle nationale via Spark-scala, Spark-Python et JAVA Sping Boot.
 Mise en oeuvre d’algorithmes de Machine Learning afin de générer des modèles optimaux de recharge pilotée de Véhicules Électriques.
 Maintenance de l’application OME V1 développée dans le framework
 PLAY en SCALA sur une base de données PostgreSQL.
 Intégration et déploiements continus à l’aide de Jenkins, Ansible et Nexus.
Environnement Technique : Spark, Scala, Java, python, hbase, HDFS, SQL, Postgres, Nifi, hive, Json, avro, kafka, Eclipse, Maven, SBT, Jenkins, SonarQube, JUnit, Git, Jupiter, nodeRed, MQTT, winscp, openshift, Ansible, Agile-Scrum

Septembre 2015 / Mai 2017 (1 an, 8 mois)
Consultant Big DATA
Labsoft Ingénierie - Mission Chez Airbus Toulouse
Développement d’une application pour enregistrer et manager les données provenant des essais en vols
En méthodologie AGILE :
 Développement d’une application pour enregistrer et manager les données
 provenant des essais en vols.
 Gestion de la base de données Ingres et H2.
 Développement de Web Services Restful
 Phase robustification des fonctionnalités de l’application existante Back end.
 Développement des Web Services pour la migration des données en J2EE.
 Développement des Tests Unitaires et Tests d’Intégration.
Environnement Technique : Java 8, Jersey/JAX-RS, SQL, Json, Eclipse, Maven, Jenkin

Développement et étude du projet Big DATA : Global Marketing Forecast pour le département Stratégie Airbus
En méthodologie AGILE :
 Développement d’une application afin d’estimer le marché de transport aérien pour les 20 prochaines années en se basant sur les données du marché transport aérien actuel.
 Gestion de la base de données SQL Server.
 Assurer le bon fonctionnement de la méthodologie Scrum
 Phase de maintenance des fonctionnalités de l’application existante Backend et Front-end.
 Développement des Web Services en C# déjà maquettés en Python.
 Consommation des Web Services Back-end via des interfaces développées en ExtJS
Environnement Technique : C#, ExtJS, Python, Ubuntu14.10, Windows 7, Visual Studio 2010, SQL Server, IntelliJ15.03, Tomcat 7.0, SVN, Agile-Scrum

Mars / Juillet 2015
(5 mois)
Stagiaire
2014-2015
(1 année universitaire)
Stagiaire
Stage de fin d’étude chez le Laboratoire LGP de l’ENI de Tarbes
Amélioration d’un prototype logiciel de planification distribuée multi-site
 Migration de la solution crée en C++ de Windows vers Linux.
 Ajout des fonctionnalités et des interfaces sur le prototype.
 Gestion et enregistrement des données sur la base de données.
Environnement Technique : Ubuntu 14.10, Windows 7, Code Blocks, Microsoft Visual studio 2010, MySQL, UML, GIT, Scrum

Stage chez la Société PROLOGIC
Traitement de Big Data et analyse de données pour une plateforme de questionnaire
 Installation et configuration de Hadoop en multi-nodes.
 Analyse et prétraitement de données.
 Extraction des connaissances à partir des données (Taux de satisfaction, le foyer de performance optimal, …)
 Présentation des résultats avec QlikView
Environnent Technique : Hadoop - PIG - Python – MongoDB – QlikView 11- Linux, GIT, Scrum

Juillet / Aout 2014 Stage chez la Startup IcodeVision
(2 mois) Conception et développement d’une application mobile pour l’insertion des clients.
Stagiaire
 Rédaction des spécifications fonctionnelles.
 Création des Web Service en Java.
 Consommation des Web Services à travers une application Android.
Environnement technique : Androïd 4.2 - Ubuntu 12.04 – Eclipse – WebServices – MySQL – GIT – Scrum

2012-2013
(1 année universitaire)
Stagiaire
Stage chez Laboratoires de l’IIT :
Développement et mise en place d'un outil d'administration de Cloud Computing
en ligne.
 Installation, modification et configuration OpenStack Essex
  Élaboration des interfaces pour le Dashboard
 Élaboration des bureaux distants pour les clients en utilisant le composant VNC proxy.
Environnement technique : OpenStack Essex - Ubuntu 12.04 - Python Django.

Février / Juin 2011
(5 mois)
Stagiaire
Stage chez la Société Thyna Pertoluim Services :
Conception et développement d’une application pour la gestion des données de puits de pétrole.
  Migration des données d’Excel vers SQL Server.
 Création des Dashboard.
 Génération des rapports.
Environnement technique : Java - Windows XP SP03 - NetBeans - SQL Server 2008 – Crystal reports 2008