Ganséré - Développeur APACHE SPARK

E X P É R I E N C E S

DATA ENGINEER
INFOPRO DIGITAL | FEV 2019 - MAR 2020
Mise en place de flux de données en Spark/Scala sur
HDFS (sous IntelliJ)
Création et déploiement de projet aws (CloudFormation)
Tests unitaires/Documentation des flux
Migration des flux depuis la plateforme on premise vers
AWS
Réalisation de projet dans le cloud avec AWS
La DSI WEB répond aux besoins (applications, sites web,
base de données,. .) des BU du groupe.Au sein de la DSI,
dans le pôle Big Data, mon rôle est de participer à la mise
en place et au maintien de cette architecture (à travers des
flux de données, des bases de données, . . ) au sein du
datalake et dans le cloud.
Taches effectuées :
Environnement et méthodologie : Spark, Scala, SBT,
Python, AWS (S3, Lambda), Hadoop (HDFS, Hive),
Databricks, Snowflake, IntelliJ, Dataiku, Sphinx

CHEF DE PROJET DATA
AXIONE | JUL 2018 - DEC 2018
Mise en place de la plateforme sous Sharepoint
Rédactions de documentations fonctionnelles
Analyse des indicateurs existants
Recueil des besoins internes
Pilotage des indicateurs et des niveaux de
confidentialité
Projet Performance RIP: Au sein d’Axione, dans le cadre de
ce projet, la mission consiste à mettre en place une
plateforme unique où seront exposé un ensemble
d’indicateurs de performance.
Taches effectuées :
Environnement et méthodologie : Power BI, Gestion de
projet, Sharepoint

DEVELOPPEUR BIG DATA
EDF | JAN 2018 - JUN 2018
Intégration de données de facturation en continu
Amélioration des environnements existants
Maintenance des chaines de traitements
Projet : EDMA
Au sein de la Direction Commerciale, la mission consiste à
intégrer, maintenir, développer de nouveaux flux de
données de facturations sur le marché d’affaires, et
d’exposer ses données.
Taches effectuées :
Environnement technique : Hadoop, Hdfs, Hive, Hbase,
Oracle, Git, Oozie

DEVELOPPEUR BIG DATA
SUEZ | OCT 2017 - JAN 2018
Maintenance de la plateforme sous Kubernetes / Docker
Création de flows de données (météo, itinéraires,
parkings, localisation et adresse des emplacements)
Création de l’API permettant d’interroger les bases de
données
Maintenance : analyse / diagnostic / correction d’une
plateforme de gestions de courrier
Participation aux échanges techniques, fonctionnels
avec l’ensemble des différents acteurs liés aux produits
Projet : Smart Solutions
Il s'agit de participer au développement, au sein de l'entité
Innovation, dans un premier temps, d'une plateforme
proposant des données en open data, (digital city St
Etienne), et dans un second, de proposer une application
mobile permettant de connaître l'état de places de parking
en temps réels.
Taches effectuées :
Environnement technique : Kubernetes, Docker, Cassandra,
MongoDB, InfluxDB, Javascript, Node JS, GitMéthodologie
de travail : Agile


DEVELOPPEUR BIG DATA
ENEDIS | JUL 2017 - OCT 2017
Préparation des flux à intégrer dans HDFS (mode batch)-
Intégration de données historiques dans HDFS
Création optimisée de fichiers Avro liées aux flux- Création
de tables externes sous Hive
Intégration de données historiques dans HDFS- Usage du
temps réel avec Kafka Connect (mode streaming)
Dans le cadre d’un POC, la mission consiste à tester
l’intégration en temps réels de données dans le B4ALL, de
croiser ces différentes données et d’effectuer la restitution ;
et également observer les limites du temps réel. Le B4ALL
est la plateforme orientée Big Data, centralisant diverses SI.
Ces SI envoient de façon régulière, des flux de données
concernant la facturation, la consommation électrique ou des
interventions de techniciens, aussi bien pour les particuliers
que pour les professionnels.
Taches effectuées :
Environnement technique :Hadoop, Kafka Connect, Apache
Ambari, Hive


DEVELOPPEUR BIG DATA
EDF | DEC 2016 - JUL 2017
Développement de flux métiers
Rédactions de spécifications fonctionnelles
Développement d'applications pour des usages
métiers
Recettes, tests JUnit
Au sein de la Direction Commerciale, la mission
consiste à superviser un cluster, d’assurer la mise en
conformité des chaines de workflow, et également
participer au développement d’usage métier.
Taches effectuées :
Environnement technique :Web Service (Spring,
Hbase), Maven, Oracle Data Integrator

STAGE BI/ BIG DATA
BUSINESS & DÉCISION | FEV 2015 - AOUT 2015
Etat de l'art sur l'architecture décisionnelle BI/Big
Data
Recherche et tests des différents composants afin
d'obtenir une solution performante
Intégration de données structurées/non
structurées dans un ETL
Utilisation d'Hadoop pour le stockage des
données
Création de graphiques et tableaux de bords pour
la data visualisation via un outil de Reporting
Exploration de données
Environnement technique :
Big Data : Cloudera (Hadoop), HDFS/YARN,
MapReduce, Hive,Hbase, Spark, Spark
Streaming, Scala, Pig
Talend Open Studio for Big Data
HP Vertica
Qlik Sense, QlikView, Tableau Software
Au sein de l’agence innovation, accompagné du
responsable d’agence, la mission consistait à
améliorer les outils utilisés dans l’architecture
(architecture muni d’outils de BI) en les remplaçant
par des outils issus des technologies du Big Data,
notamment en ce qui concerne l'intégration et le
stockage. Le but était de maitriser la consommation
énergétique de bâtiments connectés, en analysant
et recoupant les données de ceux-ci.

STAGE ARCHITECTE BIG DATA
THALES AIR SYSTEMS | JUL 2017 - OCT 2017
Participation à la conception du schéma de
l’architecture générale
Intégration de sources de données : météo, plan
de vol, données aéroportuaires, position des
aéronefs
Conception d’un datalake centralisant ses
données
Traitement des données batch
Environnement technique: Kafka, Zookeeper,
Cassandra (NoSQL),Nifi, Grafana, Web Services,
java J2EE