Igor - Développeur APACHE HADOOP

EXPERIENCES PRO.

Depuis Avril 2018
Secteur bancaire
Data ingestion
Optimisation de jobs spark
Force de proposition sur les
implémentations métiers autour de la
solution
Societe Generale Corporate and Investment Banking / Consultant Data Engineer
Date Engineer confirmé sur le projet GROVER
Ingestion et traitement de données dans un cluster Hadoop avec Spark et la stack
Hortonworks, exposition quotidienne des données dans une base de données SQL.
• Ingestion du NAS vers HDFS
• Nettoyage et validation des données (valeurs nulles, recovery, Etc.)
• Conception et développement d’applications spark pour formatage et transformation de
la donnée selon le modèle business
• Conception et développement de workflows d’ingestion et de traitement dans Oozie
• Exposition vers MS SQL Server via Sqoop
• Optimisation de jobs Spark, amélioration de perf: Ex: Amélioration des perfs d’un job
d’ingestion et validation, temps de traitement réduit de 2h (OOM parfois) à 10 min.
Techs: Spark, Java 8, Hive, Sqoop, HDFS, Git, Maven, SQL, Oozie

2014 - 2018 (4 ans)
J2EE/Cloud
Maîtrise des techniques de
développement et d’industrialisation
d’applications
Solides connaissances en Cloud
Computing
ATOS – Fastconnect / Développeur FullStack J2EE / CLOUD
projet Alien4Cloud, plateforme DevOps de gestion du cycle de vie d’applications.
• Agile (SCRUM), continuous delivery, opensource, TOSCA
• Développeur actif du produit : Back (J2EE, Spring, ElasticSearch) + Front (HTML5,
AngularJS )
• Déploiement sur Clouds (Aws EC2, Openstack, Docker)
• Participation établissement du backlog, proposition et design de fonctionnalités
• Gestion GitHub: pull-requests, Code-review, merge, communication
Techs: J2EE, AngularJS, ElasticSearch, Spring, Git, Maven, Kubernetes, AWS, Docker

2013 – 2014 (7 mois)
Big data / J2EE / Cloud
Prise en main des concepts big
data / Cloud
ATOS – Fastconnect / Developpeur JAVA / Cloud
Cloud et automatisation
• Manipulation Cloud, migration SI vers des Clouds
• Automatisation du déploiement d'applications ou de services middlewares (Cloudify,
Puppet)
Initiative Big Data pour le stade Toulousain
• Acquisition des données clients de plusieurs sources et stockage sur HDFS
• Scrapping et structuration de la donnée en utilisant MapReduce, stockage dans
MongoDB / Hbase
• Transformation de la donnée en Graph (J2EE, Spring, Neo4j)

2013 (6 mois)
Big Data / J2EE / Cloud
Initiation aux concepts Big Data
Initiation aux développement en
environnement distribué et au Cloud
computing
FastConnect / Stage de fin d’études
Stagiaire developpement Java / BigData / Cloud
• Développement et déploiement dans le Cloud EC2 d'une application mobile (Sensha
J2EE, Spring, MongoDb)
Big Data avec l’écosystème Hadoop
• Acquisition des données via logs apache, Tweeter, LinkedIn,... et stockage sur HDFS
• Traitement des données avec MapReduce et stockage sur MongoDB / Hbase
• Automatisation du déploiement d’un cluster Hadoop sur le Cloud Amazon EC2
• Installation d'un cluster Hadoop (distribution Cloudera) avec services à la demande:
HDFS, MapReduce, Hive, PIG, Hbase, ...
• Scripts d'automatisation avec le PaaS factory Cloudify