Aboubacar - Développeur BIG DATA

Experience professionnelle
Avril 2019
à Aujourd’hui
Data Engineer, ICADE, France.
Missions principales :
Mise en place d’un Datalake et d’un data pipeline afin de centraliser toute les données
web et CRM. La finalité étant d’aider les équipes marketings à mieux comprendre leurs
audiences afin de mieux les cibler
Taches réalisées :
— Installation et configurations nécessaires à la mis en place du DataLake
— Intégration des flux de données dans le DATALAKE (FLUME, SQOOP, HDFS)
— Automatisation et l’orchestration des chaines des traitements avec Airflow
— Analyse des données avec HIVE
— Conseiller et éclairer le client sur les cas d’usages adressables avec les données récupérées
— Implémentation de job spark pour le traitement de données
— Maintenance des chaînes de traitements
— Documentations Techniques
Technologies et environnement techniques :
Pyhton, Spark, Sqoop, Apache Flume, HDFS, Hive, Postgres, Airflow, Apache Zeppelin

Octobre 2015 à Aujourd’hui
Développeur Scala/Java, MAKAZI, France.
Missions principales :
Mise en place d’une architecture Big Data et developpement de microservices dans le cadre de la méthodologie Agile Scrum.

Taches réalisées :
—Developpement d’Apis microServices Rest avec le framework Play Scala/Java
—Developpement d’acteurs Akka en Scala
—Developpement de connecteurs vers d’autres Apis externes en Rest et Soap : Esp, Dsp...
—Ecange avec les partenaires et les clients afin de definir les besoins à adresser par les connecteurs
—Tests d’inntégrations et unitaires
—Livraisons en recette et production
—Gestion de la base de données avec Slick
—Conception et Implementation d’une solution permettant d’effectuer des calculs instantanés sur une grosse volumetrie de données
—Indexation des données dans elasticSearch pour un accès à temps réel
—Iplémentation d’un job Etl en python pour l’ingestion de données
Technologies et environnement technique :
Scala, Play, Java, Akka, Slick, Spark, Kinesis, Amazon s3, Elasticsearch, Redshift, AWS Lambda, python, Rancher, Docker, Postgres, Airflow

2015 (6 mois) Réalisation d’un démonstrateur Big Data en utilisant la Méthode SCRUM dans un environnement Cloud, Bull an Atos technologie, France.
Missions principales :
Echange avec le client afin de prendre connaissance des besoins client, traduction de leurs problématiques sous forme de problèmes big data, Mise en place des solutions adaptées dans le cadre de la méthodologie Agile Scrum .

Taches réalisées :
—Extraction transformation et chargement des données, Reporting et Data visualisation
—Choix et Intégration des technologies Big Data à utiliser pour la mise en place de l’architecture lambda
—Implémentation différents modèles de machines Learning pour le traitement des données afin d’obtenir une vue descriptif et prédictif des anomalies
Technologies et environnement technique :
Spark, Spark streaming, Kafka, Logstash, Elasticsearch, R, Hadoop/HDFS, flume, Kibana, Redis, python, Bash, Openstack, Cloudily, Alien4cloud, Scrum/Agile,JAVA, ubuntu