Youness - Data Scientist APACHE SPARK

EXPERIENCES PROFESSIONNELLES

Analyste Développeur Big Data (Novembre 2017- Poste actuel) – BPCE SA :
- Mise en place du datalake de BPCE SA – HORTONWORKS
- Mise en place d’un Framework d’ingestion de données from scratch (Java 8, Spring,
Spark, Hive, Hbase, HDFS)
- Administration des services de la distribution Big Data HortonWorks :
- Gestion du stockage HDFS
- Gestion du gestionnaire de ressources YARN (queues …)
- Spark Tuning
- Integration d’Ambari avec LDAP
- Configuration de la haute disponibilité, kerberisation du cluster
- Configuration des « policies » Ranger (HDFS, Hive), configuration du cryptage KMS
- Configuration du gateway Knox
- …
- Alimentation des différents flux métiers (risques et finances) au sein de BPCE SA en
suivant un design de couches sur HIVE (RAW (données brutes), ENHANCED (données
préparées), EXPOSITION (données à exposer)) (Spark, Hive, Scala, PySpark)
- Implémentation des tests de non-régression pour des flux de données (risques et
finances) entre différentes dates d’arrêtés (Spark, scala)

Stage de fin d’études (Mars-Août 2017) – ORANGE Labs Lannion :
Développement d’un outil d’analyse de traces média LTE (voix-vidéo) (Java 8) :
- Conception de la solution en suivant les spécifications techniques et
fonctionnelles
- Design da la solution (RUP)
- Implémentation de la solution (Java 8, JnetPcap)

Projet de fin d’études (Novembre 2016- Février 2017) – INRIA SOPHIA ANTIPOLIS :
Amélioration de la politique de cache (LRU, «eviction policy») dans Spark1.6 (Scala) :
- Etude de l’algorithme implémenté dans Spark1.6 et Benchmark de sa performance
- Etude des algorithmes proposés dans autres publications (Memtune Paper & DAG-Aware Cache
Management paper)
- Implémentation d’un nouvel algorithme de cache et étude de sa performance