Fatima-Zahra - CERTIFIED SCRUM PRODUCT OWNER

Expérience professionnelle

Ingenico Juillet 2019 - Poste actuel
Data Engineer – Tech Lead
Au sein du leader mondial des solutions de paiement, l'objectif du projet est de fournir des rapports des transactions
commerciales en temps réel aux clients finaux.
DOMAINE D’INTERVENTION :
Streaming dataflow :
• Transaction consumers
o Conception et développement d'un consumer de transactions provenant du e-commerce
o Réception de la notification de transaction au format Avro, désérialisation à l'aide du Schema registry et création
du document de paiement
o Provisioning lookup : enrichissement des transactions par les données du provisioning
o Order lookup : rattachement du paiement à la commande
o Payment lookup : mise à jour du paiement existant - tables MaprDB au format Json
o Payment log : logger l'opération dans une table MaprDB
o Gestion des failure des lookup : log exploité par l'équipe monitoring (GRAFANA)
o Monitoring des jobs : utilisation du monitoring Spark pour prélever les temps d'exécution et les nombres de transactions
o Refactoring et tuning des performances
o Création et envoie de l'output notification vers une stream Kafka
Export vers Elastic :
o A réception de la notification raffinement des documents du paiement et de la commande
o Envoie du document encodé en Base64 à la stream output
o Envoie du document vers ElasticSearch
• Provisioning Consumers :
o Flattening des structures client reçus et persistance dans la table de provisioning
o Envoie du provisioning data change notification
o Enrichissement par des Ids externes et persistance des entrées de provisioning lookup
o Création des vues spécifiques aux structures de provisioning
• Evolution des fonctionnalités, support et maintien des composants sur les plateformesde PROD, PPROD, INTEGRATION
• Déploiement en Pré-production et suivi du déploiement en Production
Batch dataflow :
• Relink Order : Création de la pipeline de rattachement des transactions au commandes
• Migration des reçus : Developpement d'un job batch pour migrer les reçus vers MaprDB
• Migration x-channel : Migration des données des divers client de la base des données Oracle vers MaprDB

Stack technique :
Spark Streaming 2.3, 2.4 - Dataset, Rdd, Dataframe, Spark Batch
Scala 2.11.8, Scala Tests
ElasticSearch, Kafka, Grafana, Avro, Schema Registry, Mapr,
DevOps : MCS, Jenkins, Maven, Pat, Maprapp, Gitlab, Bitbucket, Sonar
Outils : Intellij, Gitbash, PostMan, MobaXterm
Méthode Agile : SCRUM, Effectif projet : 14, System Increment Planning, Sprint Planning, Grooming, Sprint Retro, Demo
REFERENCE PROJET
REFERENCE PROJET
Effectif équipe : PO 1p, architecte Big Data1p, Quality Analystes 3p, 3 techs lead, 6 développeurs
Fréquence de mise en Prod : 6semaines.
Anglais : Courant – Equipes Offshore et Nearshore

Crédit Agricole Coorporate Investment Bank Juin 2017 - Poste actuel
Data Engineer
Au sein de l'IT du Market Risk, l'objectif du projet est de développer des rapports permettant d'expliquer les variations des indicateurs boursiers de Cacib pour être conforme à la norme FRTB.
DOMAINE D’INTERVENTION :
ETL Spark 2.3 dans un cluster HDP (2.6, Kerberized) :
 Participation à la modélisation
 Développement des pipelines de traitement optimisé en utilisant le Framework SPARK(API DATAFRAME)
 Consolider, normalisation et agrégation des différents indicateurs de risques
 Développement de nouveaux modules
 Rédaction de tests unitaires
 Persistance des résultats dans des tables Hive partitionnées au format orc et dans HBASE permettant l’alimentation des applications data depuis les sources de données du groupe.
 Recette et résolution de bugs
 Création de la Roadmap des mises en production
 Présentation du produit aux clients
 Rédaction des spécifications techniques & fonctionnelles

Mise en place d'une Data Access Layer :
 Restituer des indicateurs de risque au format CSV via une API REST basée sur Spring Boot.
ETL Kafka + Spark Streaming :
 Développement d’un job ETL Spark Streaming lancé à la demande grâce à Kafka

Configuration Usine d'intégration continue :
 Migrer de SVN vers Gitlab en gardant l'historique des commits.
 Configurer de Jenkins pour lancer des builds on Gitlab Push en utilisant les Webhooks et un déploiement sur demande
de l'artefact sur Nexus en utilisant Maven.
 Mettre en place des Pipelines Jenkins.
Stack technique : Spark, Hive, Hdfs, HBase, Java, Spring Boot, Lombock, Junit
DevOps : Ambari, Jenkins, Maven, MasterDeploy, Ansible, Control-m
Outils : Intellij, Gitbash, PostMan, MobaXterm, Zepplin, Sonar
Méthode Agile : SAFE.
Effectif projet : +200p réparti sur 3 Streams (+50p)
Effectif équipe : PO 3p, architecte Big Data 3p, code designer 4p, Business Analyst 3p, Developpeur 6p
Fréquence de mise en Prod : 3semaines.

Conseil Général de Seine et Marne CG77 Juillet 2016 - Juin 2017
Ingénieur Recherche et développement
L'objectif du projet est de développer une application permettant de gérer les archives du Département des Archives de Seine et Marne CG77.
DOMAINE D’INTERVENTION :
Mise en place, administration et monitoring d'un cluster HDFS de stockage des archives en utilisant la distribution ClOUDERA.
 Développement d'une bibliothèque JAVA 7 qui permet de :
 Stocker les archives sous une arborescence spécifique dans HDFS et dans FS.
 Garantir l'authenticité des archives en stockant le Hash.
 Récupération et suppression des archives.
 Sécurisation du cluster à l'aide du Proxy NGINX et d'une authentification HTTP et du Firewall APF
 Monitorer le Cluster en utilisant l'API Cloudera Manager.
 Recette et résolution de bugs
 Présentation du produit aux clients
 Rédaction des spécifications techniques & fonctionnelles
Technologies : Java7, Junit, Mock, HDFS, Cloudera Manager, Cloudera Manager API, NGINX, APF.
Outils : Intellij, Putty, FileZilla, Gitlab, Jira, SourceTree, Sonar, Jenkins, Maven.

Projet Agile : Méthode Scrum.
Effectif : 10.
Equipe agile : Developpeurs 3p, Scrum Master 1p, Product Owner 1p, Tech Lead 1p.
Durée Sprint : 2 semaines.
Ministère du Travail / Santé Février 2016 - Juillet 2016
Consultant décisionnel
DOMAINE D’INTERVENTION :
 Développement des rapports publiés par le ministère de la santé concernant les praticiens de la santé
 Migration Oracle vers PostgresSQL
 Développements des rapports statistiques sur les Conventions Collectives. Outils : SSAS, SSRS, SSIS

LYDEC Juillet 2015 - Août 2015
Assistant auditeur SI
DOMAINE D’INTERVENTION :
 Association Activités/Applications.
 Diagnostic des applications utilisées par le service SUPPORT de la Direction des Systèmes d'Information de LYDEC .
 Proposition des solutions améliorant l'utilisation des outils SI.

START UP SAYOO Juillet 2014 - Août 2014
Stagiaire Consultant SI
DOMAINE D’INTERVENTION :
 Création d'un système d'information décisionnel.
 Outils : SQL Server, Talend Open Studio