CV/Mission de Développeur Hbase freelance

Exemple de missions de Moad,
Développeur Hbase habitant le Val-de-Marne (94)

Data engineer
EDF
mars 2022 - aujourd'hui
PROJET : Développement Jobs spark & d&#x2019API, autour d&#x2019un data warehouse.
Maintenance & Supervision du data Lake associé.
Migration vers un cluster Openshift
Consultant dans une équipe de 25 personnes (PO & Développer), le c&#x153ur de métier du data store est de surveiller,
traiter, intégrer les données déversées dans le data Lake. Ces données son treprésentées sous forme de fichiers
dans différents formats.Il y a toute une chaîne d&#x2019intégration, permettant la surveillance de ces fichiers, de leur
dépôt dans le data Lake, jusqu&#x2019à leur intégration dans Hbase, en passant par des traitements spécifiques via de
sjobs spark (la chaine d&#x2019intégration est assez robuste et complexe, permettant plusieurs smanières/accès de
supervisions Nifi, logs, kafka, ..).Afin de maintenir un data store robuste et toujours grossissant, un framework
« fait-maison » a été développé et continue d&#x2019être améliorer/optimiser afin d&#x2019accueillir une plus grosse montée
en charge et de nouveaux formats de fichiers

BIG DATA : DEVELOPPEMENT & OPTIMISATION :
&#x25FC Développement & Optimisation de jobs Spark (shuffle, broadcast hash join, redimensionnement des
partitions par worker, etc...)
&#x25FC Mise en place d&#x2019un cluster local MiniDFS (HDFS, Zookeeper, HBase, Phoenix) pour tester les évolutions de
schéma
&#x25FC Intégration, parsing et traitement de fichiers NetCDF multidimensionnels (1D à 3D)
&#x25FC Création et modification de tables HBase via scripts Phoenix SQL
&#x25FC Amélioration de la distribution des données HBase via salting (SALT_BUCKETS)
&#x25FC Développement de scripts Python pour l&#x2019analyse des métadonnées HBase (compactions, hotspots,
read/write requests)
&#x25FC Optimisation de requêtes Phoenix SQL avec analyse de plan d&#x2019exécution et utilisation de HINTs
`SKIP_SCAN` et proposition de `PARALLEL`
&#x25FC Mise en place de bonnes pratiques SQL sur Phoenix pour éviter les full scans
&#x25FC Création de Workflow Oozie pour orchestrer des traitements
&#x25FC Création de DAGs Airflow pour orchestrer des traitements
&#x25FC Refactoring de code Scala et mise en place de tests unitaires avec Mockito et couverture de code

MIGRATION VERS KUBERNETES (OPENSHIFT) & DEVOPS :
&#x25FC Lead de la migration des applications Spring Boot vers un cluster Kubernetes (OpenShift)
&#x25FC Analyse fine de la consommation réelle des applications (via `htop`, `ps`, `pidstat`) pour une allocation
optimale des ressources dans les pods
&#x25FC Génération et déploiement de certificats auto-signés pour la sécurisation des communications intra-cluster
&#x25FC Refonte complète du workflow d&#x2019intégration continue avec gestion centralisée des images (JAR, images
Docker)
&#x25FC Mise en place de POC Redis en mode Sentinel sur OpenShift pour le partage du cache
&#x25FC Déploiement d&#x2019un cache partagé via Hazelcast sur le cluster Kubernetes
&#x25FC Création et refonte de pipelines Jenkins, y compris des pipelines "chapeau" pour orchestrer les souspipelines
&#x25FC Réalisation de tests de montée en charge avec Gatling pour valider la performance des applications

RESILIENCE & SCALABILITE KUBERNETES :
&#x25FC Augmentation des quotas de ressources (gabarits) des namespaces pour accompagner la montée en
charge
&#x25FC Mise en place de réplicas, de règles de topologie (anti-affinity, podPriority) pour renforcer la tolérance aux
pannes
&#x25FC Déploiement de HPA (Horizontal Pod Autoscaler) et de PodDisruptionBudget pour garantir la continuité de
service
&#x25FC Implémentation de stratégies de déploiement avancées pour éviter toute interruption lors des mises à jour

DEVELOPPEMENT & MAINTENANCE D&#x2019API :
&#x25FC Refonte de l&#x2019injection de dépendances Spring et développement d&#x2019une API Gateway Reactive
&#x25FC Renforcement de la sécurité avec l&#x2019ajout de politiques CSP (Apache + Angular)
&#x25FC Configuration du module Apache `mod-proxy` avec directives `Proxy` et `ProxyPass`
&#x25FC Intégration d&#x2019appels HTTP via Apache Camel
&#x25FC Création d&#x2019annotations personnalisées Spring avec AOP
&#x25FC Développement d&#x2019API web pour l&#x2019exécution de requêtes SQL
&#x25FC Résolution d&#x2019un problème critique de `OutOfMemory` hors heap via analyse Dynatrace, tests JMeter et
tuning OpenShift
&#x25FC Refactoring des endpoints REST pour conformité aux standards RESTful et ajout de la compression
`Content-Encoding`

MAINTENANCE & SUPERVISION DATA LAKE :
&#x25FC Suivi des incidents de production et maintenance des processors NiFi
&#x25FC Supervision des performances via Grafana, Glowroot et Dynatrace
&#x25FC Analyse de logs Kibana
ENVIRONNEMENT TECHNIQUE :
&#x25FC IntelliJ, Scala, Java, Spark, Python, Yarn, Hbase, Hadoop, Zookeeper, Kafka, Oozie, Ariflow, Apache Nifi,
Phoenix, Kerberos, Spring, Openshift, Skopeo, Maven, Git, REST, Apache, Angular, PostgreSql, mRemote,
Postman, DBeaver, Shell, Unix, Jenkins, Gatling, Jmeter, Dynatrace, Grafana, Kibana

Data engineer
PROJET PERSONNEL SUR SPARK
juin 2021 - aujourd'hui
PROJET : Auto-formation Spark : Développement de Jobs Spark, Veille technologique
Dans le cadre de l&#x2019obtention de ma certification Spark Databricks, j&#x2019ai effectué différents jobs sur la base de
sources data différentes parquet, fichiers de type texte (au format csv, json, ou txt), base de données postresql,
ainsi que différents tests d&#x2019optimisations sur le temps de traitement des jobs via la console Spark

DOMAINE D&#x2019INTERVENTION :
&#x25FC Développement de Job Spark par les API Reader et Writer.
&#x25FC Structuration de données fortement typées (Dataset) par l&#x2019encoder interne de Spark et par la définition de
StructType.
&#x25FC Opérations SQL multiples : udf, filtres, jointures, agrégations (groupby, window, rollup, cube),
ajout/suppression/modification de colonne/ligne, explode, struct, mapping, api na...
&#x25FC Optimisation du temps de traitement : partitionnement optimisé en fonction de la capacité de chaque
worker, utilisation de type de fichier optimisé (apache parquet), minimisation au maximum de wide
transformations, broadcast hash join sur les Dataframe les plus légers pour minimiser le nombre de shuffler
sur le cluster, mettre en cache les dataframes réutilisés
&#x25FC Supervision des jobs à partir de la console Spark via le DAG temps d&#x2019exécution d&#x2019un Job, nombre de
partitions/tasks, visualisation du pipelining

Développeur FullStack
SNCF
janvier 2020 - aujourd'hui
PROJET : Développement du portail end-user d&#x2019un catalogue de service et d&#x2019un portail de gestion des offres de
services.
Dans le but de fournir de nouvelles fonctionnalités relatives au catalogue de service, il a fallu développer des
nouvelles couches applicatives afin de répondre aux besoins des différents gestionnaires du portail de gestion des
offres de service, pour l&#x2019alimenter en data, tout en respectant la cohérence des données stockées. Le catalogue
de services quant à lui représente les habilitations des utilisateurs pouvant accéder aux services proposés par le
catalogue. La gestion de ces deux applications fonctionnellement distinctes passe par le développement d&#x2019API
consommées/consommatrices coté backend et par la conception d&#x2019architectures backend et base de données, en
prenant en compte des problématiques de performances en production.
Un plus sur une migration Angular 4 -> 9 et sur la refonte de code plus concis.

DOMAINE D&#x2019INTERVENTION :
&#x25FC Développement d&#x2019API consommées/consommatrices architecture Rest
&#x25FC Développement de Job Spark pour traiter des données massives
&#x25FC Implémentation/Maintenance de WebServices SOAP
&#x25FC Développement d&#x2019une application cliente en Scala Akka-http : test de monté en charge
&#x25FC Développement d&#x2019un Batch Spark Scripts SQL, avec temps d&#x2019exécutions minimum
&#x25FC Simulateur de requête ServiceNow
&#x25FC Tests unitaires / Tests intégrations
&#x25FC Réunions avec les architectes (networks issues)
&#x25FC Livraison des composants logiciels développés en environnement de recette
ENVIRONNEMENT TECHNIQUE :
&#x25FC IntelliJ, Eclipse, Java, Scala, Spring, Spark, Angular, PostgreSql, mRemote, GitKraken/SourceTree, Postman,
DBeaver, Shell, Unix, Maven, Apache Tomcat, SOAP, Rest

Développeur Fullstack
SOCIETE GENERALE
janvier 2019 - décembre 2019
PROJET : Développement d&#x2019une nouvelle couche d&#x2019application DSP2 pour l&#x2019agrégation de comptes conformément
à la nouvelle réglementation européenne
Depuis la nouvelle réglementation européenne, les banques utilisant des FineTech permettant à leur client
d&#x2019agréger leurs comptes (ouverts dans d&#x2019autres banques), doivent respecter certaines normes en vigueur exposer
des API qui vont être consommés par les autres banques, et consommer les API exposées par les autres banques.
Mon rôle était de développer/maintenir les services d&#x2019agrégations de comptes. Confronter à des problématiques
très transverses (sécurité, load balancer, dispatcher, proxy, compatibilité Smartphone) mes développements ne
se limitaient pas aux « standard » du projet.
Equipe : 5 personnes

DOMAINE D&#x2019INTERVENTION :
&#x25FC Développement du Front End et débogage/tests via chrome inspector
&#x25FC Développement suivant le protocole OAuth2
&#x25FC Développement des services consommateurs des applicatifs d&#x2019autres banques
&#x25FC Tests unitaires / Tests intégrations / Tests de non-régression
&#x25FC Réunions avec les architectes sécurité réseaux, applicatif et les équipes smartphone
&#x25FC Rédaction des dossiers d&#x2019architecture fonctionnel / technique
&#x25FC Livraison des composants logiciels développés en enviro...