CV/Mission de Développeur Hbase freelance

Exemple de missions de Moad,
Développeur Hbase habitant le Val-de-Marne (94)

• Data engineer

  EDF
  Jan 2022 - aujourd'hui

  PROJET : Développement Jobs spark & d&#x2019API, autour d&#x2019un data warehouse.
  Maintenance & Supervision du data Lake associé.
  Migration vers un cluster Openshift
  Consultant dans une équipe de 25 personnes (PO & Développer), le c&#x153ur de métier du data store est de surveiller,
  traiter, intégrer les données déversées dans le data Lake. Ces données son treprésentées sous forme de fichiers
  dans différents formats.Il y a toute une chaîne d&#x2019intégration, permettant la surveillance de ces fichiers, de leur
  dépôt dans le data Lake, jusqu&#x2019à leur intégration dans Hbase, en passant par des traitements spécifiques via de
  sjobs spark (la chaine d&#x2019intégration est assez robuste et complexe, permettant plusieurs smanières/accès de
  supervisions Nifi, logs, kafka, ..).Afin de maintenir un data store robuste et toujours grossissant, un framework
  « fait-maison » a été développé et continue d&#x2019être améliorer/optimiser afin d&#x2019accueillir une plus grosse montée
  en charge et de nouveaux formats de fichiers
  
  BIG DATA : DEVELOPPEMENT & OPTIMISATION :
  &#x25FC Développement & Optimisation de jobs Spark (shuffle, broadcast hash join, redimensionnement des
  partitions par worker, etc...)
  &#x25FC Mise en place d&#x2019un cluster local MiniDFS (HDFS, Zookeeper, HBase, Phoenix) pour tester les évolutions de
  schéma
  &#x25FC Intégration, parsing et traitement de fichiers NetCDF multidimensionnels (1D à 3D)
  &#x25FC Création et modification de tables HBase via scripts Phoenix SQL
  &#x25FC Amélioration de la distribution des données HBase via salting (SALT_BUCKETS)
  &#x25FC Développement de scripts Python pour l&#x2019analyse des métadonnées HBase (compactions, hotspots,
  read/write requests)
  &#x25FC Optimisation de requêtes Phoenix SQL avec analyse de plan d&#x2019exécution et utilisation de HINTs
  `SKIP_SCAN` et proposition de `PARALLEL`
  &#x25FC Mise en place de bonnes pratiques SQL sur Phoenix pour éviter les full scans
  &#x25FC Création de Workflow Oozie pour orchestrer des traitements
  &#x25FC Création de DAGs Airflow pour orchestrer des traitements
  &#x25FC Refactoring de code Scala et mise en place de tests unitaires avec Mockito et couverture de code

• Data engineer

  PROJET PERSONNEL SUR SPARK
  Jan 2021 - aujourd'hui

  PROJET : Auto-formation Spark : Développement de Jobs Spark, Veille technologique
  Dans le cadre de l&#x2019obtention de ma certification Spark Databricks, j&#x2019ai effectué différents jobs sur la base de
  sources data différentes parquet, fichiers de type texte (au format csv, json, ou txt), base de données postresql,
  ainsi que différents tests d&#x2019optimisations sur le temps de traitement des jobs via la console Spark
  
  DOMAINE D&#x2019INTERVENTION :
  &#x25FC Développement de Job Spark par les API Reader et Writer.
  &#x25FC Structuration de données fortement typées (Dataset) par l&#x2019encoder interne de Spark et par la définition de
  StructType.
  &#x25FC Opérations SQL multiples : udf, filtres, jointures, agrégations (groupby, window, rollup, cube),
  ajout/suppression/modification de colonne/ligne, explode, struct, mapping, api na...
  &#x25FC Optimisation du temps de traitement : partitionnement optimisé en fonction de la capacité de chaque
  worker, utilisation de type de fichier optimisé (apache parquet), minimisation au maximum de wide
  transformations, broadcast hash join sur les Dataframe les plus légers pour minimiser le nombre de shuffler
  sur le cluster, mettre en cache les dataframes réutilisés
  &#x25FC Supervision des jobs à partir de la console Spark via le DAG temps d&#x2019exécution d&#x2019un Job, nombre de
  partitions/tasks, visualisation du pipelining

• Développeur FullStack

  SNCF
  Jan 2020 - aujourd'hui

  PROJET : Développement du portail end-user d&#x2019un catalogue de service et d&#x2019un portail de gestion des offres de
  services.
  Dans le but de fournir de nouvelles fonctionnalités relatives au catalogue de service, il a fallu développer des
  nouvelles couches applicatives afin de répondre aux besoins des différents gestionnaires du portail de gestion des
  offres de service, pour l&#x2019alimenter en data, tout en respectant la cohérence des données stockées. Le catalogue
  de services quant à lui représente les habilitations des utilisateurs pouvant accéder aux services proposés par le
  catalogue. La gestion de ces deux applications fonctionnellement distinctes passe par le développement d&#x2019API
  consommées/consommatrices coté backend et par la conception d&#x2019architectures backend et base de données, en
  prenant en compte des problématiques de performances en production.
  Un plus sur une migration Angular 4 -> 9 et sur la refonte de code plus concis.
  
  DOMAINE D&#x2019INTERVENTION :
  &#x25FC Développement d&#x2019API consommées/consommatrices architecture Rest
  &#x25FC Développement de Job Spark pour traiter des données massives
  &#x25FC Implémentation/Maintenance de WebServices SOAP
  &#x25FC Développement d&#x2019une application cliente en Scala Akka-http : test de monté en charge
  &#x25FC Développement d&#x2019un Batch Spark Scripts SQL, avec temps d&#x2019exécutions minimum
  &#x25FC Simulateur de requête ServiceNow
  &#x25FC Tests unitaires / Tests intégrations
  &#x25FC Réunions avec les architectes (networks issues)
  &#x25FC Livraison des composants logiciels développés en environnement de recette

  IntelliJ, Eclipse, Java, Scala, Spring, Spark, Angular, PostgreSql, mRemote, GitKraken/SourceTree, Postman, DBeaver, Shell, Unix, Maven, Apache Tomcat, SOAP, Rest

• Développeur Fullstack

  SOCIETE GENERALE
  Jan 2019 - Jan 2019

  PROJET : Développement d&#x2019une nouvelle couche d&#x2019application DSP2 pour l&#x2019agrégation de comptes conformément
  à la nouvelle réglementation européenne
  Depuis la nouvelle réglementation européenne, les banques utilisant des FineTech permettant à leur client
  d&#x2019agréger leurs comptes (ouverts dans d&#x2019autres banques), doivent respecter certaines normes en vigueur exposer
  des API qui vont être consommés par les autres banques, et consommer les API exposées par les autres banques.
  Mon rôle était de développer/maintenir les services d&#x2019agrégations de comptes. Confronter à des problématiques
  très transverses (sécurité, load balancer, dispatcher, proxy, compatibilité Smartphone) mes développements ne
  se limitaient pas aux « standard » du projet.
  Equipe : 5 personnes
  
  DOMAINE D&#x2019INTERVENTION :
  &#x25FC Développement du Front End et débogage/tests via chrome inspector
  &#x25FC Développement suivant le protocole OAuth2
  &#x25FC Développement des services consommateurs des applicatifs d&#x2019autres banques
  &#x25FC Tests unitaires / Tests intégrations / Tests de non-régression
  &#x25FC Réunions avec les architectes sécurité réseaux, applicatif et les équipes smartphone
  &#x25FC Rédaction des dossiers d&#x2019architecture fonctionnel / technique
  &#x25FC Livraison des composants logiciels développés en enviro...

• MIGRATION VERS KUBERNETES (OPENSHIFT) & DEVOPS
  aujourd'hui

  Lead de la migration des applications Spring Boot vers un cluster Kubernetes (OpenShift)
  &#x25FC Analyse fine de la consommation réelle des applications (via `htop`, `ps`, `pidstat`) pour une allocation
  optimale des ressources dans les pods
  &#x25FC Génération et déploiement de certificats auto-signés pour la sécurisation des communications intra-cluster
  &#x25FC Refonte complète du workflow d&#x2019intégration continue avec gestion centralisée des images (JAR, images
  Docker)
  &#x25FC Mise en place de POC Redis en mode Sentinel sur OpenShift pour le partage du cache
  &#x25FC Déploiement d&#x2019un cache partagé via Hazelcast sur le cluster Kubernetes
  &#x25FC Création et refonte de pipelines Jenkins, y compris des pipelines "chapeau" pour orchestrer les souspipelines
  &#x25FC Réalisation de tests de montée en charge avec Gatling pour valider la performance des applications

• RESILIENCE & SCALABILITE KUBERNETES
  aujourd'hui

  Augmentation des quotas de ressources (gabarits) des namespaces pour accompagner la montée en
  charge
  &#x25FC Mise en place de réplicas, de règles de topologie (anti-affinity, podPriority) pour renforcer la tolérance aux
  pannes
  &#x25FC Déploiement de HPA (Horizontal Pod Autoscaler) et de PodDisruptionBudget pour garantir la continuité de
  service
  &#x25FC Implémentation de stratégies de déploiement avancées pour éviter toute interruption lors des mises à jour

• DEVELOPPEMENT & MAINTENANCE D&#x2019API
  aujourd'hui

  Refonte de l&#x2019injection de dépendances Spring et développement d&#x2019une API Gateway Reactive
  &#x25FC Renforcement de la sécurité avec l&#x2019ajout de politiques CSP (Apache + Angular)
  &#x25FC Configuration du module Apache `mod-proxy` avec directives `Proxy` et `ProxyPass`
  &#x25FC Intégration d&#x2019appels HTTP via Apache Camel
  &#x25FC Création d&#x2019annotations personnalisées Spring avec AOP
  &#x25FC Développement d&#x2019API web pour l&#x2019exécution de requêtes SQL
  &#x25FC Résolution d&#x2019un problème critique de `OutOfMemory` hors heap via analyse Dynatrace, tests JMeter et
  tuning OpenShift
  &#x25FC Refactoring des endpoints REST pour conformité aux standards RESTful et ajout de la compression
  `Content-Encoding`

• MAINTENANCE & SUPERVISION DATA LAKE
  aujourd'hui

  Suivi des incidents de production et maintenance des processors NiFi
  &#x25FC Supervision des performances via Grafana, Glowroot et Dynatrace
  &#x25FC Analyse de logs Kibana

  IntelliJ, Scala, Java, Spark, Python, Yarn, Hbase, Hadoop, Zookeeper, Kafka, Oozie, Ariflow, Apache Nifi, Phoenix, Kerberos, Spring, Openshift, Skopeo, Maven, Git, REST, Apache, Angular, PostgreSql, mRemote, Postman, DBeaver, Shell, Unix, Jenkins, Gatling, Jmeter, Dynatrace, Grafana, Kibana