Jean Pierre - Chef de projet BIG DATA

LEAD AUTOMATION MIGRATION APPLICATIONS IASS, SAAS VERS KAAS (CLOUD IBM)

CONTEXTE :
AU SEIN DE L'ENTITE EN CHARGE DES OUTILS DE CONTROLES COMPTABLES, MISSION DE TECH LEAD DANS LE CADRE DES 2 PROJETS DE MIGRATION SUR LE NOUVEAU SOCLE TECHNIQUE CLOUD MZR ET ACCOMPAGNEMENT DE L'INTEGRATION SUR LES PROCESS DEVOPS AVEC LES NOUVEAUX OUTILS ASSOCIES AUX NOUVELLES SOLUTIONS CLOUD MIS EN OEUVRE AU SEIN DE LA BNPP.
EQUIPE :
1 PRODUCT OWNER, 1 RESPONSABLE APPLICATIF, 2 DEVELOPPEURS, 1 ARCHITECTE PROJET TRANSVERSE, 1 RESPONSABLE INTEGRATEUR PROD

ACTIVITES :
• Participation aux ateliers de travail avec les différents acteurs du projet
• Prendre en compte l’expression des besoins.
• Designer l'évolution de l'architecture des applications.
• Lead les adaptations du code pour mise en conformité à la nouvelle architecture cloud
• Être le référent t des évolutions techniques et fonctionnels.
• Accompagnement de l'intégration sur le process DevOps avec les différents acteurs
• Faire du développement CI CD du process DevOps avec GIITLAB.
• Designer l’architecture de la solution Data Intégration.
• Faire du développement des jobs ETL avec Spring batch, Spring intégration.
• Faire du développement avec IBM S3 Amazone SDK.
• Faire du développement de la gestion de la rotation des secrets Vault.
• Faire du développement de la gestion de la migration auto de BDD avec FLYWAY.
• Rédaction dossier d’exploitation (DEX).
• Transfert de connaissances et de compétences à l’équipe en interne.

INGÉNIEUR AUTOMATION IASS SAAS, CAAS (CLOUD OPENSTACK)

Contexte : Participer à des projets de migration cloud : dimensionner et procéder au transfert d’hébergement des SI des clients vers la solution cloud appropriée.
Etude et développement des playbooks Ansible basés sur une logique de déploiements scriptables, immuables et reproductibles à destination de l’équipe d’hébergement cloud PROD
Travailler au sein de la DNUM (direction numérique) Venir en renfort de la CDH (cellule déploiement IASS & d’hébergement SAAS) composée d’équipe de 5 personnes (expert Intégrateur Cloud Computing, Ingénieur en intégraton systèmes et réseaux)
et d’un directeur de projet.

Rôle :
1. Accompagner les projets de migrations applicatifs dans le cloud Openstack.
2. Prendre en compte les besoins en liaison avec le CDP de projet MOE.
3. Etude et Développement des scripts pour agir avec les composants développés en interne afin d’automatiser la création de l’IASS, SAAS ou CAAS pour initier, le tenant, créer l’infra et réseaux, préparer les volumes state-full et state-less, déployer ensuite le cluster des machines composé d’un cluster skyDNS, RPX (reverse proxy), d’un proxy IO pour administrer et pour monitorer l’environnement déployé (couches : app, base de données, log, sup), checkmk, Elastisearch, Kibana docker
4. Automatiser la migration des dumps de l’application cible (CMS, Joomla, WordPress, Apache /PHP) et base de données (MySQL, MariaDB) dans le cluster Openstack qui vient d’être crée.
5. Développement en python d’un wrapper pour orchestrer automatiquement de A à Z les taches de création du cluster sur Openstack (option synchrone et ou asynchrone, et reprise en cas de non succès d’une des étapes)
6. Documenter le dossier d’exploitation à destination de l’équipe CDH PROD.
7. Faires du support N2, N3 auprès des développeurs CMS en cas de demandes

INGÉNIEUR DEVOPS, DATAOPS

Contexte : Venir en renfort d’une équipe d’ingénierie BIG DATA en environnement de Prod. Travailler au sein d'une équipe DevOps composé de 12 PERSONNES DSI – SD.
Etudes & Développements Gamme Big Data, secteur « Décisionnel & Big Data. Migration des solutions d’intégration, d’agrégation et de restitution données métiers et données consommateurs EDF de HDP 2.7.3 vers CDP 7.1.6. Les solutions sont composées de Web Services API et des Jobs Spark développés en Kotlin. Les données en sortie proviennent de la base Teradata et sont ingérées dans Hbase. Les données restituées aux utilisateurs métiers au format CSV sont stockées et historisées dans Hadoop/Hdfs. L’accès aux données BIG DATA granulées en mode exploration ou export en environnement local se fait via un Web Service API SFTP.

Rôle :
8. Rédiger les analyses des impacts et les actions à faire par rapport aux objectifs de livrables
9. Etudier, adapter et configurer les versions Hadoop, Hbase, Spark, Scala, Hbase client et test utility, etc. des Pom.xml des API et des jobs Spark pour les rendre Iso fonctionnel sur CDP
10. Etudier, configurer les applications servant à paramétrer l’environnement logiciel (Client SSL, Spark Launcher, Proxy Host, Spring, Keycloak, Free IPa, Teradata, hadoop, Hbase, Hdfs, Edge Node, Logs paths, Kerberos, Core site xml, Hbase site, Hdfs site, Docker File etc..
11. Assiste le développeur CI CD pour l’industrialisation des programmes en environnement Swarm Docker adaptation JenkinsFile, création des jobs mode multi branch, ordonnancer les jobs etc
12. Assiste le responsable de projet technique pour les test de recettes via PostMan , verification edes jobs sparks
13. Faire la maintenance corrective en mode agile et instantanée lorsqu’il y a des retours des erreurs lors de la recette en env PRE PROD ou PROD cycle correction, push gitlab, lancement CICD, déploiement Swarm)
14. Prendre en compte la liste des rapports d'audit sur l'amélioration de la sécurisation de Hadoop.
15. Extraire de cette liste chaque composant Hadoop à sécuriser en priorité 3 puis rédiger le dossier des bonnes pratiques au format markdown/github, et pour chaque synthèse, détailler les préconisations sous la forme des actions à faire en incluant des exemples.
16. Pour information, voici quelques types de recommandations :
17. Composant hdfs
18. Des règles ACLs sont positionnées au niveau HDFS, sans contrôle au niveau Ranger, et s’appliquent à l’insu de Ranger. Désactiver la bascule vers le système d’ACLs natif.Ne positionner aucun droit hormis aux propriétaires des fichiers. Donner accès aux tables HIVE plutôt qu’à HDFS
19. Mettre en place toutes les règles requises dans Ranger notamment les règles Deny par défaut pour tracer les tentatives d’accès. Positionner umask à 077 en lieu et place de 022 afin de garantir que tout fichier ou répertoire, etc...
20. Composant Yarn
21. Les ACLs devraient configurées sur les queues d’exécution des projets métiers.
22. Composant HBase
23. Les ACLs HBase devraient être configurées pour limiter la surface possible d’interactions
24. Composant Ranger
25. Le mécanisme fallback devrait être désactivé sur chaque composant possédant une solution ACL native pour restreindre systématiquement les accès des couches basses et n’autoriser que les accès au niveau de Hive ou HBase
26. Développer des scripts en python en complément selon les cas d’usages.
27. Traitement des demandes de ressources (environnements, comptes, etc…)
28. Traitement des incidents Niv 2 et Niv 3
29. Etude, déploiement et industrialisation de nouveaux composants (aide ou prise en charge totale)

BIG DATA INGENIEUR DEVOPS

Projet :
Développement des solutions d’industrialisation de déploiement des clusters Big Data.

Contexte :
Joindre une équipe DEVOPS SCRUM AGILE Big Data As A Service de 9 personnes.
Travailler au sein de l'entité RESG/GTS/PAS/BDT/VDF faisant partie du domaine PAAS (PlateForm as a Service).
Déployer des clusters Big Data en environnement Cloud On prémisses à destination des Data Scientistes, Data Engineer et Expert.

Activités :

⦁ Faire la maintenance évolutive et correction technique de l'API (python) servant à automatiser l'installation des clusters Big Data dans le SG CLOUD
⦁ Faire la conception technique des développements des playbooks ansible (python) et maintenance évolutive du blueprint Hortonwork servant à customizer le deploiement sur mesure de l’Eco system big data sur ces clusters
⦁ Faire du support et de l'assistance technique de niveau 3 auprès des utilisateurs liés au Post Install et du run
⦁ Résoudre les problèmes techniques du system hadoop dues l'ajout des composants externes et intégration solutions tiers rencontrés par les utilisateurs finaux
⦁ Réalisation de bout en bout des POC de data engineering à destination du product owner pour les besoins des demos stratégiques par exemple lors des TECHWEEK (Londres, Paris)
⦁ Faire des présentations des solutions de data processing et de restitution auprès de l'équipe ( Hive,LLAP, HUE, kibana, jupyterbook, notebook etc..)
⦁ Rédiger de la documentation technique et manuel d'utilisation en relation avec les taches jira qui m'ont été assignées

CONSULTANT ENGINEERING LOGICIELLE JAVA JEE

Projet :
Maintenance évolutive et corrective d’une solution de gestion et d’intégration référentiels produits, articles, coût achat, coût de stockage, coût de production, coût de stockage des produits finis, etc. et d’une solution de calcul des prix de revient et d’intégration des référentiels coût de distribution, frais divers et autres charges,

Contexte :
Venir en renfort d’une équipe d’ingénierie logicielles de gestion à destination des utilisateurs métiers.
Travailler au sein du département Etudes et Développement Informatiques composé de 12 personnes
Activités :

⦁ Rédiger les actions à faire par rapport aux expressions de besoins de chaque Mantis
⦁ Maintenance évolutive et correction technique des applications métiers sous ma responsabilité.
⦁ Etude et adaptation des architectures SI (Logicielles, SGBD) existantes
⦁ Correction et amélioration des modèles de données existantes.
⦁ Etude et recommandation des solutions de transformation du SI concerné vers une architecture Entreprise Data Driven - Data Plane pour une meilleure capture de la valeur des données à des fins de BI et de Vision 360° par rapport aux taux de pénétration et engagement consommateurs sur les produits vendus.
⦁ Etude et recommandation des solutions de refonte du SI (front end/back end) vers une architecture applicative basée sur l’agencement de couches technologiques de pointes par exemple (présentation, visualisation avec ext.js, sencha touch, etc.) - (operations et transactions front end/back end avec design pattern, séparation of concerns, IOC, SOA etc.) - (ingestion, transformation, stockage, OLTP,OLAP, et Data Science avec Pentaho Data Integration , Talend community, StreamSets Data Collector, confluent , databrick, mesos, hadoop, spark, Spark ML, HDP, Hive, Presto, Base NoSql, Apache Iceberg, Apache Arrow, Delta Lake, cloud on premises Object Storage, architecture Lambda, Kappa) - (monitoring applicatifs : ( ELK, Nagios etc.)
⦁ Etude et recommandation des solutions Devops (traitement CI/CD, Git repository, Jenkins, Sonar, Jira Rancher, Kubernetes, Microservice, Promotheus,Grafana)
⦁ Etude et recommandation d’adaptation des méthodologies de gestion de projet en V vers une approche Agile/DevOps
⦁ Rédaction de la documentation technico fonctionnelle et de présentation à destination des responsables hiérarchiques en interne

BIG DATA INGENIEUR, SOLUTION ARCHITECTE

Projet :
Etudes et réalisations des POCs basés sur la solution avec la solution Cloudera Enterprise Search.

Contexte :
Joindre une équipe de 7 personnes ayant chacun un rôle différent.
Travailler au sein de l’entité Big Data Advanced Analytics faisant partie du service BI & Reporting.
Réaliser d’applications BIG DATA pour valider les capacités et les performances d'une recherche full text en utilisant le service Lily HBase NRT Indexer pour l'indexation de texte à la volée en provenance du flux de données.

Activités :
⦁ Définir les couches d'architecture des POCs.
⦁ Créer un modèle de données HBase.
⦁ Créer une table HBase.
⦁ Créez un programme Java pour gérer l'ingestion du flux de données.
⦁ Créer une collection HBase correspondante dans SolR Search and configuration.
⦁ Créez le script pour lancer l'indexeur Hbase
⦁ Créez un programme Java à utiliser dans morphline.
⦁ Créez le script shell pour exécuter le programme java ingestion de données Hbase.
⦁ Faire un benchmark de performance avec les 2 autres POC Full text Search réalisés auparavant avec Oracle et avec Impala

BIG DATA INGENIEUR, SOLUTION ARCHITECTE

Projet :
Accompagner la DSI dans sa réalisation d’une solution Customer Vision 360°.
Développements d'usages BIG DATA sur la plateforme Cloudera.

Contexte :
Joindre une équipe DEVOPS SCRUM AGILE Big Data As de 12 personnes ayant chacun un rôle différent.
Participer au développement du Data Lab.
Faire la veille technologique dans le domaine des nouvelles technologies autour des données
Etudier et puis réaliser des POCs pour permettre à la Banque de valider une technologie, une approche ou une solution spécifique.

Activités :
⦁ Rédiger les spécifications des besoins en collaboration avec les différents acteurs impliqués dans le projet.
⦁ Explorer et définir les données à intégrer dans le Data Lake
⦁ Interagir avec les différentes filiales pour comprendre leurs besoins et leur fournir une solution appropriée
⦁ Etudier et concevoir des applications big data en utilisant la pile technologique de la plateforme big data existante (POC puis production en cas de succès)
⦁ Assurer la maintenance et l'évolution de ces applications
⦁ Mettre les données disponibles aux Data Scientistes à des fins d'exploration de données et réaliser et/ou des applications de restitution à destination des experts métiers avec les technologies appropriés
⦁ Accompagner les Data Scientistes dans la réalisation de leur application Data Science et leur déploiement en production

BI & Big Data Analytics Plateform Solution Expert Engineer and Technical Lead

PCG est un start up qui édite des solutions informatiques pour le marketing digital en saas cloud, tel que Audience + qui permet de communiquer en « live » à travers les push notifications envoyés sur les mobiles. Je suis chargé d’études et de développement des plateformes d'intégration de click streaming et l'analyse avancées des données Big Data pour une parfaite connaissance et compréhension de l’utilisateur, du consommateur afin de définir des stratégies pertinente de ciblage d'audience lors des campagnes de push notifications via le logiciel Audience +

 Réalisation :
- Transformer les besoins métiers en architecture technique et en solution applicative.
- Coordination, Intégration des programmes et des packages tiers écrit en python ( scripts, web services)
- Mise en œuvre , configuration, administration des machines virtuelles sur un cloud dédié OVH.
- Déploiement des OS et solutions informatiques configuration, administration systèmes
- Déploiement, configuration, administration des SGBD, Réalisation POC Big Data
- Senior ingénieur étude et développement Java JEE, SGBD, Big Data, MongoDB, MySqL Cluster
- Senior Développeur Modèle de Données, Application ETL Lead et coordination technique d'une équipe multidisciplinaire composée de : 1 data analyste, 1 data scientiste, 2 développeurs juniors Front End et Back End, 1 data visualisation Dashboard développeur.

Bi & BIG Data Analytics Plateform Solution Expert Engineer

Assiste la DSI BI dans ses projets stratégiques dans le cadre des livraisons des solutions BI clés en main pour le compte de tiers ainsi que le développement d’une solution Big Data Advanced Analytics nommée InfiniDrive pour suivre les flottes de véhicule électrique de la Poste et ERDF. Ce projet est de type POC avec un datawarehouse de type Hadoop HDFS. La plateforme mise en œuvre est une distribution Open Source de Cloudera CDH4.

 Réalisation :
- Analyse, étude, spécifications, planification, réalisation en équipe, recette et mise en production
- Rédaction dossier architecture chaine de production et schéma de données DatawareHouse, DataMart, ETL, Reporting BIG DATA
- Etude et développement de la couche Data intégration avec Pentaho Big Data intégration & analytics (HSQL, PIG)
- Etude et développement de la couche Data Analytiques aves Map Reduce Hive thrift, Java
- Etude et développement de la couche de Data Visualisation, de Reporting et dashboard avec Pentaho Report Designer for big data
- Etude et développement de la couche Data Acess , Api Web Services
- Utilisation de l'interface Sqoop pour importer et exporter les données dans HDFS/HIVE
- Utilisation de l'interface Hue pour les analyses de données en mode ad hoc
- Je travaillais dans une équipe composée de 1 CDP, 2 ingénieurs, 1 architecte technique, 2 AMOA

Data Management Plateform Solution Integration Expert
Assiste la DSI dans ses projets stratégiques de refonte du SI Paiement du groupe CA. Ce projet concerne la première étape de mise en œuvre d’un moteur de traitement VIGM, la consolidation des référentiels des données et l’intégration de la plateforme data management EBX5

 Réalisation :
- Participer à la rédaction du RFI et au Pilotage de la phase E.P
- Organiser, planifier des réunions avec les contributeurs (environ 10 personnes) impliquées coté MOE et coté MOA composée de 4 personnes
- Participer aux réunions des comités projets interne
- Réceptionner, analyser les dossiers de réponse des 3 soumissionnaires (Cap Gemini, Accenture, IBM)
- Consolider les grilles de réponse des sous-missionnaires.
- Faire noter les grilles par les contributeurs
- Planifier et animer les réunions de dépouillements internes
- Consolidation des notes
- Rédiger des comptes rendus de réunion
- Préparer la grille des questions pour les soutenances
- Participer à la soutenance des soumissionnaires en tant que référent technique architecture java, JEE
- Animer les réunions «post soutenance»
- Je faisais partie de l'équipe de MOA Card & Payment composée de 4 personnes et j'étais leur référence technique pour valider le dossier de l'architecture technique des soumissionnaires