CV/Mission d'Architecte hadoop freelance

Exemple de missions de Tresor,
Architecte hadoop habitant les Hauts-de-Seine (92)

Poste : ARCHITECTE/ Administrateur CLOUDERA HADOOP (CDP) Move to AWS
SAFRAN GROUP
mai 2024 - aujourd'hui
Contexte de la mission :
Safran est doté d’une plateforme Big Data on premise, basée sur la suite Cloudera Data Platform.
Elle sert essentiellement aux besoins du Service Après-Vente de ses produits.
Les rôles de la DSI sur cette plateforme nommée GAIA sont multiples.
Actions menées :
Architecture et Administration :
• Développer les pipelines d’ingestion de nouvelles données
• Développer les pipelines de préparation des données
• Industrialiser les développements (ingestions, data preps, algorithmes)
• Assurer le bon fonctionnement technique de la plateforme
• Assurer le support aux utilisateurs en cas d𠆚nomalie et de questions sur l’utilisation de la plateforme
• Configurer, surveiller et optimiser les systèmes de stockage et de traitement des données, tels que les clusters de
serveurs et les bases de données distribuées. (Cloudera)
• Effectuer les taches de MCO quotidiennes (vérification de l’état des jobs et de la plateforme)
• Assurer la sécurité des données en mettant en place des mesures de protection, des politiques de contrôle
d�ès et des stratégies de sauvegarde/récupération.
• Assurer l’ordonnancement des chaines d’ingestion et des analytiques tournant sur les plateformes
• Participer aux projets d’évolution des plateformes BigData
• Gérer la performance des plateformes Big Data.
• Participer à la maintenance des environnements en appliquant des mises à jour.
• Automatiser les tâches récurrentes à l𠆚ide de scripts pour optimiser la gestion des systèmes.
• Produire et maintenir la documentation d𠆞xploitation de la plateforme
• Contribuer à l𠆚mélioration continue de l𠆞xploitabilité et de la qualité de service de la plateforme
• Maintenir et améliorer les KPI de suivi du fonctionnement de la plateforme

Assurer une aide technique de niveau 1 et 2 aux utilisateurs de la plateforme (information, analyse,
diagnostic et résolution).
• Animer un suivi régulier d𠆚vancement des demandes de support auprès des intervenants concernés.
• Faire un reporting mensuel des KPI standards
attendus sur ce type d�tivité : nombre de tickets non traités à une date donnée, temps moyen de
traitement des tickets, dans le reporting, proposer, le cas échéant, des améliorations permettant de réduire le backlog
d’incidents, le nombre de tickets de support, ..., et tout ce qui pourra améliorer le ressenti utilisateur
• Préparer les communications liées aux incidents et à la disponibilité de la plateforme
• Maintenir la documentation à disposition des utilisateurs (bonnes pratiques, référentiel des tables et des
KeyUsers, procédures d�ès, ...)
• Mise à jours des certificats
• Configuration et paramétrages des différences services ( hdfs, konx, ranger, hive , etc…)
• Mise en place des réplications des données de cloudera vers AWS
• Accompagner et réfléchir sur l𠆚rchitecture et services AWS à utiliser
Data Gouvernance & Datacatalog ( Atlas) :
• Mise en place des outils pour la gouvernance de la donnée ( avec Atlas)
• Formation et accompagnement de l’équipe data gouvernance sur l’outil Atlas
• Mise en place de la procédure et règle des gestions de la gouvernance des données
• Implémentation du glossaire et du Dictionnaire (Atlas)
• Mise en place des linéages Technique et fonctionnelle (Atlas)
HDFS, YARN, Hive, Oozie, Spark, Knox, Zeppelin, Nifi • Centreon, Ansible • Python et Scala sur environnement distribué.
Atlas
• SQL • Maitrise des systèmes d'informations et logiciels (outils bureautiques courants, SharePoint, Power BI, etc.)
Soft skills :
• Communiquer efficacement (ex : présentation des incidents en Comité de Pilotage Big Data). La mission se
fait en relation avec les utilisateurs métiers et en interaction avec l’équipe des administrateurs et des data
Engineers de la plateforme. Il est donc essentiel que les communications soient les plus fluides possibles,
• Aimer travailler en équipe,
• Être réactif et autonome,
• Dialoguer avec aisance pour coordonner les intervenants sur des domaines techniques différents,
• Esprit de synthèse pour rédiger des documentations utilisateur facilement utilisables et en minimisant les erreurs sur les
contenus
Environnement technique : • Linux (RedHat 8), Shell scripting • Security (LDAP, Kerberos, SSL, IDM) • Cloudera,

Poste : ARCHITECTE / Administrateur CLOUDERA HADOOP (CDP)
AGIRC-ARRCO
octobre 2021 - mai 2024
Contexte de la mission :
Au sein de l'organisation de la Direction Technique Informatique, la structure appelée Gouvernance
Opérationnelle de l�ition (GOE) a pour mission d'accompagner le développement logiciel réalisé par les entités
fonctionnelles, et s𠆚ppuie sur 4 entités : Socle Développement, Architecture logicielle, Centre d𠆞xpertise des
performances et DBAs&Socles.
Les principales missions consistent d'une part, à accompagner les équipes dans la conception des modèles de données, à
administrer les bases et les moteurs de bases de données et à construire les socles SGBD, décisionnel et Big data
Actions menées :
➢ Architecture technique :
• Mise en place des principes directeur sur l’utilisation de cluster Cloudera
• Vérification de la bonne application des normes et des standards
• Proposition d’évolution et de solution pour améliorer l’industrialisation
• Mise en place de l𠆚rchitecture, Installation et configuration du cluster Kafka sur cloudera
• Mise en place de l𠆚rchitecture, Installation et installation du ELK (Elasticsearch, Logstash et Kibana)
• Installation et configuration de prometheus et grafana pour les suvis de Kpi (pour le monotoring)
• Construire, mettre à jour et documenter le modèle conceptuel de données (MCD)
➢ Administration
• Configuration du cluster Cloudera en fonction des besoins identifiés
• Migration des cloudera CDH vers CDP
• Suivi des espaces de stockage
• Optimisation des chargements des données
• Maintien de sécurité, gestion des habilitations (LDAP, et TLS / Kerberos)
• Mise en jour de certificat
➢ Intégration
• Sur de nouveau besoin, Etude et proposition de solution, Mise en Œuvre de solution validés
• Migration des données
➢ Support Technique
• Maintien en condition opérationnelle (MCO) des infrastructures et des composants logiciels du
cluster
• Assistance auprès des équipes : Optimisation des traitement, Prise en main de l’outillage
• Chargement des données
• Transmission du savoir-faire via la rédaction de documentation et transfert de connaissance
➢ Support Décisionnel
• Assistance auprès des équipes SI décisionnel dans l’évolution de la plate-forme
• Récolte et analyse des besoins
• Intégration des données en temps réel avec Kafka
• Nifi
• Monotoring des Kpi avec Kibana
• Description et analyse de la plateforme actuelle
• Proposition dévolution et élaboration des dossier d𠆚rchitecture technique et logicielle
➢ Gouvernance de la donnée (Cloudera – Atlas)
• Accompagnement de l’équipe du gouvernance de la data sur les bonnes pratiques
• Mis en place des processus d’implémentation de catalog de la donnée avec Atlas
• Cadrer et implémenter les use case ( Glossaire et dictionnaire) via Atlas
• Automatisation des Métadonnée dans le dictionnaire via Atlas
• Mise en place de la Méthodologie des dictionnarisassions de données
Environnement technique : Hadoop Cloudera, Shell (Linux,Redhat 8, Centos), Spark, Hue, Hive, Python, Scala,
Ansible, HDFS, Py Spark, Apache Airflow, Power Bi, SQL, Open shifts, Docker, Kubernetes, Gitlab, Kafka,PostgreSQL/Mysql,
ArchiMate,Nifi, Atlas

Poste : ARCHITECTE GCP
AUCHAN RETAIL
février 2018 - octobre 2021
Contexte de la mission :
o Élaboration des architectures techniques, fonctionnelles applicatives et cloud.
o Cadrage technique, documentation technique, chiffrage et estimation pour le restant à faire sur le
projet
o Construire, mettre à jour et documenter le modèle conceptuel de données (MCD)
o Intégration des données SAP facturation et commandes clients
o Gestions des communication des services, instances, logs, monotoring avec Kubernetes Service Mesh
o Définition du socle technique. Contribution aux développements,
o DevOPS et SecOPS
o Installation de l𠆚rchitecture ELK (logstash , elasticseach et Kibana )
o Suivis et gestion des logs avec ELK
o Intégration continue et déploiement continu (CI/CD)
o Documentation de restitution pour le reste à faire.
o Stack technique: Google Cloud Cloud Run, Google Cloud Composer, Big Query, Cloud Storage,
o Terraform, Data Dog, GitHub, GitHub CI/CD, Cloud
Environnement technique: GitLab, Scala, Spark, BIGQUERY, GCP (BIquery), Snowflake, Devops, Mlops, Ansible,
Kubernetes(Service Mesh), Elasticsearch (ELK), Open Shift, GitLab, Docker, Google Cloud Composer, PostgreSQL/Mysql,
Terraform, Dbt, ETL (talend, ESB), SAP , ERP, Cloud Data Storage, Cloud Dataflow, DataProc, Terraform, IAM, Compute
engine, ArchiMate

Poste : Expert Data Governance GCP (DataGalaxy, Colibra)
BOUYGUES TELECOM
janvier 2017 - mars 2018
Contexte de la mission :
Dans le but d'améliorer la compréhension de données de son Data Lake et de son Data Warehouse ain...