CV/Mission d'Architecte hadoop freelance

Exemple de missions de Tresor,
Architecte hadoop habitant les Hauts-de-Seine (92)

• Poste : ARCHITECTE/ Administrateur CLOUDERA HADOOP (CDP) Move to AWS

  SAFRAN GROUP
  Jan 2024 - aujourd'hui

  Contexte de la mission :
  Safran est doté d&#x2019une plateforme Big Data on premise, basée sur la suite Cloudera Data Platform.
  Elle sert essentiellement aux besoins du Service Après-Vente de ses produits.
  Les rôles de la DSI sur cette plateforme nommée GAIA sont multiples.
  Actions menées :
  Architecture et Administration :
  &#x2022 Développer les pipelines d&#x2019ingestion de nouvelles données
  &#x2022 Développer les pipelines de préparation des données
  &#x2022 Industrialiser les développements (ingestions, data preps, algorithmes)
  &#x2022 Assurer le bon fonctionnement technique de la plateforme
  &#x2022 Assurer le support aux utilisateurs en cas d&#x2019anomalie et de questions sur l&#x2019utilisation de la plateforme
  &#x2022 Configurer, surveiller et optimiser les systèmes de stockage et de traitement des données, tels que les clusters de
  serveurs et les bases de données distribuées. (Cloudera)
  &#x2022 Effectuer les taches de MCO quotidiennes (vérification de l&#x2019état des jobs et de la plateforme)
  &#x2022 Assurer la sécurité des données en mettant en place des mesures de protection, des politiques de contrôle
  d&#x2019accès et des stratégies de sauvegarde/récupération.
  &#x2022 Assurer l&#x2019ordonnancement des chaines d&#x2019ingestion et des analytiques tournant sur les plateformes
  &#x2022 Participer aux projets d&#x2019évolution des plateformes BigData
  &#x2022 Gérer la performance des plateformes Big Data.
  &#x2022 Participer à la maintenance des environnements en appliquant des mises à jour.
  &#x2022 Automatiser les tâches récurrentes à l&#x2019aide de scripts pour optimiser la gestion des systèmes.
  &#x2022 Produire et maintenir la documentation d&#x2019exploitation de la plateforme
  &#x2022 Contribuer à l&#x2019amélioration continue de l&#x2019exploitabilité et de la qualité de service de la plateforme
  &#x2022 Maintenir et améliorer les KPI de suivi du fonctionnement de la plateforme
  
  Assurer une aide technique de niveau 1 et 2 aux utilisateurs de la plateforme (information, analyse,
  diagnostic et résolution).
  &#x2022 Animer un suivi régulier d&#x2019avancement des demandes de support auprès des intervenants concernés.
  &#x2022 Faire un reporting mensuel des KPI standards
  attendus sur ce type d&#x2019activité : nombre de tickets non traités à une date donnée, temps moyen de
  traitement des tickets, dans le reporting, proposer, le cas échéant, des améliorations permettant de réduire le backlog
  d&#x2019incidents, le nombre de tickets de support, ..., et tout ce qui pourra améliorer le ressenti utilisateur
  &#x2022 Préparer les communications liées aux incidents et à la disponibilité de la plateforme
  &#x2022 Maintenir la documentation à disposition des utilisateurs (bonnes pratiques, référentiel des tables et des
  KeyUsers, procédures d&#x2019accès, ...)
  &#x2022 Mise à jours des certificats
  &#x2022 Configuration et paramétrages des différences services ( hdfs, konx, ranger, hive , etc&#x2026)
  &#x2022 Mise en place des réplications des données de cloudera vers AWS
  &#x2022 Accompagner et réfléchir sur l&#x2019architecture et services AWS à utiliser
  Data Gouvernance & Datacatalog ( Atlas) :
  &#x2022 Mise en place des outils pour la gouvernance de la donnée ( avec Atlas)
  &#x2022 Formation et accompagnement de l&#x2019équipe data gouvernance sur l&#x2019outil Atlas
  &#x2022 Mise en place de la procédure et règle des gestions de la gouvernance des données
  &#x2022 Implémentation du glossaire et du Dictionnaire (Atlas)
  &#x2022 Mise en place des linéages Technique et fonctionnelle (Atlas)
  HDFS, YARN, Hive, Oozie, Spark, Knox, Zeppelin, Nifi &#x2022 Centreon, Ansible &#x2022 Python et Scala sur environnement distribué.
  Atlas
  &#x2022 SQL &#x2022 Maitrise des systèmes d'informations et logiciels (outils bureautiques courants, SharePoint, Power BI, etc.)
  Soft skills :
  &#x2022 Communiquer efficacement (ex : présentation des incidents en Comité de Pilotage Big Data). La mission se
  fait en relation avec les utilisateurs métiers et en interaction avec l&#x2019équipe des administrateurs et des data
  Engineers de la plateforme. Il est donc essentiel que les communications soient les plus fluides possibles,
  &#x2022 Aimer travailler en équipe,
  &#x2022 Être réactif et autonome,
  &#x2022 Dialoguer avec aisance pour coordonner les intervenants sur des domaines techniques différents,
  &#x2022 Esprit de synthèse pour rédiger des documentations utilisateur facilement utilisables et en minimisant les erreurs sur les
  contenus

  Environnement technique : &#x2022 Linux (RedHat 8), Shell scripting &#x2022 Security (LDAP, Kerberos, SSL, IDM) &#x2022 Cloudera,

• Poste : ARCHITECTE / Administrateur CLOUDERA HADOOP (CDP)

  AGIRC-ARRCO
  Jan 2021 - Jan 2024

  Contexte de la mission :
  Au sein de l'organisation de la Direction Technique Informatique, la structure appelée Gouvernance
  Opérationnelle de l&#x2019Edition (GOE) a pour mission d'accompagner le développement logiciel réalisé par les entités
  fonctionnelles, et s&#x2019appuie sur 4 entités : Socle Développement, Architecture logicielle, Centre d&#x2019expertise des
  performances et DBAs&Socles.
  Les principales missions consistent d'une part, à accompagner les équipes dans la conception des modèles de données, à
  administrer les bases et les moteurs de bases de données et à construire les socles SGBD, décisionnel et Big data
  Actions menées :
  &#x27A2 Architecture technique :
  &#x2022 Mise en place des principes directeur sur l&#x2019utilisation de cluster Cloudera
  &#x2022 Vérification de la bonne application des normes et des standards
  &#x2022 Proposition d&#x2019évolution et de solution pour améliorer l&#x2019industrialisation
  &#x2022 Mise en place de l&#x2019architecture, Installation et configuration du cluster Kafka sur cloudera
  &#x2022 Mise en place de l&#x2019architecture, Installation et installation du ELK (Elasticsearch, Logstash et Kibana)
  &#x2022 Installation et configuration de prometheus et grafana pour les suvis de Kpi (pour le monotoring)
  &#x2022 Construire, mettre à jour et documenter le modèle conceptuel de données (MCD)
  &#x27A2 Administration
  &#x2022 Configuration du cluster Cloudera en fonction des besoins identifiés
  &#x2022 Migration des cloudera CDH vers CDP
  &#x2022 Suivi des espaces de stockage
  &#x2022 Optimisation des chargements des données
  &#x2022 Maintien de sécurité, gestion des habilitations (LDAP, et TLS / Kerberos)
  &#x2022 Mise en jour de certificat
  &#x27A2 Intégration
  &#x2022 Sur de nouveau besoin, Etude et proposition de solution, Mise en &#x152uvre de solution validés
  &#x2022 Migration des données
  &#x27A2 Support Technique
  &#x2022 Maintien en condition opérationnelle (MCO) des infrastructures et des composants logiciels du
  cluster
  &#x2022 Assistance auprès des équipes : Optimisation des traitement, Prise en main de l&#x2019outillage
  &#x2022 Chargement des données
  &#x2022 Transmission du savoir-faire via la rédaction de documentation et transfert de connaissance
  &#x27A2 Support Décisionnel
  &#x2022 Assistance auprès des équipes SI décisionnel dans l&#x2019évolution de la plate-forme
  &#x2022 Récolte et analyse des besoins
  &#x2022 Intégration des données en temps réel avec Kafka
  &#x2022 Nifi
  &#x2022 Monotoring des Kpi avec Kibana
  &#x2022 Description et analyse de la plateforme actuelle
  &#x2022 Proposition dévolution et élaboration des dossier d&#x2019architecture technique et logicielle
  &#x27A2 Gouvernance de la donnée (Cloudera &#x2013 Atlas)
  &#x2022 Accompagnement de l&#x2019équipe du gouvernance de la data sur les bonnes pratiques
  &#x2022 Mis en place des processus d&#x2019implémentation de catalog de la donnée avec Atlas
  &#x2022 Cadrer et implémenter les use case ( Glossaire et dictionnaire) via Atlas
  &#x2022 Automatisation des Métadonnée dans le dictionnaire via Atlas
  &#x2022 Mise en place de la Méthodologie des dictionnarisassions de données

  Environnement technique : Hadoop Cloudera, Shell (Linux,Redhat 8, Centos), Spark, Hue, Hive, Python, Scala, Ansible, HDFS, Py Spark, Apache Airflow, Power Bi, SQL, Open shifts, Docker, Kubernetes, Gitlab, Kafka,PostgreSQL/Mysql, ArchiMate,Nifi, Atlas

• Poste : ARCHITECTE GCP

  AUCHAN RETAIL
  Jan 2018 - Jan 2021

  Contexte de la mission :
  o Élaboration des architectures techniques, fonctionnelles applicatives et cloud.
  o Cadrage technique, documentation technique, chiffrage et estimation pour le restant à faire sur le
  projet
  o Construire, mettre à jour et documenter le modèle conceptuel de données (MCD)
  o Intégration des données SAP facturation et commandes clients
  o Gestions des communication des services, instances, logs, monotoring avec Kubernetes Service Mesh
  o Définition du socle technique. Contribution aux développements,
  o DevOPS et SecOPS
  o Installation de l&#x2019architecture ELK (logstash , elasticseach et Kibana )
  o Suivis et gestion des logs avec ELK
  o Intégration continue et déploiement continu (CI/CD)
  o Documentation de restitution pour le reste à faire.
  o Stack technique: Google Cloud Cloud Run, Google Cloud Composer, Big Query, Cloud Storage,
  o Terraform, Data Dog, GitHub, GitHub CI/CD, Cloud

  Environnement technique: GitLab, Scala, Spark, BIGQUERY, GCP (BIquery), Snowflake, Devops, Mlops, Ansible, Kubernetes(Service Mesh), Elasticsearch (ELK), Open Shift, GitLab, Docker, Google Cloud Composer, PostgreSQL/Mysql, Terraform, Dbt, ETL (talend, ESB), SAP , ERP, Cloud Data Storage, Cloud Dataflow, DataProc, Terraform, IAM, Compute engine, ArchiMate

• Poste : Expert Data Governance GCP (DataGalaxy, Colibra)

  BOUYGUES TELECOM
  Jan 2017 - Jan 2018

  Contexte de la mission :
  Dans le but d'améliorer la compréhension de données de son Data Lake et de son Data Warehouse ain...