CV/Mission d'Ingénieur Hadoop Cloudera freelance

Exemple de missions de Mamadou Dian,
Ingénieur Hadoop Cloudera habitant les Yvelines (78)

• Rôle : Ingénieur DevOps

  Client : FIDUCIAL
  Jan 2024 - aujourd'hui

  Contexte : Avec plus de 15 000 employés, FIDUCIAL opère dans de nombreux secteurs, y compris la comptabilité, les
  fournitures de bureau, la sécurité, la banque, les professions réglementées, l'informatique, et bien plus encore. Notre objectif est
  de soutenir toutes les branches de l'entreprise dans le développement et les opérations (run), tout en fournissant des outils et des
  standards à l'échelle de l'entreprise, ainsi que de maintenir et améliorer les pipelines DevOps.
  Mission :
   Définir et mettre en œuvre des processus DevOps pour une meilleure collaboration/coordination entre les équipes de
  développement, d'opérations et de support
   Implémenter des pipelines CI/CD, avec un accent sur l'expertise et le support pour les bureaux d'études (BE)
   Assurer la maintenabilité, la compatibilité rétroactive et la standardisation des environnements de développement
   Maintenir et améliorer les outils de déploiement, notamment Ansible, AWX, Github Actions, Redmine, SonarQ,
  Sentry et Kafka
   Accompagner les équipes dans l'utilisation de ces outils, en fournissant des formations, des sessions de support, et en
  communiquant les mises à jour
   Rester à jour sur les avancées technologiques, proposer des améliorations pour les outils existants, et mettre en œuvre
  des solutions de sécurité
   Assister dans la résolution des problèmes techniques rencontrés par les bureaux d'études, analyser les logs, et proposer
  des solutions
   Participer aux comités d'intégration et d'architecture pour aligner les décisions techniques avec les exigences de l'UDF
   Former les équipes internes et externes, notamment celles d'Agadir et de Braga, pour assurer la pérennité des
  processus
   Planifier et exécuter les migrations vers des versions plus récentes des outils et des systèmes (par exemple, la
  migration vers Red Hat 8 et Rocky Linux)
   Standardiser l'utilisation d'outils tels que Grafana et assurer la compatibilité des environnements de développement
  avec les normes de l'UDF.

  Environnement technique : DevOps, CI/CD, Terraform, Ansible, Sonatype, Ansible, AWX, Github Actions, Redmine, SonarQ, Sentry, et Kafka.

• Rôle : Ingénieur DevOps

  Client : UNIVERSITE PARIS TECH/ Ecole des Ponts ParisTech
  Jan 2023 - aujourd'hui

  Contexte : Mettre en place des outils et des méthodes d'industrialisation et d'automatisation de l’exploitation informatique. Cela
  afin d’améliorer l'efficacité, la stabilité et la sécurité des systèmes, en favorisant la collaboration entre les équipes de
  développement et d’exploitation.
  • Définir et mettre en place des processus DevOps pour une meilleure collaboration/ coordination entre les équipes de
  développement, d'exploitation et d’assistance
  • Travailler en étroite collaboration avec les équipes de développement pour intégrer les pratiques d’infrastructure as code dans
  le cycle de vie du développement logiciel
  • Concevoir et mettre en place l'infrastructure de déploiement des ressources et services automatisés
  • Intégrer les CI/CD (intégration continue et livraison continue), les tests automatisés pour fluidifier les pipelines de
  développement et de déploiement de (GEDE) l’application de gestion de la scolarité de l’école (ENPC)
  • Mise en place de docker et configurer les Runner Gitlab pour les différents projets afin d’assurer le déploiement continue
  • Intégrer SonarQube dans les pipelines pour garantir la qualité du code et détecter les vulnérabilités
  • Concevoir des scripts, Playbooks Ansible et Ansible-Galaxy pour les mises à jour automatique de l'infrastructure système
  • Mise en place de Docker pour le projet GEDE et migrer les applications existantes sur les conteneurs Docker
  • Définir les architectures techniques de déploiement de Terraform
  • Concevoir et implémenter des configurations Terraform pour automatiser les déploiements, la modification et la
  maintenance des Vms
  • Assurer la gestion des versions des configurations Terraform afin de reproduire facilement les déploiements
  • Définir une politique de gestion de l’obsolescence des infrastructures système de la DSI
  • Mettre en place une bonne stratégie de MEP coordonnées entre les équipes de développement et d’exploitation
  • Concevoir une convention de nommage cohérente pour faciliter l'identification, la gestion et la communication efficaces des
  différents éléments de l'infrastructure de la DSI
  • Examiner, vérifier et valider le code logiciel développé dans le cadre du projet GEDE par la mise en place des différents tests
  fonctionnels et techniques (codingStandards (phpcs, phpstan, twig_lint), securityChecker, unitTests, codeCoverage)
  • Déployer et gérer les applications conteneurisées avec OpenShift
  • Fournir une formation et un support aux membres de l'équipe sur les bonnes pratiques DevOps, les outils et les technologies
  utilisées, afin de favoriser une adoption réussie des nouveaux processus et outils
  • Mettre en place une gestion de configuration centralisée pour assurer la cohérence des environnements de développement,
  de test et de production
  • Support N3 (auprès des équipes de production et applicatives)
  • Établir des politiques et rédiger les procédures de gestion cohérente et Automatiser des mises à jour et minimiser les
  interruptions de service.
  • Collaborer avec l’équipe d'exploitation pour améliorer le délai de traitement et résolution des incidents.
  • Rédiger et maintenir une documentation précise et à jour pour les configurations, les processus et les workflows des solutions
  mises en place afin de faciliter la compréhension et la collaboration

  Environnement technique : DevOps, CI/CD, Terraform, Ansible, Sonatype, Méthodologie Agile, Vmware/vSphere, Php Symfony, Python, Gitlab-ci, Kuberntes, OpenShift, Docker, Redmine, SINCHRO.

• Rôle : Intégrateur Big Data Hadoop

  Client : FEDERATION AGIRC-ARRCO
  Jan 2021 - Jan 2023

  Contexte : Exploiter et interpréter les données de la DSN pour en dégager des observations business utiles. Fournir
  des rapports et des statistiques qui permettent d'orienter les prises de décision aux équipes métiers et management
  afin d’améliorer les performances et les stratégies dans le cadre de la retraite en France.
  Mission
   Participer aux Daily meeting
   Traduire les besoins métier en exigences techniques
   Structurer des idées et exprimer les besoins
   Assurer la formation et le développement des compétences des équipes sur le Big Data et Hadoop
   Définir les spécifications fonctionnelles avec les chefs de projet MOA et AMOA
   Standardiser les données
   Analyser et traiter les données en utilisant SQL, HIVE, Spark
   Créer des scripts Hive pour analyser les données
   Créer des notebooks Zeppelin pour concevoir des scripts Spark
   Créer des requêtes SQL et Hive et visualiser les résultats sur Zeppelin
   Traiter les requêtes Hive et Impala depuis Hue
   Ajouter des nœuds de données et configurer les rôles des nœuds
   Configurer les répertoires HDFS et les permissions
   Utiliser Cloudera Manager pour surveiller la santé du cluster
   Surveiller et optimiser l'utilisation des ressources YARN
   Créer des tables et exécuter des requêtes pour l'analyse des données
   Installer et configurer HBase pour le stockage des données en temps réel
   Gérer les utilisateurs et les permissions pour l'accès aux données
   Configurer Kerberos pour sécuriser l'accès au cluster Hadoop
   Manipuler les workflows
   Charger des données dans Hadoop
   Appliquer des techniques statistiques pour interpréter les données et générer des insights
   Collaborer avec des équipes transversales pour comprendre les besoins en données et fournir des insights
  exploitables
   Créer et maintenir la documentation des processus et des méthodes d'analyse des données
   Assurer l'exactitude et l'intégrité des données grâce à des validations et des contrôles de qualité rigoureux
   Communiquer les conclusions et les recommandations aux parties prenantes par le biais de présentations et de
  rapports
   Soutenir les processus de prise de décision basés sur les données à travers l'organisation
   Rédiger la documentation technique
   Visualiser les résultats des requêtes : Impala, Hive, Spark, Sqoop et générer des statistiques depuis HUE
   Utiliser Hue pour explorer, naviguer et importer des données depuis la base de données DSN
   Identifier les problèmes à résoudre grâce aux données collectées
   Produire des rapports et des comptes rendus aux différents services de la DSN (BE, QUALIF, RECETTE)
  afin de faciliter la prise de décision des managers

  Environnement technique : Cloudera Manager, Ecosystème Hadoop, Hive, Zeppelin, Hue, Méthodologie Agile, Script Shell, Scala, Spark, AWS.

• Rôle : Intégrateur DEVOPS

  Client : MACIF
  Jan 2021 - Jan 2021

  Projet : Suivi, maintenance et gestion de l’infrastructure Big Data Macif
  Mission
  • Participer aux réunions de suivi
  • Surveiller la plateforme Hadoop
  • Gérer les services d'infrastructure via Ambari
  • Gérer les autorisations des utilisateurs et des groupes
  • Configurer, surveiller et maintenir les services
  • Traiter les requêtes Hive depuis Hue
  • Créer des applications sur les clusters Dev, Recette et Prod
  • Participer à la migration des flux Kafka
  • Installer et configurer les brokers Kafka
  • Configurer le serveur Kafka en modifiant les fichiers de configuration situés dans le répertoire config (server.properties)
  • Mettre en place des pipelines CI/CD pour automatiser le déploiement des applications Big Data
  • Assurer la cohérence des configurations entre les différents environnements (développement, test, production)
  • A partir de Nagios surveiller ...