CV/Mission d'Ingénieur Hadoop Cloudera freelance

Exemple de missions de Mamadou Dian,
Ingénieur Hadoop Cloudera habitant les Yvelines (78)

Client : FIDUCIAL
Rôle : Ingénieur DevOps
Depuis Avril 2024
Contexte : Avec plus de 15 000 employés, FIDUCIAL opère dans de nombreux secteurs, y compris la comptabilité, les
fournitures de bureau, la sécurité, la banque, les professions réglementées, l'informatique, et bien plus encore. Notre objectif est
de soutenir toutes les branches de l'entreprise dans le développement et les opérations (run), tout en fournissant des outils et des
standards à l'échelle de l'entreprise, ainsi que de maintenir et améliorer les pipelines DevOps.
Mission :
 Définir et mettre en œuvre des processus DevOps pour une meilleure collaboration/coordination entre les équipes de
développement, d'opérations et de support
 Implémenter des pipelines CI/CD, avec un accent sur l'expertise et le support pour les bureaux d'études (BE)
 Assurer la maintenabilité, la compatibilité rétroactive et la standardisation des environnements de développement
 Maintenir et améliorer les outils de déploiement, notamment Ansible, AWX, Github Actions, Redmine, SonarQ,
Sentry et Kafka
 Accompagner les équipes dans l'utilisation de ces outils, en fournissant des formations, des sessions de support, et en
communiquant les mises à jour
 Rester à jour sur les avancées technologiques, proposer des améliorations pour les outils existants, et mettre en œuvre
des solutions de sécurité
 Assister dans la résolution des problèmes techniques rencontrés par les bureaux d'études, analyser les logs, et proposer
des solutions
 Participer aux comités d'intégration et d'architecture pour aligner les décisions techniques avec les exigences de l'UDF
 Former les équipes internes et externes, notamment celles d'Agadir et de Braga, pour assurer la pérennité des
processus
 Planifier et exécuter les migrations vers des versions plus récentes des outils et des systèmes (par exemple, la
migration vers Red Hat 8 et Rocky Linux)
 Standardiser l'utilisation d'outils tels que Grafana et assurer la compatibilité des environnements de développement
avec les normes de l'UDF.
Environnement technique : DevOps, CI/CD, Terraform, Ansible, Sonatype, Ansible, AWX, Github Actions, Redmine,
SonarQ, Sentry, et Kafka.

Client : UNIVERSITE PARIS TECH/ Ecole des Ponts ParisTech
Rôle : Ingénieur DevOps
Depuis Jun 2023

Contexte : Mettre en place des outils et des méthodes d'industrialisation et d'automatisation de l’exploitation informatique. Cela
afin d’améliorer l'efficacité, la stabilité et la sécurité des systèmes, en favorisant la collaboration entre les équipes de
développement et d’exploitation.
• Définir et mettre en place des processus DevOps pour une meilleure collaboration/ coordination entre les équipes de
développement, d'exploitation et d’assistance
• Travailler en étroite collaboration avec les équipes de développement pour intégrer les pratiques d’infrastructure as code dans
le cycle de vie du développement logiciel
• Concevoir et mettre en place l'infrastructure de déploiement des ressources et services automatisés
• Intégrer les CI/CD (intégration continue et livraison continue), les tests automatisés pour fluidifier les pipelines de
développement et de déploiement de (GEDE) l’application de gestion de la scolarité de l’école (ENPC)
• Mise en place de docker et configurer les Runner Gitlab pour les différents projets afin d’assurer le déploiement continue
• Intégrer SonarQube dans les pipelines pour garantir la qualité du code et détecter les vulnérabilités
• Concevoir des scripts, Playbooks Ansible et Ansible-Galaxy pour les mises à jour automatique de l'infrastructure système
• Mise en place de Docker pour le projet GEDE et migrer les applications existantes sur les conteneurs Docker
• Définir les architectures techniques de déploiement de Terraform
• Concevoir et implémenter des configurations Terraform pour automatiser les déploiements, la modification et la
maintenance des Vms
• Assurer la gestion des versions des configurations Terraform afin de reproduire facilement les déploiements
• Définir une politique de gestion de l’obsolescence des infrastructures système de la DSI
• Mettre en place une bonne stratégie de MEP coordonnées entre les équipes de développement et d’exploitation
• Concevoir une convention de nommage cohérente pour faciliter l'identification, la gestion et la communication efficaces des
différents éléments de l'infrastructure de la DSI
• Examiner, vérifier et valider le code logiciel développé dans le cadre du projet GEDE par la mise en place des différents tests
fonctionnels et techniques (codingStandards (phpcs, phpstan, twig_lint), securityChecker, unitTests, codeCoverage)
• Déployer et gérer les applications conteneurisées avec OpenShift
• Fournir une formation et un support aux membres de l'équipe sur les bonnes pratiques DevOps, les outils et les technologies
utilisées, afin de favoriser une adoption réussie des nouveaux processus et outils
• Mettre en place une gestion de configuration centralisée pour assurer la cohérence des environnements de développement,
de test et de production
• Support N3 (auprès des équipes de production et applicatives)
• Établir des politiques et rédiger les procédures de gestion cohérente et Automatiser des mises à jour et minimiser les
interruptions de service.
• Collaborer avec l’équipe d'exploitation pour améliorer le délai de traitement et résolution des incidents.
• Rédiger et maintenir une documentation précise et à jour pour les configurations, les processus et les workflows des solutions
mises en place afin de faciliter la compréhension et la collaboration
Environnement technique : DevOps, CI/CD, Terraform, Ansible, Sonatype, Méthodologie Agile,
Vmware/vSphere, Php Symfony, Python, Gitlab-ci, Kuberntes, OpenShift, Docker, Redmine, SINCHRO.

Client : FEDERATION AGIRC-ARRCO
Rôle : Intégrateur Big Data Hadoop
Août 2021 – Mai 2023 (22 mois)
Contexte : Exploiter et interpréter les données de la DSN pour en dégager des observations business utiles. Fournir
des rapports et des statistiques qui permettent d'orienter les prises de décision aux équipes métiers et management
afin d’améliorer les performances et les stratégies dans le cadre de la retraite en France.
Mission
 Participer aux Daily meeting
 Traduire les besoins métier en exigences techniques
 Structurer des idées et exprimer les besoins
 Assurer la formation et le développement des compétences des équipes sur le Big Data et Hadoop
 Définir les spécifications fonctionnelles avec les chefs de projet MOA et AMOA
 Standardiser les données
 Analyser et traiter les données en utilisant SQL, HIVE, Spark
 Créer des scripts Hive pour analyser les données
 Créer des notebooks Zeppelin pour concevoir des scripts Spark
 Créer des requêtes SQL et Hive et visualiser les résultats sur Zeppelin
 Traiter les requêtes Hive et Impala depuis Hue
 Ajouter des nœuds de données et configurer les rôles des nœuds
 Configurer les répertoires HDFS et les permissions
 Utiliser Cloudera Manager pour surveiller la santé du cluster
 Surveiller et optimiser l'utilisation des ressources YARN
 Créer des tables et exécuter des requêtes pour l'analyse des données
 Installer et configurer HBase pour le stockage des données en temps réel
 Gérer les utilisateurs et les permissions pour l'accès aux données
 Configurer Kerberos pour sécuriser l'accès au cluster Hadoop
 Manipuler les workflows
 Charger des données dans Hadoop
 Appliquer des techniques statistiques pour interpréter les données et générer des insights
 Collaborer avec des équipes transversales pour comprendre les besoins en données et fournir des insights
exploitables
 Créer et maintenir la documentation des processus et des méthodes d'analyse des données
 Assurer l'exactitude et l'intégrité des données grâce à des validations et des contrôles de qualité rigoureux
 Communiquer les conclusions et les recommandations aux parties prenantes par le biais de présentations et de
rapports
 Soutenir les processus de prise de décision basés sur les données à travers l'organisation
 Rédiger la documentation technique
 Visualiser les résultats des requêtes : Impala, Hive, Spark, Sqoop et générer des statistiques depuis HUE
 Utiliser Hue pour explorer, naviguer et importer des données depuis la base de données DSN
 Identifier les problèmes à résoudre grâce aux données collectées
 Produire des rapports et des comptes rendus aux différents services de la DSN (BE, QUALIF, RECETTE)
afin de faciliter la prise de décision des managers
Environnement technique : Cloudera Manager, Ecosystème Hadoop, Hive, Zeppelin, Hue, Méthodologie Agile,
Script Shell, Scala, Spark, AWS.

Client : MACIF
Rôle : Intégrateur DEVOPS
Janvier 2021 - Aout 2021 (8 mois)
Projet : Suivi, maintenance et gestion de l’infrastructure Big Data Macif
Mission
• Participer aux réunions de suivi
• Surveiller la plateforme Hadoop
• Gérer les services d'infrastructure via Ambari
• Gérer les autorisations des utilisateurs et des groupes
• Configurer, surveiller et maintenir les services
• Traiter les requêtes Hive depuis Hue
• Créer des applications sur les clusters Dev, Recette et Prod
• Participer à la migration des flux Kafka
• Installer et configurer les brokers Kafka
• Configurer le serveur Kafka en modifiant les fichiers de configuration situés dans le répertoire config (server.properties)
• Mettre en place des pipelines CI/CD pour automatiser le déploiement des applications Big Data
• Assurer la cohérence des configurations entre les différents environnements (développement, test, production)
• A partir de Nagios surveiller ...