CV/Mission de Consultant Hadoop freelance

Exemple de missions d'Aboubakrine,
Consultant Hadoop habitant les Bouches-du-Rhône (13)

Expérience professionnelle

Février 2019 à nos jours DSI Pôle Emploi
Architecte d’exécution

Containeurisation d'application métier sous PIVOTAL
Dans le cadre de soutien aux équipes support au développement du Datalake du client (Migration HDP vers CDP) modélisation et design pour migrer des applications en chaine chaude containeurisée sous kubernetes

Mission :

Définition des nouvelles architectures et process de migration
Suivi des développements du centre de service
Définition de templates pour les images docker (Kafka, Elastic, Saprk, ….)
Configuration clusters et publication des fichier yaml incluant la topologie des applications à migrer
Sécurisation des clusters Elastic (Https, SSL et Kerberos)
Création des pipelines de lancement via concourse
Alimentation des index elastic
Analyse de performances et optimisation des traitements
Support et accompagnement des équipes sur la montée en compétence K8S, Docker du Datalake

Environnement :
Pivotal, K8S, Datalake Cloudera, Linux SLES12, HDFS, Yarn, Hive, Spark, Ranger, Knox, XLDeploy, Prometheus/Grafana, Jenkins, Gitlab

Juillet 2017 – Décembre 2018 : Transport Maritime
Consultant Hadoop/ Machine Learning
Mission :
• Installation et configuration des clusters Hadoop avec la distribution Hortonworks (DEV-UAT, PRE-PROD et PROD)
• Rédaction de documents d’installation, spécification de process d’utilisation du cluster, définition de règles de sécurité
• Migration des données via import sqoop des bases legacy vers Hive
• Sécurisation des clusters avec SSL et Kerberos
• Lancement des modèles de prédiction
• Support et accompagnement des équipes du digital lab
• Formation Hadoop des équipes offshore
Environnement :
Hadoop Hortonworks sur Linux RHEL7, HDFS, Yarn, Hive, Spark, Ranger, Knox, XLDeploy, Jenkins

Septembre 2015 – Avril 2017 : Banque - Assurance
Chef de projet technique
Mission :
• Mise en place d'un SIEM pour collecter les logs et détection d'incidents de sécurité (Mise en place des cas d'usages, configuration des agents de collecte de logs et analyse avec RSA et ELK, MapR/Spark)
• Pilotage de l'installation du cluster Big-data de développement (Hadoop cloudera, base NoSQL MongoDB)
• Migration proxy et Firewall chez le partenaire, réorganisation des DMZ
• Sécurisation des réseaux d’immeubles du groupe CAA
• Mise en place du POC SATS Checkmarx (détection de vulnérabilités dans le code)
• Mise en œuvre du plan de correction des vulnérabilités 2016 (stock 2015)
• Suivi budgétaire, de la réalisation et coordination des équipes (1340 j/h).
• Reporting au sein du CODIR (comité de direction projet) sur l’état d’avancement des réalisations
Environnement :Hadoop MapR, Hadoop Cloudera, Splunk, RSA, ElasticSearch,

Mai 2007 - Mai 2015 : Transport Maritime
Référent technique Production Migration
Migration de l'application de reporting
Projet consistant à mettre en place une solution de solution de reporting unique sous forme d'un portail central de reporting Cognos pour l’ensemble des outils décisionnels.
• Définition de l'architecture
• Installation et configuration
• Tunning et optimisation
• Audit de la qualité des données des différentes applications clientes
• Mise en place et standardisation des processus
• Intégration des données
• Définition et ordonnancement des flux d'alimentation
• Installation configuration des environnements
• Suivi de la mise en œuvre de la gestion des identités
• Coordination du déploiement de la solution
Responsable Production Applications Décisionnelles Cognos
Mission :
Projet de migration et de modernisation de l’infrastructure des applications décisionnelles (architecture cible et migration technique)
Rédaction des spécifications fonctionnelles et techniques de l’environnement cible
Gestion de la mise en place de l’architecture cible (chiffrage/capacity planning, gestion du planning de mise en œuvre installation et configuration des serveurs applicatifs, web et load-balanceur Big-IP)
Suivi de la réalisation et de la mise en œuvre des flux d’alimentation des bases de données sources
Coordination des équipes offshores
Environnement technique :
IBM AIX, Oracle 11g, Cognos, Qlikview, ODI, TWS

Mars 2006 - Janv 2007 : Organe de Formation Professionnelle (AFPA)
Chef de projet Décisionnel
Mission :
• Assistance a la maitrise d’ouvrage : Interface entre la MOA et la MOE
• Mise en production
• Conseils et analyses sur l’infocentre
• Suivi des Tests de recette
• Développement de rapports impromptu
• Requêtes SQL sur la base infocentre
Environnement technologique :
IBM AIX, Win2K, Oracle 9i, TOAD, Impromptu 7.1, Impromptu Web Report, HR Access

Octobre 2002 – Janvier 2006 : SIVA (Paris)
Mise en Œuvre Système d'Information Décisionnel : Chargé des Opérations
Mission :
• Etude et réalisation d’une infrastructure Réseau entre les entités du SILCP
• Etude de la mise en place d’une plateforme centrale et d’un système distribué au niveau de chaque entité pour le partage des données sur la lutte contre la pauvreté
• Mise en place d’outils collaboratifs, de communication, de reporting et d’analyse de données (cognos) sur les indicateurs de pauvreté.
• Installation et configuration du portail Reportnet et Intégration des cubes powerplay
• (Modélisation et intégration des données, création et personnalisation des structures des dimensions, définition des valeurs des mesures, traitement des périodes de temps création de la base de données multidimensionnelle (SQL Server) avec Framework Manager
• Définition de cubes donnés pour l'analyse des données avec Powerplay transformer 7.3 pour l'analyse de l'évolution des indicateurs de lutte contre la pauvreté
Environnement technologique :
Linux, Win2003, SQL Server 2000, MySQL, Oracle 8i et 9i, Cognos Reportnet

Consultant Avant-Vente et Technique
Mission :
• Compréhension des besoins en termes d’analyse et de suivi des indicateurs
• Analyse des données et étude de l’environnement fonctionnel et technique
• Système de reporting et Tableaux de bords
• Conception d'une maquette de test avec le portail Reportnet, Powerplay et Cognos metric Manager pour le suivi des performances du système
• Mise en place d’une architecture 3 tiers en vue de ce projet, restructuration de la base de production oracle 9ir2, réorganisation des structures de stockages, migration des données des serveurs de test vers les serveurs de productions

Consultant décisionnel – Responsable des interventions
Mission :
• Etude de l’existant et cartographie du système d’information
• Interview des utilisateurs et analyse des besoins en terme de reprise de l’existant, d’alimentation quotidienne et de reporting
• Définition des indicateurs d’aide à la décision
• Agrégation des données opérationnelles
• Conception et réalisation des modèles multidimensionnels selon des modèles en étoiles dans le respect des besoins des utilisateurs.
• Mise en place de 3 datamarts alimentés à partir de données issues de systèmes multiformes et multi-sources
• Dépannage de la base d’exploitation Oracle 8i sous Solaris 8, redéfinition de la stratégie de sauvegarde et restauration en adéquation avec le degré de criticité des données de la Poste
• Réalisation de scripts d’optimisation de la base de données
• Création de Database link avec Oracle Transparent Gateway des bases non oracle vers la base du datawarehouse sous Oracle 9ir2
• Formation des utilisateurs sur les outils Cognos Impromptu, Powerplay, Access manager, Architect et Scénario
Environnement technologique :
Système GAP II sous Unix, SQL Server et 2000, Oracle 8i et 9i, PL/SQL ERP J.D Edwards OneWorld, Cognos, DTS, Analysis Services, Oracle Warehouse Builder

Avril 2002 - Septembre 2002 : XCONSULT
Consultant/System Analyst
Mission :
• Conception d’une nouvelle architecture des réseaux locaux et des réseaux d’interconnexion des réseaux pour la migration d’un environnement entièrement SNA/X25 vers un environnement IP
• Elaboration de l’architecture du nouveau système d’information de la Douane en terme de centre de serveurs (cluster IBM et DAS/SAN) et en terme applicatif (interface web 3 tiers)
• Modélisation d’un « Datawarehouse » et des cubes OLAP pour la gestion des statistiques sur les importations/exportations des produits de même que pour la mesure de la productivité des agents douaniers.

Environnement technologique :
IBM 9121 (Mainframe), IBM multiprise 3000, OS390 v.8, DB2/MVS v.6, SNA/X25, SQL2000, VB, ASP,Business Objects

Décembre 1999 – Mars 2002 : PROMOIMPORT- Grande Distribution
Administrateur Réseau et BD
Mission :
• Analyse et conception d’une base de données relationnelle avec Oracle 8i
• Installation et configuration des produits Oracle8 Server version 8.0.5, Oracle Developer version 2.1, Oracle Designer version 2.1, Oracle Application Server 4.1 pour 20 utilisateurs et 6 développeurs
• Développement d’une application de gestion commerciale
• Administration de la base de donnée Oracle, Tuning et Optimisation
• Administration du réseau local et maintenance des applications
• Formation et help desk pour le staff sur les outils bureautiques et applications internes
Environnement technologique :
Win NT, Win2K, Oracle 8.0.5, Forms et Reports 6, PL/SQL, Designer 6, WebDB