Responsable du cluster Hadoop de production ayant une vingtaine d'applications avec des traitements quotidiens, infra quotidien et du temps réel.
Responsabilités
Production Hadoop :
- Mise en place avec l’équipe MCO les processus de contrôle nécessaires pour le bon fonctionnement des traitements du cluster Hadoop. ( Alerte, relance, reprise …)
- Mise en place d'un plan de production pour optimiser les temps de traitement
- Gestion des habilitations et les accès Hadoop
- Mise en pace des processus de résolution d’incident ( Support N1, N2, N3 )
- Garant de la haute disponibilité la production hadoop et gestion de relation avec la DSP qui administre le cluster.
Mise en place d’une supervision des traitements applicatifs en 24/7 :
- Piloter la mise en place des équipes ( Lot A et Lot B) de supervisions en 24/7 du côté direction commerce
- Définir les outils et les composants nécessaires (Elasticsearch, Pada One )
- Rédaction du DEX et les différents scénarios de reprises.
Gestion et animation de l’équipe des développeurs :
- Pilote de l’équipe projet Hadoop
- Mise en place du système JIRA
- Mise en place d’une matrice de compétence et de capacity planning
- Mise en place des processus de prise en compte des nouvelles demandes et gestion des évolutions.
Autres :
Pilote du chantier GDPR :
- Etude d'une nouvelle organisation en remettant la GDPR au centre des développements big Data : privacy by design et privacy by defaut.
- POC de chiffrement, Pseudonymisation et anomisation des données sous Hadoop
- Lancement du chantier des habilitations Hadoop
Chantier de gouvernance de données :
- Etude de la solution ATLAS et RANGER
- Réalisation d’un poc sur un périmètre de données.
Chantier DévOPs
Responsable de refonte de la chaine K-LIF qui permet de rapprocher les données CRM EDF avec les données externe (INSEE..) ainsi que la normalisation des adresses sous Hadoop. Le projet rentre dans le cadre de la refonte de l'entrepôt de données de marché d'affaires d'EDF ( PROFIL)
Chef de projet de rapprochement des données EDF et les sources externes : ( hadoop )
- Analyse de l'existant et organisation des ateliers avec la direction marketing pour redéfinir les besoins métiers.
- Etude et mise en place du scénario de refonte sous hadoop vs oracle.
- Mise en place du planning, chiffrages et suivi des développements.
- Appui des développeurs et échanges avec les architectes sur les différentes problématiques rencontrées.
Administration Fonctionnelle de l'entrepôt de données de marché d'affaire d'EDF ( PROFIL ) en charge de l'acquisition et l'historisation des données de l'ensemble des SI front et back office.
Concepteur réalisateur SI
- Garant de la maintenabilité, la cohérence et la qualité de données de l'entrepôt.
- Pilotage et suivi des plannings de production.
- Gestion des flux entrants et sortants au DWH.
- Responsable de la qualité de données de l'entrepôt PROFIL.
- Référent des rapprochements des données CRM EDF avec les données INSEE.
- Rédaction et participation aux différentes réunions Hebdomadaire et mensuelle COMOA Score & Segment PROFIL, Comité Connaissance Client.
Reprise et optimisation de la chaine d’alimentation de l’application décisionnelle IODA pour diminuer le temps de chargements de 27h à 15h.
Consultant ETL Informatica : ( PushDown – Netezza )
- Analyse de la chaine d’alimentation existante en Informatica V6 et V8.
- Conception, développement et rédaction du POC optimisé en Informatica V8.
- Développement des mappings de chargement des fichiers de données fournisseurs dans la base de données NETEZZA.
- Développement des mappings de la phase chargement des tables de transcodifications des différentes données fournisseurs de Oracle vers la base de données NETEZZA.
- Développement des mappings de consolidation de Netezza à Netezza en PushDown Informatica. ( Entre fichiers fournisseurs et tables de transcodification ).
- Développement des mappings de « Organiser » de Netezza à Netezza en PushDown Informatica. ( ODS ).
- Développement des mappings de « Historisation » de Netezza à Netezza en PushDown Informatica.
- Création d’un outil de génération de mappings automatiques de recyclage sous format XML.
- Test unitaire et Recette de mappings.
- Livraison en production.
Démultiplication des données sources avec cohérence entres les différents concepts pour augmenter la volumétrie du progiciel de gestion clientèle et de facturation efluid (********) dans le cadre de la démonstration et l’appel d’offre ERDF.
Consultant ETL Informatica :
- Reprendre le jeu de données sources ( 250 000 clients )
- Analyser les différents acteurs entres les domaines Efluid (Contrat, Recouvrement, etc.)
- Concevoir et rédaction de la stratégie de démultiplication de données pour atteindre 5 Millions de clients dans Efluid.
- Développement des mappings de la démultiplication.
- Test et optimisation.
Reprise & Migration des données des systèmes sources dans le cadre de l’intégration du progiciel de gestion clientèle et de facturation efluid (********) (équipe de 15 personnes)
Consultant ETL Informatica :
- Ateliers clients pour la présentation du système source & compte rendu
- Analyse & Qualité des données sources.
- Responsable de développement des domaines : données géographiques, adresses postales et Acteurs.
- Encadrement et suivi des stagiaires: tâche Informatica, orientation, suivi et évaluation.
- Développement en PowerCenter Informatica : Conception et développement sur des sujets complexes, développement de mappings, développement de sessions associées aux mappings, optimisation des temps de traitement.
- Tests d'intégration.
Projet Décisionnels :
- Alimentation d’un datawarehouse « Gite » a partir de plusieurs sources hétérogènes en utilisant l’ETL et la création de cube OLAP (Requêtes Multidimensionnelle)
- Etudes de datawarehouse «AdventureWorkDW» par l’outil SQL Server Business Intelligence, en utilisant SQL Server Analysis Services SSAS et SQL Server Reporting Services SSRS.
- Création d’un Datamart Marketing a partir d’un entrepôt de données « Internet sales » : par l’outil SQL Server Analysis Services SSAS, connexion aux sources, création des vues, déploiement, calculs en langage MDX, Indicateurs, rapport en tableaux croisés dynamiques
Reprise de données au sein d’un projet de 40 personnes et d’une équipe de 5 personnes dans le cadre de l’intégration du progiciel de gestion clientèle et de facturation efluid pour le client EDF Outre mer : Guadeloupe, Martinique, Guyane, La réunion et la Corse.
Consultant ETL Informatica :
- Responsable de développement des domaines circuit de relève, échéancier de paiement, facturation, historique de consommation.
- Développements sous PowerCenter d'Informatica : Conception et développement sur des sujets complexes, développement de mappings, développement de sessions associées aux mappings, optimisation des temps de traitement, lancement de batch.
- Injection des fichiers csv en mode CMD sous Unix Correction des logs des sessions des workflow
- Tests d'intégration et de recette Client.
- Formateur des Journalistes de la Télévision Algérienne sur des nouveaux logiciels de préparation des journaux télévisés
Environnement : ClipEdit, NewsbaseCréation d’une boite d’outil d’audit de sécurité dans les réseaux informatiques
- Définition du besoin et rédaction du cahier des charges.
- Conception globale, conception détaillée
- Etude de la méthodologie de sécurité EBIOS.
- Realisations techniques.