Redhouane - Développeur INFORMATICA
Ref : 090827G001-
78600 MAISONS LAFFITTE
-
Développeur (40 ans)
-
Freelance
DSI Commerce EDF : Responsable du RUN et du BUILD Hadoop : Juin 2016 à ce jour
Responsable du cluster Hadoop de production ayant une vingtaine d'applications avec des traitements quotidiens, infra quotidien et du temps réel.
Responsabilités
Production Hadoop :
- Mise en place avec l’équipe MCO les processus de contrôle nécessaires pour le bon fonctionnement des traitements du cluster Hadoop. ( Alerte, relance, reprise …)
- Mise en place d'un plan de production pour optimiser les temps de traitement
- Gestion des habilitations et les accès Hadoop
- Mise en pace des processus de résolution d’incident ( Support N1, N2, N3 )
- Garant de la haute disponibilité la production hadoop et gestion de relation avec la DSP qui administre le cluster.
Mise en place d’une supervision des traitements applicatifs en 24/7 :
- Piloter la mise en place des équipes ( Lot A et Lot B) de supervisions en 24/7 du côté direction commerce
- Définir les outils et les composants nécessaires (Elasticsearch, Pada One )
- Rédaction du DEX et les différents scénarios de reprises.
Gestion et animation de l’équipe des développeurs :
- Pilote de l’équipe projet Hadoop
- Mise en place du système JIRA
- Mise en place d’une matrice de compétence et de capacity planning
- Mise en place des processus de prise en compte des nouvelles demandes et gestion des évolutions.
Autres :
Pilote du chantier GDPR :
- Etude d'une nouvelle organisation en remettant la GDPR au centre des développements big Data : privacy by design et privacy by defaut.
- POC de chiffrement, Pseudonymisation et anomisation des données sous Hadoop
- Lancement du chantier des habilitations Hadoop
Chantier de gouvernance de données :
- Etude de la solution ATLAS et RANGER
- Réalisation d’un poc sur un périmètre de données.
Chantier DévOPs
DSI Commerce EDF : Chef de projet Big Data : Janvier 2015 - Juin 2016
Responsable de refonte de la chaine K-LIF qui permet de rapprocher les données CRM EDF avec les données externe (INSEE..) ainsi que la normalisation des adresses sous Hadoop. Le projet rentre dans le cadre de la refonte de l'entrepôt de données de marché d'affaires d'EDF ( PROFIL)
Chef de projet de rapprochement des données EDF et les sources externes : ( hadoop )
- Analyse de l'existant et organisation des ateliers avec la direction marketing pour redéfinir les besoins métiers.
- Etude et mise en place du scénario de refonte sous hadoop vs oracle.
- Mise en place du planning, chiffrages et suivi des développements.
- Appui des développeurs et échanges avec les architectes sur les différentes problématiques rencontrées.
Environnement : Hadoop, HDFS, PIG, HIVE, HBASE, ELASTICSERARCH, Kafka, flume, sqoop, spark
DSI Commerce EDF ( Interne ) : Analyste BI Décembre 2013 - Décembre 2014
Administration Fonctionnelle de l'entrepôt de données de marché d'affaire d'EDF ( PROFIL ) en charge de l'acquisition et l'historisation des données de l'ensemble des SI front et back office.
Concepteur réalisateur SI
- Garant de la maintenabilité, la cohérence et la qualité de données de l'entrepôt.
- Pilotage et suivi des plannings de production.
- Gestion des flux entrants et sortants au DWH.
- Responsable de la qualité de données de l'entrepôt PROFIL.
- Référent des rapprochements des données CRM EDF avec les données INSEE.
- Rédaction et participation aux différentes réunions Hebdomadaire et mensuelle COMOA Score & Segment PROFIL, Comité Connaissance Client.
Environnement : Oracle, SQL, BO, Hadoop.
BNP PARIBAS CARDIF : Consultant ETL Informatica Novembre 2012 - Novembre 2013
Reprise et optimisation de la chaine d’alimentation de l’application décisionnelle IODA pour diminuer le temps de chargements de 27h à 15h.
Consultant ETL Informatica : ( PushDown – Netezza )
- Analyse de la chaine d’alimentation existante en Informatica V6 et V8.
- Conception, développement et rédaction du POC optimisé en Informatica V8.
- Développement des mappings de chargement des fichiers de données fournisseurs dans la base de données NETEZZA.
- Développement des mappings de la phase chargement des tables de transcodifications des différentes données fournisseurs de Oracle vers la base de données NETEZZA.
- Développement des mappings de consolidation de Netezza à Netezza en PushDown Informatica. ( Entre fichiers fournisseurs et tables de transcodification ).
- Développement des mappings de « Organiser » de Netezza à Netezza en PushDown Informatica. ( ODS ).
- Développement des mappings de « Historisation » de Netezza à Netezza en PushDown Informatica.
- Création d’un outil de génération de mappings automatiques de recyclage sous format XML.
- Test unitaire et Recette de mappings.
- Livraison en production.
Outils : Informatica V6, V8.6, V9.1 , Oracle, Toad, Netezza, Aginity, SQL,Unix, Ultra EDIT
MULTI PROJET: Consultant ETL Informatica : SMEG ( MONACO )/ SEOLIS (NIORT)/ GEG (GRENOBLE ): Janvier 2011 - Octobre 2012
Reprise & Migration des données des systèmes sources dans le cadre de l’intégration du progiciel de gestion clientèle et de facturation efluid (********) (équipe de 15 personnes)
Consultant ETL Informatica :
- Ateliers clients pour la présentation du système source & compte rendu
- Analyse & Qualité des données sources.
- Responsable de développement des domaines : données géographiques, adresses postales et Acteurs.
- Encadrement et suivi des stagiaires: tâche Informatica, orientation, suivi et évaluation.
- Développement en PowerCenter Informatica : Conception et développement sur des sujets complexes, développement de mappings, développement de sessions associées aux mappings, optimisation des temps de traitement.
- Tests d'intégration.
Environnement : SQL , Oracle 9i, Oracle 10g, SQL développeur, Informatica V7 et V8
ERDF ( Prestataire SSI CGI ) Consultant ETL Informatica : Aout 2011 - Septembre 2012
Démultiplication des données sources avec cohérence entres les différents concepts pour augmenter la volumétrie du progiciel de gestion clientèle et de facturation efluid (********) dans le cadre de la démonstration et l’appel d’offre ERDF.
Consultant ETL Informatica :
- Reprendre le jeu de données sources ( 250 000 clients )
- Analyser les différents acteurs entres les domaines Efluid (Contrat, Recouvrement, etc.)
- Concevoir et rédaction de la stratégie de démultiplication de données pour atteindre 5 Millions de clients dans Efluid.
- Développement des mappings de la démultiplication.
- Test et optimisation.
Environnement : SQL , Oracle, SQL développeur, Informatica V7.
EDF ( Prestataire SSI CGI ) Avril 2009 - Juillet 2011
Reprise de données au sein d’un projet de 40 personnes et d’une équipe de 5 personnes dans le cadre de l’intégration du progiciel de gestion clientèle et de facturation efluid pour le client EDF Outre mer : Guadeloupe, Martinique, Guyane, La réunion et la Corse.
Consultant ETL Informatica :
- Responsable de développement des domaines circuit de relève, échéancier de paiement, facturation, historique de consommation.
- Développements sous PowerCenter d'Informatica : Conception et développement sur des sujets complexes, développement de mappings, développement de sessions associées aux mappings, optimisation des temps de traitement, lancement de batch.
- Injection des fichiers csv en mode CMD sous Unix Correction des logs des sessions des workflow
- Tests d'intégration et de recette Client.
Environnement : SQL , Oracle, SQL développeur, Informatica V7.
Projets Universitaires : Septembre 2009 - Février 2011
Projet Décisionnels :
- Alimentation d’un datawarehouse « Gite » a partir de plusieurs sources hétérogènes en utilisant l’ETL et la création de cube OLAP (Requêtes Multidimensionnelle)
- Etudes de datawarehouse «AdventureWorkDW» par l’outil SQL Server Business Intelligence, en utilisant SQL Server Analysis Services SSAS et SQL Server Reporting Services SSRS.
- Création d’un Datamart Marketing a partir d’un entrepôt de données « Internet sales » : par l’outil SQL Server Analysis Services SSAS, connexion aux sources, création des vues, déploiement, calculs en langage MDX, Indicateurs, rapport en tableaux croisés dynamiques
Télévision Algérienne : Septembre 2006 - Septembre 2007
Formateur des journalistes :
- Formateur des Journalistes de la Télévision Algérienne sur des nouveaux logiciels de préparation des journaux télévisés
Environnement : ClipEdit, Newsbase
Centre de recherche sur l’information scientifique et téchnique : Décembre 2005-Juin 2006 (CERIST)
Création d’une boite d’outil d’audit de sécurité dans les réseaux informatiques
Stage de fin d’étude :
- Définition du besoin et rédaction du cahier des charges.
- Conception globale, conception détaillée
- Etude de la méthodologie de sécurité EBIOS.
- Realisations techniques.
Environnement : Java, Eclipse, Mysql.
COMPETENCES BIG DATA
Mise en place des instances Big data comme le Bureau d'architecture
Mise en place des processus de développement et les pré requis de passage MCO Hadoop
Mise en place d'une Assistance utilisateurs et gestion de communication Big Data
Mise en place des processus de supervision de chaines applicatives Hadoop en 24/7.
Sujet réglementaire telle que la GDPR : Règlement général sur la protection des données ( Portabilité, droit à l'oubli, suppression des données, consentement, l'anonymisation .. )
Définition une politique de gestion des habilitations et d'accès aux environnement Hadoop
Gouvernance de données dans le BIG DATA.
Ecosystème Hadoop : HDFS, HIVE, PIG, HBASE, ELASTICSERACH, KIBANA, SQOOP, SPARK, FLUME, KAFKA, ATLAS, RANGER, NIFI, OOZIE
COMPETENCES Décisionnelles
Expert ETL Power Center Informatica V6,7,8.6,9.1 (5 années d’expérience) : Conception et développement des mappings complexes, utilisations des fonctions avancées, optimisation des temps de traitement, utilisation de Pushdown, analyse des goulots d’étranglement et partitionnement.
Informatique décisionnelle : Enjeux du décisionnel, principe de chargement et d’historisation Delta, Stock. Modélisation des entrepôts (étoile & flocon), Datamarts et requêtes Analytiques.
Bases des données : Oracle (Toad, SQL développeur), NETEZZA (Aginity), MySQL, SQL, Hadoop.
Formation
Hadoop Administrateurs de Cloudera (2017 – 4 jours)
Analyse de données avec l'environnement Hadoop Hortonworks (2014 – 4 jours)
Formation chef de projet (2014 - 5 jours)
Langage de statistique R : Fonction de statistique sous hadoop et Oracle (Mars 2014–3 jours)
Business Object Web intelligence V4: Création de rapport, mise à jour (Juin 2013–2 jours)
Informatica V8.6, V9 Niveau II : Fonctions avancées et optimisation (Mai 2012 - 3 jours).
Informatica Niveau 1 Développeur: Architecture informatica, Crétation de mapping, session et workflow. (Avril 2009- 4 jours).
Diplômes
2008-2009 - Master 2 MIAGE Informatique Décisionnelle -Université Paris Dauphine - Paris 16eme.
2007-2008 - Master 1 Informatique – Institut Galilée, Université - Paris 13.
2005-2006 - Ingénieur informatique -Université Mouloud MAMMERI Tizi-Ouzou-Algérie