Frederic - Consultant technique DB2

DSXConsult (Interne) DSXConsult du 01/05/2015 – 31/08/2015 (4 mois)
Domaine : Software DSXKeeper

Dans le cadre de certains besoins client, il a été décidé de réaliser un outil d’audit automatique des projets DataStage dans le but d’être commercialisé.
Cet outil (DSXKeeper) permet de vérifier que les règles de nommage des jobs/stages sont respectées mais également de checker que les développements ne comportent pas d’erreur.
Cet outil a déjà fait mainte et mainte fois ses preuves depuis quelques années, il était temps de mettre en commercialisation une version plus optimisé et industrialisé.

CACP (SopraSteria - Paris) DSXConsult du 01/06/2015 – 19/06/2015 (15 jours)
Domaine : Banque

Dans le cadre d’un POC, nous devions être dans la capacité d’installer DataStage V11.3.1.1 sur un système Linux RHL 6.6 et le faire fonctionner avec Hadoop 5.2 et SQL Serveur 2012.

PEOPLE CENTRIC (Paris) DSXConsult (intervention ponctuel)
Domaine : Créateur de test DataStage

People Centric est une société qui créé des tests de certification. Dans leur politique d’élargir leur offre, ils ont fait appelle à mes services pour créé une série de test pour leur certification dans le domaine IIS.
- Création de test pour les débutants
- Création de test pour les développeurs confirmés
- Création de test pour les experts

BNP-PF (Steria – Nantes & Paris) DSXConsult du 16/09/2013 au 30/04/2015 (1 an et 8 mois)
Domaine : Banque

Dans le cadre du projet en forfait SOCRATE de Steria pour Personal Finance, Steria cherchait un expert leur permettant de les accompagnés dans ce forfait.
Dans cette mission, la plus grosse contrainte était la volumétrie de 250 To à reprendre avec des moyens dit standard et non surdimensionnées.

- Audit du code en automatique pour prés de 20 développeurs
- Support aux équipes
- Formation des juniors
- Reprise de certains développements
- Conseil/support aux équipes de développement
- Mise en place du meilleur dossier d’exploitation pour le projet
- Optimisation des traitements et de l’espace disque
- Mise en place d’outils (Génération de package de livraison, ordonnanceur, audit automatique, etc)

BNP (CapGemini - Nantes) DSXConsult du 15/07/2013 au 15/09/2013 (2 mois)
Domaine : Banque

Suite à la perte de leur expert DataStage, l’équipe de CapGemini était en recherche d’une personne pouvant reprendre la mission d’expert sur le projet Phenics. Ce projet était en fin de course mais restait tout de même inabouti.
Dans cette mission, le dossier d’exploitation a été mis en place, certains développements repris pour être optimisés et corrigés.
Ma bonne relation avec les équipes BNP m’a permis de mettre en place les meilleures solutions pour la finalisation de ce projet et la correction des bugs persistants.

- Audit du code
- Reprise de certains développements
- Conseil/support aux équipes de développement
- Mise en place du meilleur dossier d’exploitation pour le projet

ARVAL (Rueil Malmaison – Paris) DSXConsult du 01/07/2006 au 30/06/2013 (7 ans)
Domaine : Location de véhicule

Ayant fait l’acquisition de DataStage PX, la société ARVAL recherchait un expert DataStage pour les aider dans l’élaboration de leur premier projet PX : La mise en place d’un Dataware House.

- Choisir la meilleure architecture pour leur projet.
- Mise en place de la configuration PX la plus adaptée à leur projet.
- Mise en place de la stratégie de développement et de la répartition des tâches.
- Mise en place d’un mode fonctionnement avec le centre de compétence BI de BNP.
- Faire en sorte que leur environnement de développement soit le plus fiable possible.
- Veiller à ce que les plug-in soient tous installés et qu’ils fonctionnent sans problème.
- Intermédiaire avec IBM pour la résolution des cases.
- Conseiller sur le recrutement des développeurs.
- Elaborer la documentation synthétique sur l’utilisation de DataStage PX.
- Commencer le développement des jobs et s’éloigner progressivement pour laisser la place aux équipes de développement.
- Suivre en soutenance les équipes pour assurer une qualité de développement.

Initialisation et intégration d’un centre de compétence. Les missions du CC étaient :
Mise en place de nouvelles normes de développement
Contrôle du respect des normes de développement
Support de niveau 2 aux développeurs
Définition des jalons d’un projet
Aide aux CP pour le suivi des projets
Recrutement des ressources DataStage PX
Suivi des projets dans l’optique du bon respect des dates de livraison

Les projets suivis et initiés sont : STATCO, QUEST, CARBURANT, CUSTOMER REPORTING, JATO, BATCHCLE, COFIPARC, EPYX.

STATCO :
Lot 1 – Projet EFM : Extraction des données depuis des bases Sybase et Oracle pour générer des fichiers plats de façon quotidienne.

Lot 2 – Projet DWH : Intégration de fichiers plats de provenance multiple pour intégration dans un ODS puis un Datawarehouse.

Cette partie comprenait :
 Le contrôle technique des fichiers
 Le contrôle fonctionnel
 L’enrichissement
 L’intégration dans les bases

Bilan : La difficulté de ce projet a été la mise en place de la machine de DEV et le fonctionnement tout nouveau avec la BNP (car les machines étaient hébergés chez eux).
Ce projet a été livré avec 9 mois de retard.

QUEST :
Ce projet était découpé en 3 modules :
 Véhicule catalogue
 Business partner
 Les flux divers

Le principe du projet était la synchronisation unilatérale des données de Sybase vers Oracle et Sybase en mode DELTA.

Bilan : La difficulté de ce projet a été l’utilisation du Plugin Sybase Enterprise qui n’est pas à niveau avec celui d’Oracle.
Ce projet a été livré avec 1 an de retard.

CARBURANT :
Intégration des fichiers pétroliers dans la base Sybase.
P1 : Intégration des fichiers des pétroliers dans un format PIVOT.
P2 : Lancement d’une batterie de contrôles fonctionnels pour la reconnaissance des éléments à facturer.
En cas de problème dans les contrôles d’un fichier, un mail était envoyé automatique au pétrolier avec la liste des anomalies pour correction et réémission.

Bilan : La difficulté de ce projet a été de définir le bon niveau d’information à stocker dans la table PIVOT.
Ce projet a été livré dans les temps et les coûts.

BATCHCLE :
Batch existant depuis 6 ans dans la société. Plus les années passaient et plus le temps de traitement était long.
Le but du projet était l’optimisation technique du projet via DataStage.
Nous sommes donc passés de 5 heures de traitement à 1 heure pour une volumétrie équivalente.

Bilan : La difficulté de ce projet était la lourdeur des scripts/requêtes initialement implémentés. Une autre problématique a été de re-crédibiliser ce Batch qui plantait très souvent et qui gelait la PRODUCTION pendant prés d’une matinée en cas de plantage.
Ce projet a été livré dans les temps et les coûts.

BILLING :
Nouvelle façon de facturer les clients avec la possibilité de regroupement de facture.
Le but du projet était de créer un ‘pont’ entre les différents logiciels de facturation et d’identifier les actions réalisées à chaque passage.

Bilan : La difficulté de ce projet était le challenge de réécrire ce qui avait été fait depuis 3 ans en TibCo en 2 mois sur DataStage PX. … Ouff
Ce projet a été livré dans les temps et les coûts (redéfinis).

JATO :
JATO est le nouveau fournisseur de données du Catalogue Véhicule qui sert de référentiel à ARVAL pour leurs cotations.
La ‘difficulté’ de ce projet était l’intégration de celui-ci dans près de 15 pays et l’utilisation des données transposés de la base JATO.

Bilan : La difficulté de ce projet a été la gestion/synchronisation avec tous les pays pour se mettre d’accord avec la notion de partie core et la partie spécifique.
Ce projet a été livré dans les temps et les coûts.

ARCHIVAGE VCA :
Ce projet avait pour but d’effectuer un archivage (et non une purge) du catalogue véhicule de façon générique, le tout en transactionnel et avec un périmètre redéfini quand le besoin était nécessaire.

Bilan : Pas de difficulté.
Ce projet a été livré dans les temps et les coûts.

TLS : (ou Tools)
Ce projet est la réponse aux besoins mineurs de nos clients. Il avait pour but de descendre une table de façon générique, d’alimenter une table de façon générique depuis un fichier et un masque.

Bilan : La difficulté était de définir l’équilibre entre le générique et le spécifique.
Ce projet a été livré dans les temps et les coûts.

Migration DataStage PX 7.5.3 en 8.5.0.2
Ce projet de migration de 4 pays devait s’effectuer en près de 6 mois maximum pour éviter une trop grosse disparité entre les versions DS de chaque pays.
La migration s’est effectuée sans serveur intermédiaire (Installation/Cohabitation de la V7 et V8 en //)
Le périmètre de migration concernait près de 50 projets.

Ce projet a été livré dans les temps et les coûts.

Environnement : UNIX AIX, LINUX
SGBD : Sybase ASE et Oracle 10gR2
DataStage : PX 7.5.1a, PX 7.5.3, PX 8.5

HSBC (La défense – Paris) DSXConsult du 01/02/2006 au 30/06/2006 (5 mois)
Domaine : Banque

Auditer le code du projet HPR et réalisation d’un compte rendu d’audit au responsable de domaine.
Recadrage de l’architecture du projet HPR :
- Réorganisation de l’ordonnancement du projet
- Réécriture de certains jobs DataStage
- Optimisation des jobs
Réalisation d’un document de préconisation d’architecture sur les différents types de projet DataStage d’HSBC.

Auditer le code du projet RER et réalisation d’un compte rendu d’audit au responsable de domaine.
Déterminer l’ordre d’action des développeurs sur le projet RER
=> Gain de 30% de temps de traitement sur le Projet RER.

Environnement : UNIX AIX
SGBD : DB2 et Oracle
DataStage : PX 7.1

LA POSTE (Malakoff – Paris) DSXConsult du 01/06/2005 au 31/12/2005 (7 mois)
Domaine : Banque

Assurer une expertise sur le projet la poste dans le cadre des développements du lot 2’ (DatawareHouse). (Conseil et Audit)
Assistance aux développeurs pour la mise en place d’optimisation sur les jobs.
Optimisation des jobs de production.
Développement d’un outil VBA pour l’AUDIT AUTOMATIQUE des développements DataStage.
Vérification de la bonne syntaxe des Column Generator
Vérification de la cohérence technique des Remove Duplicate
Vérification de la cohérence technique des Join, des Merge, des Lookup et des Difference
Détection des Transformer inutiles
Vérification des normes de développement

Cette ‘moulinette’ avait également pour but d’effectuer des pré-TI alors que les environnements ne sont pas encore disponibles et de commencer à corriger les problèmes alors que les programmes n’ont jamais pas été exécutés.

Qu’est ce que cette ‘moulinette’ a fait gagner à IBM ?
Un gain de temps considérable
Prévenir des bugs en TI (on estime corriger environ 40% des problèmes avant qu’ils se produisent)
La livraison d’un package normalisé au client

Environnement : UNIX AIX
SGBD : DB2
DataStage : PX 7.1

CEGETEL-SFR (La défense – Paris) DSXConsult du 29/02/2005 au 31/05/2005 (3 mois)
Domaine : Telecom

- La mission consistait à la refonte du SI (passage d’un environnement MVS DB2 vers UNIX ORACLE). L’outil qui a été utilisé pour cette refonte a été DataStage PX 7.5. Mon rôle était dans un premier temps de prendre connaissance des éléments fonctionnels de la migration.

- Dans un deuxième temps, de faire l’audit de tous les jobs déjà créés sous DataStage et d’optimiser les performances des jobs PX avec le parallélisme.

- Dans un troisième temps, d’implanter la gestion du titulaire fictif dans la chaîne de traitement déjà en place.

- J’ai pu participer également à l’élaboration des scripts shells d’encapsulation des jobs DataStage, à l’élaboration des documentations et à la constitution d’un package livrable.

Environnement : UNIX AIX
SGBD : Oracle
DataStage : PX 7.5

CCF (La défense – Paris) DSXConsult du 20/07/2004 au 28/02/2005 (7 mois)
Domaine : Banque

- Intervention en tant que développeur DataStage sur différents projets tel que : SCORING et GESTRO (OPCVM). Analyse des projets, étude de faisabilité, estimation du plan de charge et élaboration des programmes batch de ces applications avec les tests, les optimisations et les évolutions nécessaires pour la mise en production.

- Assistance, accompagnement et audit (du code) de plusieurs équipes :
Projet TIBO
Projet CDR (Centrale Des Risques)

- Les projets GESTRO et SCORING ont été créé sur le type Hew (= Base BDW d’IBM) qui est le modèle standard de HSBC.

- Utilisation de DataStage PX sur Oracle pour les projets GESTRO, TiBO et CDR puis sur DB2 (AS400) pour le projet SCORING.

Environnement : UNIX
SGBD : Oracle
DataStage : PX 7.1

Crédit Agricole (Arras) Expertise Informatique du 01/02/2004 au 30/06/2004 (4 mois)
Domaine : Banque

Cette mission correspond à la suite logique de la mission au CA d’Evreux du fait de leur fusion.

- Passage de compétence sur les domaines dont j’étais responsable au CA d’Evreux.

- Formation des personnes de Nord De France et assistance sur l’ETL DataStage.

- Elaboration des documentations techniques et fonctionnelles des domaines Infocentre et DataWare House.

Crédit Agricole (Evreux) Expertise Informatique du 01/11/2001 au 31/01/2004 (2 ans et 3 mois)
Domaine : Banque

- Participation au projet Bale II (Mac Do) pour CASA. Projet National sur lequel j'ai développé une majeure partie des programmes en DataStage.

- Migration des programmes Infocentre BULL vers IBM. Les environnements de travail ont été TSO, CICS, MVS et DPS 8000, utilisation de DB2, de base DL1 et utilisation de base IDS2. Programmation des extracteurs en DELTA/COBOL avec DB2. La mission a consisté à analyser le projet, à prévisionner la charge de travail pour une équipe de 3 personnes, de le réaliser, de mettre en place une double série de tests et d’établir le dossier de mise en production.

- Conception du cahier des charges d'un DataWareHouse et réalisation des programmes avec DataStage.
Une seconde partie du projet était de créer le cahier des charges avec Nord De France et de réaliser des développements du DataWareHouse avec DataStage V5.2. La réalisation, les tests, la mise en production des programmes et la correction des DCI (Demande de correction d'incident) était une partie intégrante de mon travail.

Environnement : UNIX, Windows
SGBD : Oracle, DB2
DataStage : Serveur & OS390