Arthur - Consultant ETL indépendant – Expert Talend

Talend Data Integration

Projet : Migration de données métier (CRM + facturation)
• Migrations de données métiers pour 3 entités du groupe Media-Participations (700 M€ CA)
o Conception, développement et validation de 68 Jobs
• Génération de fichiers normés au format .csv, .xls, .xlsx pour intégration dans un logiciel type FIlemaker
• Accomplissements techniques principaux :
o Mise en place de l’architecture des jobs Talend (job ordonnanceur + jobs indépendants pour tests unitaires)
o Développement de routines Java
o Organisation et conduite de points réguliers avec équipes techniques et métier
o Rédaction de spécifications fonctionnelles
o Rédaction de documentations techniques de livraison
• Bonnes pratiques
o Production de rapports d’erreurs à destination du métier (vulgarisation)
o Production de statistiques pour métier et pour debug exécutions successives
o Tenue d’un fichier de recette technique (tableau de bord de suivi)
o Vérification automatisée de la non-régression
o Vérification automatisée pour comparaison des fichiers d’entrée
o Rédaction de documentations techniques de livraison

Poste: Tech Lead Talend / Interventions en MCE et développements ponctuels

Projet : Gestion de l’intégralité des jobs Talend
• Membre de l’équipe dev du groupe PROMAN (4 Md€ CA, 45000 intérimaires en France)
• Maintien en condition opérationnelle
• Nouveaux jobs/refactorisation : Mise en place de l’architecture générique des jobs, ajout d’une alerte en cas de
plantage, harmonisation des logs, développement de routines Java
• Evolution de la sécurité : rotation des clefs d’encryptage Talend (passage en v2), passage des credentials via
fichiers de properties.
• Périmètre métier : génération de facture automatisée (EDI), intégration de relevé d’heures (fichiers Json et XML),
migration de données, transmission des droits intérimaire (tickets restaurant, mutuelle, etc.)
• Ordonnancement des jobs via Windows Task Manager et mise en place de Services avec nssm.
• Bonnes pratiques : utilisation des variables de contexte, génération de fichiers d’erreur, tenue d’un fichier de
recette technique, table de logs

Poste : Développeur Talend Big Data/Oracle SQL Developer (Tech Lead Talend)

Projet : Développement de jobs Talend + restitutions via SAP BO
• Membre de l’équipe Data Science du groupe HOPPS (540 M€ CA)
• Mise en place de tables de données à destination du métier avec informations ciblées (KPI pour analyse et
reporting)
• Alimentation de tables dans base de données Oracle (ODS, DWH, DTM) via flux Talend
• Génération de rapports sur SAP BusinessObjects (Webi)
• Accomplissements techniques principaux :
o Mise en place de l’architecture des jobs Talend (job ordonnanceur + jobs indépendants pour debug)
o Résolution des erreurs, accompagnement de l’équipe sur problématiques Talend, Java, serveur, etc.
o Dynamisation des flux existants:
Page 3 sur 5
o mise en place d’une job pour chargement des variables de contexte via table référence
o mise en place de routines Java
o Optimisation des flux existants (gestion mémoire, parallélisation) (reprise missions Tech Lead
précédent)
o Utilisation des composants ELT pour opérations complexes
o Gestion ordonnancement des jobs via OPCON
o Rédaction de documentations techniques de livraison

Poste : Data Engineer/Responsable migration de données

Projet : Migration de données métier (CRM + facturation)
• Migrations de données métiers pour 4 entités du groupe Media-Participations (700 M€ CA)
o Conception, développement et validation de 76 Jobs
• Génération de fichiers normés au format .csv, .xls, .xlsx pour intégration dans un logiciel de facturation type
Filemaker
• Accomplissements techniques principaux :
o Mise en place de l’architecture des jobs Talend (job ordonnanceur + jobs indépendants pour tests
unitaires)
o Développement de routines Java
o Organisation et conduite de points réguliers avec équipes techniques et métier
o Rédaction de spécifications fonctionnelles
o Rédaction de documentations techniques de livraison
• Bonnes pratiques
o Production de rapports d’erreurs à destination du métier (vulgarisation)
o Production de statistiques pour métier et pour debug exécutions successives
o Tenue d’un fichier de recette technique (tableau de bord de suivi)
o Vérification automatisée de la non-régression
o Vérification automatisée pour comparaison des fichiers d’entrée
o Rédaction de documentations techniques de livraison

Poste : Développeur Talend

Projet : Refactoring et évolution d’un job de génération de fichiers XML (fichiers catalogue produits issus d’un PIM)
• Accomplissements techniques principaux :
o Mise en place de scripts pour accès à des API Web
▪ Optimisation du temps de traitement (parallélisation, utilisation fichier .csv)
▪ Optimisation de la gestion mémoire
o Manipulation fichiers JSON
o Manipulation fichiers XML
o Refonte complète du cœur de génération des fichiers XML
• Bonnes pratiques
o Mise en place de vérifications automatisées
o Dynamisation des jobs via routines Java et fichiers de configuration
o Production de statistiques pour comparaison entre générations successives
o Mise en place de notes et nommage des sous-jobs pour faciliter les maintenances futures

Poste : Développeur Talend

Projet : Production de fichiers pour aide à la gestion d’entreprise
• Accomplissements techniques principaux :
o Déploiement sur serveur linux
o Mise en place de robots d’automatisation (MAJ de prix, MAJ des référentiels produits)
o Mise en place d’une BDD Access et rapports Power BI simples
o Cadrage des besoins
o Rédaction de documentations techniques
o Administration des jobs : intégration des logs dans une base de données
• Bonnes pratiques
o Production de fichiers d’analyse pour aide à la décision du métier
o Dynamisation via fichiers de configuration
o Routines java

Poste : Développeur Talend, d’abord en parallèle de mon activité principale

Missions principales : Refonte de jobs existants, Normalisation, Développement de jobs génériques
➢ Bricomarché : Automatisation du traitement des matrices produits fournisseurs
➢ French Disorder : Mise en place de robots d’automatisation
➢ Sterenn : Téléchargement de médias
➢ Nollet : Refactoring et optimisation des étapes de traitement de fichiers FABDIS
• Accomplissements techniques principaux :
o Développement de jobs génériques pour envoi de mail, génération de logs, vérification de schémas
o Mise en place d’un script de téléchargement de médias pour de gros fournisseurs (Script PHP + Job TALEND)
o Optimisation de la gestion mémoire
o Dynamisation : développement de routines Java, mise en place de fichiers de configuration
o Evolutions sur robots existants
o Mise en place de la génération de matrices complexes (.xlsm)
• Bonnes pratiques
o Nommage des jobs, notes, documentation technique
o Mise en place d’un wiki

Acheteur sous-traitance TCE