Étant donné que l'intégration de données au sein d'une entreprise consiste à effectuer des tâches complexes, seul un professionnel dans le domaine pourra le faire. Il s'agit du consultant Talend. Il devra être en mesure d'utiliser les différents outils courant dans l'intégration des données comme :
Par ailleurs, la mission du consultant en intégration de données est assez large. En effet, le consultant Talend intervient pour analyser et résoudre des problèmes ponctuels. Il a pour objectif d'améliorer le fonctionnement et l'intégration des données, essentielles au développement de l'entreprise en question, et ce, dans n'importe quel secteur d'activité.
Pour ce faire, le consultant Talend commence avant tout par analyser les besoins ainsi que les attentes de ses interlocuteurs tels que les responsables, les développeurs, les salariés utilisateurs des données, etc.
Suite à un audit, le consultant Talend instaure des outils innovants pour booster les performances de l'entreprise en fonction de ses objectifs commerciaux. Une fois que l'ensemble des dirigeants de l'entreprise approuve l'utilisation de ces nouveaux outils, il va commencer par l'installation et le paramétrage.
Enfin, le consultant Talend va donner une formation spécifique au personnel de chaque département sur l'utilisation de ces nouveaux logiciels.
Le consultant Talend, doit impérativement disposer d'une connaissance solide du monde virtuel. Il se doit de maitriser un large panel d'outils nécessaires à la transformation des données vers tous les formats existants.
Aussi, le consultant en intégration de données, connu aussi sous le nom de consultant décisionnel, doit également maîtriser les outils de Business Intelligence tels que SSIS, SSRS, JAVA, SAP BO, Oracle, Datastage, Informatica, etc.
Par ailleurs, le consultant Talend doit également connaitre les techniques de gestion des bases de données et les outils de reporting.
En outre, pour exercer le métier de consultant Talend, il doit également être titulaire d'un Bac + 5 en informatique et doit avoir une notion en administration d'entreprise. Il n'est pas rare de trouver des sociétés qui embauchent des consultants ayant une licence professionnelle.
Toutefois, il est impératif que ces derniers disposent d'une expérience pertinente dans le domaine étant donné que la performance de l'entreprise va en dépendre.
Le terme Talend est souvent employé dans les institutions et les entreprises de grande envergure pour booster leur performance. A titre informatif, Talend est un ETL qui signifie Extract Transform and Load.
Talend correspond donc à un procédé qui vise à intégrer des données. Le processus consiste à extraire des données d'une source puis les combiner afin de les unifier. Les données peuvent provenir d'un service web, d'une base de données d'un fichier csv, etc.
Aussi, le principe vise à importer les données extraites en passant par le mapping puis à les transformer dans un gisement cible, plus accessible aux différents utilisateurs. Ces données fraichement intégrées sont donc facilement exploitables.
Pour une entreprise, mettre en place cette nouvelle initiative représente un réel potentiel face à l'explosion des données qui entre dans leur système ainsi que l'avènement des nouvelles technologies comme le big data ou aussi le cloud. Le procédé d'intégration des données et leur exploitation sont un véritable outil stratégique pour la prise de décision et l'augmentation des avantages concurrentiels.
Un point important qu'il faut noter, c'est que dans le domaine de l'intégration des données, il n'y a pas de processus d'approche standard. Dans la plupart des cas, le client envoie directement une requête au serveur principal et c'est ce dernier qui va se charger d'importer les data à partir d'une source interne et une source externe.
Les entreprises, quel que soit leur secteur d’activité, disposent d’une quantité importante de données. Cependant, elles peuvent avoir quelques difficultés à exploiter ces données. En effet, celles-ci proviennent généralement de différentes sources.
Par exemple, dans la branche marketing, les données qui sont destinées à être combinées peuvent être dispersées dans le système CRM, les applications orientées clients, le système de ventes, le système de gestion des clients, des partenaires, du trafic Web, etc.
Pour des besoins stratégiques et décisionnels, l'entreprise doit rassembler l'ensemble de ces données. Mais étant donné la difficulté de la tâche, il faudra établir un plan d'action et se baser sur des pratiques d'intégration des données définies. Seul un professionnel dans le domaine pourra être en mesure de prendre en charge cette tâche.
Opter pour la mise en place de Talend dans l’entreprise permet donc d’unifier les sources de données. Par ailleurs, les employés dans toutes les branches de la société, même ceux qui sont dans d'autres régions ou d'autres pays, auront la possibilité d'accéder librement à toutes les données.
Un autre avantage de la mise en place du processus talend, c'est le fait de gagner plus de temps dans la préparation et la prise de décision. Les employés n'auront plus besoin d'établir des relations complètes pour établir un rapport.
L’utilisation de Talend permet également de diminuer le risque d’erreurs, puisque tous les employés, dans tous les départements ont accès aux mêmes données unifiées.
Expérience professionnelle
CNAV ASSURANCE RETRAITE | Expert ETL Talend | Depuis Oct. 2023
Projet "Contacts Entrants" - Architecture Data Hybride & Analytics
- Conception et mise en place d'une architecture hybride pour le traitement des données :
• Pipeline temps réel pour les interactions client immédiates (chatbot, appels)
• Pipeline batch pour les données historiques et agrégations
• Mise en place d'une architecture data en couches :
• Zone de landing pour l'ingestion temps réel (Kafka)
• ODS pour la persistance des données brutes
• Zone de staging pour la conformité et la qualité
• Data Warehouse pour les données historisées
• Data Marts métiers pour les cas d'usage spécifiques
- Implémentation des flux temps réel :
• Mise en place des topics Kafka pour l'ingestion des données chatbot et appels
• Développement de jobs Talend streaming pour le traitement en temps réel
• Implémentation de mécanismes de monitoring et alerting
• Gestion des erreurs et reprises pour les flux temps réel
- Développement des traitements batch :
• ETL pour la consolidation quotidienne des données
• Processus d'historisation et d'archivage
• Agrégations et calculs d'indicateurs métiers
• Jobs de réconciliation données batch/temps réel
- Mise en place de la gouvernance des données :
• Implémentation de contrôles qualité automatisés
• Traçabilité des transformations (lineage)
• Monitoring des SLAs et performance des flux
• Tableaux de bord de supervision des flux temps réel et batch
- Mise en place d'une chaîne CI/CD complète :
• Versioning des jobs et routes dans Git
• Tests automatisés (unitaires et intégration)
• Déploiement automatisé sur les différents environnements
• Monitoring des déploiements
Environnement technique : Talend Cloud v8.0, Apache Kafka, Oracle, PostgreSQL, Github
Enterprise, Kubernetes, Grafana, Draw.io, MagicDraw, JIRA
OPCO EP | Consultant Talend DI/ESB/Big Data | Déc. 2019 - Sept. 2023
Projet de Refonte SI - Integration Salesforce
• Migration complète de Talend 6.2.2 vers 7.3.1
• Installation et configuration des environnements :
✓ Nexus Repository Manager
✓ Talend Administration Center
✓ Talend ESB
✓ Service Activity Monitoring
✓ Job Server
• Conception et implémentation de services REST/SOAP
• Mise en place de routes Camel pour l'orchestration des services
• Développement de services d'intégration Salesforce
• Implémentation de mécanismes de retry et de gestion d'erreurs
• Développement avec TOS Big Data
• Intégration avec l'écosystème Kafka
• Mise en place de pipelines de traitement MongoDB
• Optimisation des performances des traitements Big Data
• Élaboration des bonnes pratiques de développement
• Mise en place des procédures de tests unitaires
• Création des modèles de documentation
• Standardisation des processus de déploiement
Environnement technique : Talend 7.3.1, Java, Postgres, ActiveMQ, Camel, Oracle,
Snowflake, Salesforce, Linux, Karaf, TAC, JIRA, SoapUI, Git, Nexus, Postman, MongoDB,
Kafka, GitLab, Rancher
SOCIETE GENERALE | Consultant Talend Big Data | Juin. 2019 - Nov. 2019
Projet TOM-FIR (Target Operating Model Finance & Risk), un programme réglementaire
répondant aux recommandations de la BCE. Le programme a établi une collecte centralisée
des données sur la plateforme Big Data (Hadoop).
• Rédaction et validation des spécifications fonctionnelles détaillées.
• Contrôle de la qualité de la donnée.
• Développement des flux d’alimentation.
• Gestion des environnements de développement.
• Réalisation des tests unitaires.
• Suivi et gestion des anomalies et incidents de production.
• Génération des indicateurs de liquidité quotidiens à j+2 (j+6 mensuels -auparavant)
• Rédaction d'une rétro-documentation des jobs Talend.
Environnement technique : Talend Tis 6.5 Big Data, Hive, Git, HDFS, Hue, Shell,
Hortonworks, MobaXterm, JIRA.
BANQUE POSTALE | Consultant Talend DI | Dec. 2018 - Mai. 2019
Refonte de la (BSD) Banque Solde Détaillés (BSD) et migration des données SFDH vers la
nouvelle base. Préparation des reportings pour la Banque de France.
• Estimation de charge et préparation du planning prévisionnel.
• Analyse et rédaction des spécifications fonctionnelles et techniques détaillées.
• Architecture et Design des jobs.
• Réalisation des POCs d'intégration.
• Développement, optimisation des jobs de reporting et d'alimentation.
• Maintenance corrective et supervision des jobs.
• Rédaction des documents de bonnes pratiques et des normes de développement.
• Écriture de requêtes SQL complexes.
Environnement technique : Talend 6.2, Java 8, Git, SQL, Redmine, Oracle, Postgres, SVN,
Confluence.
GROUPE FONCIA | Consultant Talend DI | Avr. 2018 - Nov. 2018
Projet de migration des données des cabinets acquis par Foncia
• Conception de la base de données Pivot hébergeant les données des cabinets acquis.
• Participation aux réunions d'estimation des charges.
• Analyse des...