Freelances Datastage : Recherchez votre intervenant

Qu’est-ce que DataStage ?

DataStage : outil d’extraction, de transformation et de chargement de flux de données

C’est un outil qui permet de faire l’extraction, la transformation et le chargement de flux de données. Sa mission est simple, il intègre des données de différents types de formats vers d’autres formats. On peut donc y importer des fichiers plats comme CVS pour le transférer vers SQL Server.

Il s’agit de l’un des modules d’intégration les plus performants qui existent. Cela est dû au fait qu’il combine à merveille la simplicité du développement graphique avec la puissance de du développement classique.

Par développement classique, on entend les codes C++ et les requêtes SQL. Cet outil intègre 2 parties distinctes à la partie serveur et la partie cliente. C’est dans la partie cliente (connecté au serveur) que sont développés les traitements ETL.

On y retrouve 4 modules à savoir : Admnistrator, Designer, Director et Manager. Quant à la partie serveur, elle est chargée d’établir une connexion avec les différentes bases de données.

L’origine de DataStage

À l’origine, cet outil ETL appartient au groupe vMark, leader dans la fourniture de logiciels. On doit notamment à vMark la base de données UniVerse. C’est en 1996 qu’apparait le premier ETL de vMark, il s’agit d’une création de Lee Scheffler.

Voyant que le marché des ETL était plein d’opportunité, le vice-président stratégique de vMark Peter Weyman fait appel à Lee Scheffler pour créer l’outil ETL dont le nom de marque est « Stage ».

Ce nom de marque sera utilisé sur une bonne partie des produits vMark allant de l’outil ETL Data au ProfilStage, en passant par QualityStage. Plus tard, l’outil a été acquis par le géant IBM.

Focus sur quelques modules DataStage

Acquisition de DataStage par IBM

Après l’acquisition par IBM en 2005, certains produits ont été sujets à des modifications. Certains produits ont changé de nom tandis que d’autres ont été retirés du marché.

Mais cette acquisition par IBM possède aussi ses avantages notamment au niveau des prix des modules. Il faut savoir que le géant IBM propose des tarifs compétitifs et des options de paiements flexibles pour tous ces produits.

DataStage PX

Le DATASTAGE PX est une version de cet outil ETL qui propose un traitement parallèle ainsi que des travaux ETL parallèles. Ce module est également connu sous le nom d’Enterprise Edition (PX).

Grâce à ce système de parallélisations, ce module est capable de plus grosses volumétries. Sujet à des mises à jour régulier, le DATASTAGE PX possède des versions allant jusqu’à V8.

DataStage BO

DATASTAGE BO est une version de cet outil ETL dédié à la restitution (analyse, reporting). Cet outil supporte tous les environnements afin de répondre aux mieux les besoins.

DataStage TX

DATASTAGE TX (Transformation Extender), appelé autrefois Mercator, est une version de cet outil ETL dédié au traitement des transactions et des messages complexes. Aujourd’hui, il est renommé par IBM en IBM Transformation Extender.

Il est à noter qu’IBM a retiré ce produit du marché depuis 2008. Pour rectifier le problème, IBM propose des produits équivalents selon les versions demandées. Par exemple, pour la version V8 de ce module, IBM propose comme équivalent le WebSphere TX (avec Command Server).

Malheureusement, ce n’est pas disponible pour toutes les versions TX. Par exemple, IBM n’a pas proposé un équivalent à la V8 TX Desktop Edition.

DataStage SE

DATASTAGE SE (Server Edition) est une version de cet outil ETL dédié à la représentation des travaux du serveur. Les premières versions de cet outil ETL étaient concentrées uniquement sur cette tâche.

Ce n’est qu’après que l’outil ETL a intégré des travaux de séquence (sur version 5) et des travaux parallèles (version 6).

Qu’est-ce que Infosphere QualityStage ?

QualityStage : ETL développé par vMark

QualityStage fait partie des produits ETL développés par vMark et qui a ensuite entre les mains d’IBM qui l’a renommé IBM INFOSPHERE QualityStage. Comment pour tous les produits ETL vMark toujours existante, le QualityStage a été intégré dans l’IBM Information Server Platform.

L’INFOSPHERE QualityStage est conçu pour prendre en charge toutes les initiatives de qualité des données et de gouvernance de l’information. La qualité des données est exceptionnelle avec des fonctionnalités multiples telles que le profilage de données et la standardisation.

Les fonctionnalités de QualityStage

Quant à la gouvernance de l’information, cet outil ETL dispose de capacités inter-organisations qui permettent de prendre en charge différentes politiques de gouvernance. Parmi ces autres caractéristiques très pratiques comme le déploiement sur site ou cloud et l’affectation automatique des termes métier.

Afin de maintenir des vues cohérentes des entités clés, cet outil assure plusieurs fonctions dont l’étude, la gestion et le nettoyage des données. Ces entités clés incluent bien évidemment les produits, les clients, les fournisseurs et les emplacements.

Cette grande prise en charge permet de tirer davantage de valeur des actifs informationnels. Cette solution permet de fournir des données qualitatives dans le cadre de différents projets comme l’entreposage, le « Big Data » ou encore le « Business Intelligence ».