Lors de la phase d’ETL, les données sont extraites des systèmes sources pour être regroupées en un ensemble cohérent destiné à l’analyse typiquement stockées dans un data warehouse.
Les Outils
ETL – Traitement des données
Pour des process simples et des sources classiques, il est possible d’utiliser directement des requêtes dans un job du système de base de données. Lorsque les process deviennent plus complexes et que le type des sources est hétérogène, il devient fortement bénéfique d’utiliser un outil d’ETL.
Le plus souvent, les outils d’ETL s’appuient sur trois composants principaux : une interface de développement, un serveur de traitement et une interface de suivi.
Les avantages et fonctionnalités essentiels d’une solution d’ETL sont les suivants :
- Développement visuel plus souple et ergonomique que le développement SQL
- Multiples connecteurs (multisources et multicibles)
- Flux de contrôle (opérations logiques, requêtes, insert/delete…)
- Maintenance et suivi d’exploitation (gestion des caches, des erreurs et logs détaillés)
- Interfaçage avec les systèmes d’exploitation et d’autres logiciels (scripts, emails…)
Quelques exemples de solutions ETL: Informatica, OTIC (ex-Genio), IBM Datastage, Talend, Microsoft SSIS…
Restitution
Une fois que les données ont été traitées et chargées dans le data warehouse, il convient de les mettre à disposition des utilisateurs finaux sous une forme synthétique et exploitable. On utilise pour cela des outils de reporting.
Ces outils vont se connecter au data warehouse et proposer des interfaces et process pour faciliter la création et la distribution d’analyses visuelles avec tableaux, graphes, visualisations. La plupart des outils permettent de joindre des sources de données complémentaires (fichier excel local, csv, google docs…).
La plupart peuvent être utilisés pour de l’analyse explorative/ad-hoc ou en définissant des tableaux de bord qui seront mis à jour automatiquement et régulièrement.
Les fonctionnalités principales des logiciels de reporting sont les suivantes :
- Création de rapports de données (type grille)
- Création de tableaux de bord dynamiques intégrant de multiples visualisations, avec sélecteurs, filtres, invites
- Gestion des rapports, de leur cache et mise à jour
- Mise en place d’abonnements pour mise à jour et distribution des tableaux de bord
- Import et export de données complémentaires à l’analyse
- Restitution sur divers supports (pdf, web, mobile…)
Quelques exemples de solutions de reporting: MicroStrategy, Microsoft Power BI, Tableau, Qlik, Business Objects…
Social media