Gouvernance de données


Introduction

Pourquoi une application de gouvernance de données me direz-vous ? et bien, pour un objectif très simple: permettre aux clients de créer et d’utiliser un Datamart de gouvernance solide et évolutif via une simple interface Web!

Cela peut paraître si évident mais la réalité est toute autre. Après plusieurs années a travailler chez informatica dans ce domaine j’ai constaté (en 2017) qu’il y avait un réel manque en la matière. Certes des applications comme Collibra (et maintenant Informatica Axon) permettent de faire ce type d’opérations. Mais soyons franc, ces logiciels sont très chers et surtout complexes à mettre en place pour des entreprises à taille moyenne et/ou de petits projets.

J’ai donc décidé à l’époque de créer ma propre application qui aurait pour objectif de collecter des indicateurs (KPI) de qualité de données ainsi des informations sur ces données (métadonnées).

Une fois celà fait l’idée très simple était de consolider tout cela dans une interface simple et épurée : myKiraData était née !

Cette application couvre donc :

  • Un projet complet Informatica DQ pour gérer le chargement et la gestion des données à partir d’Informatica
  • Une application Web entièrement fonctionnelle pour gérer les relations, le contexte, etc.
  • Des dashboards et rapports prêts à l’emploi
  • Beaucoup plus …

myKiraData en bref !

Si on devait résumer l’application en quelques points :

  • Chargez des données déjà calculées par Informatica Data Quality (indicateurs de qualité et profilage) ou par toute autre application. L’objectif ici pourrait également être de tester l’actualisation de la carte de performance à partir d’une application externe (telle que informatica Data Quality).
  • Un DataMart pret à l’emploi
    • Ce Datamart peut aussi être utilisé à partir d’un autre outil de BI (Tableau, Qlik, etc.)
  • Une application 100% web prête à l’emploi
    • Visualisez les résultats des jeux de cartes via des écrans de dynamique
    • Géstion des processus de chargement de DataMart
    • Géstion des contextes, les relations, l’axe DQ, etc.
  • Application intégrée autonome ou analyste
    • Full web et 100% responsive/mobile

Fonctionnalités

  • Page d’accueil et tableaux de bord
  • Détails des termes métiers (métadonnées)
  • Cartographie des métadonnées métier
  • Afficher par catégorie, glossaire et autres
  • Cartes globales
  • Configuration
  • Chargement d’autres métadonnées comme informatica Data Quality ou autre

Utiliser l’application

Après authentification, vous arrivez sur la page d’accueil :

Cet écran affiche en une vue les tendances globales en terme de gouvernance des données en montrant:

  • Les meilleurs et les « pires » termes compte tenu de leur score par dimensions Qualité de données
  • Les KPI globaux
  • Les dimensions de qualité de données par facettes

Jetons un coup d’œil aux indicateurs clés de performance globaux de la gouvernance des données:

Ici vous pouvez voir 4 graphiques montrant les données valides et invalides par:

  • Dimensions de la qualité des données
  • Les sources de données
  • Les contextes
  • Termes métier

Si vous n’êtes pas satisfait de ces graphiques et de cet écran, configurez simplement vos propres tableaux de bord:

Alors maintenant, il suffit de zoomer sur un terme (ou un concept):

Ici, vous avez zoomé sur le terme métier « Contrat ». Vous pouvez voir en un click :

  • Ses scores par dimension de qualité de données, leurs tendances, etc.
  • Son score global (en faisant la moyenne des scores pondérés DQ)
  • Ses définitions, statut
  • Son propriétaire et ses actionnaires
  • Afficher dans un tableau tous les parcours (calculs de score)
  • Afficher dans un diagramme radar la couverture DQ (derniers résultats et actualités)
  • L’arborescence et les relations entre les termes métier (provenant du glossaire métier)
  • Et beaucoup plus

C’est pour le terme métier lui-même, alors jetons un coup d’œil sur son paysage (relations):

En naviguant sur cette carte, vous pouvez suivre les interactions entre ce terme et ses relations.

Configuration

  • Cette application est entièrement configurable
  • Intégration d’Informatica Data Quality
    • Inclus mais non obligatoire (l’application peut être autonome)
    • D’autres données provenant d’autres outils peuvent être intégrées (Collibra ou autre)
  • La configuration couvre au moins:
    • Gestion des dimensions de la qualité des données
    • Gestion de la relation entre: Dimension Term / DQ et métriques
    • Gérer les contextes
    • Gestion des types de termes

Côté technique …

  • Cette application est totalement indépendante!
    • Aucun outil de reporting nécessaire (100% HTML5 / CSS)
    • Peut intégrer toutes les données externes (à partir d’autres outils tels que informatica, collibra, méga, etc.) en utilisant une zone de
    • transfert et un processus d’intégration dédiés
    • Peut fonctionner en mode standalone
  • Techniquement:
    • Compatible mobile (responsive)
    • RESTful / JSON
    • Utilise AJAX et la gestion des tâches en arrière-plan
  • Peut fonctionner sur n’importe quelle base de données SGBDR (standard SQL2)
    • Testé avec Oracle et PostgreSQL.

Regardez l’application en action

Ressources

L’application est Open-Source, forkez la sur GitHub ici

Cette application utilise mon framework d’accès aux données (Open Source aussi) : Joy