I. Ajouter une source SQL Server #
De très nombreux connecteurs sont disponibles dans la plateforme logicielle Suadeo.
Il est notamment possible de créer des connexions sur des bases de données de type Microsoft SQL Server.
Pour cela il faut se rendre dans le menu catalogue et dans l’onglet source de données.
En cliquant sur le bouton ‘+’, il est possible d’ajouter une nouvelle source de données.
Il faut donc cliquer sur l’icône Microsoft SQL Server.
Il est nécessaire de renseigner un nom de connexion ainsi que les informations de connexion. Notamment le serveur, le compte de connexion et son mot de passe et enfin la base de données.
En complément il est possible de définir des paramètres supplémentaires ‘other’ en cas de besoin comme un encodage particulier.
Par ailleurs, il est également possible de définir une requête ‘startup query’ qui sera systématiquement exécutée (par exemple pour définir un contexte de sécurité particulier).
Enfin, il est possible de tester la connexion pour valider les paramètres avant de sauvegarder la source de données.
Une fois la sauvegarde réalisée, l’onglet description de la connexion s’affiche.
Il est dès lors possible d’ajouter des descriptions en plusieurs langues.
Le deuxième onglet affiche la traçabilité qui sera complétée automatiquement au fur et à mesure que la connexion sera utilisée dans des données d’usage notamment.
L’onglet schéma permet de lister les différentes tables accessibles au travers de la connexion.
Cet écran permet donc de lister les différentes tables ainsi que la structure de chacune d’entre elles.
Il est possible de rechercher des colonnes et/ou des tables avec le moteur de recherche.
Il est évidemment possible d’avoir un aperçu des données en utilisant le bouton aperçu.
Le profiling des données est possible pour chaque table :
- Soit manuellement, en cliquant sur le bouton dédié ;
- Soit automatiquement, en utilisant une planification.
A partir de là, il est possible d’avoir une répartition des données en cliquant sur l’une des colonnes de la table.
Cet écran permet également de changer :
- L’alias de la colonne ;
- Le Type et la taille des données ;
- La description de la colonne ;
- Les tags associés à cette colonne.
En complément, il est possible d’associer des termes métier par contexte, mais également de paramétrer le pré-lineage avec une source de donnée déconnectée par exemple.
Ne pas oublier de sauvegarder en cas de modification.
Enfin, il est donc possible d’afficher le lineage complet de la colonne (pré-lineage et post-lineage), c’est-à-dire, d’où vient la donnée et comment elle est construite mais également où elle est utilisée et par combien de personnes. 
Enfin le dernier onglet de la connexion permet de créer ou importer une documentation.
II. Ajouter une source PostgreSQL #
La création d’une connexion PostgreSQL reprend des paramétrages similaires à la création d’une connexion SQL Server.
Il est notamment nécessaire de définir les éléments suivants :
- Serveur ;
- Port ;
- Schéma ;
- Nom d’utilisateur ;
- Mot de passe ;
- Base de données ;
- Other (autres paramètres tel que l’encodage ou le pooling par exemple).
Suite à la sauvegarde, l’écran description s’affiche également.
Dans le cas où la connexion est déjà utilisée, la traçabilité affiche les liens d’utilisations et le nombre de personnes habilitées.
De même que la traçabilité au niveau d’une table permet également de suivre son utilisation.
Pour tous les objets Suadeo, et donc également les sources de données, des écrans dédiés à l’affichage des propriétés sont disponibles.
Ces écrans permettent également d’accéder aux paramétrages de la sécurité de l’objet.
Mais aussi enfin à toute la partie audit de modification de l’objet. Cela permet donc de suivre les évolutions des modifications et l’auteur des modifications.
Outre le suivi des évolutions, il est également possible de restaurer n’importe quelle version de l’objet pour le retrouver à l’état dans lequel il était à la sauvegarde précédente.
III. Ajouter une source CSV #
Dans la plateforme logicielle Suadeo, il existe de multiples connecteurs de type base de données, big data, ERP, financiers, réseaux, etc. mais également pour des fichiers (plats, Excel, CSV, etc.).
Par exemple avec des fichiers CSV, ils peuvent contenir des données, ou simplement des noms de colonnes.
Dans ce cas, il est donc possible de créer une source de données sur un ou plusieurs fichiers CSV.
Lors de la création de la connexion, il faut choisir le connecteur CSV.
Et sélectionner le ou les fichiers CSV à utiliser.
Il est possible de changer l’interprétation des fichiers si nécessaire (virgule ou point-virgule, entête de colonne ou non, etc.)
Les différents sont importés (avec les données si elles sont présentes, sans sinon).
A la sauvegarde, l’écran de description est également affiché.
De même que les éléments de traçabilité ou de documentation.
L’écran de schéma indique donc les différentes tables (les différents fichiers) qui ont été intégrés.
Si des données sont présentes, il est possible de profiler les données et pour Suadeo de déterminer le type des données, sinon tout sera considéré en chaine de caractères.
Comme pour une source de données de type base de données, il est donc possible d’avoir le lineage complet des données de même que l’association à des termes métiers par exemple ou bien l’aperçu des données.
Il est à noter également que si les fichiers CSV contiennent des données, il est également possible de créer des données d’usage et de faire des tableaux de bord ou des rapports sur ces fichiers CSV sans avoir nécessité à les faire persister dans une base de données quelconque.
IV. Ajouter une source déconnectée #
En complément des sources de données en mode fichier, il est également possible d’intégrer des sources décrivant un modèle de données sans donnée et sans accès aux sources. Dans ce cas-là, Suadeo met à disposition un connecteur spécifique : Source non connectée.
Il suffit donc de créer une source de ce type et d’importer un fichier de description de modèle.
Un exemple de structure peut être téléchargé directement dans la plateforme pour comprendre et préparer le modèle de document attendu.
Voici la structure du fichier à importer :
- Nom de la table : TABLE_NAME ;
- Nom de la colonne : COLUMN_NAME ;
- Type de la donnée (int, date, datetime, float, varchar, etc.) : DATA_TYPE ;
- [Optionnel] Taille de la donnée (dans le cas de donnée dynamique) : DATA_TYPE_SIZE ;
- [Optionnel] Alias fonctionnel de la colonne : ALIAS ;
- [Optionnel] Description de la colonne : DESCRIPTION ;
- [Optionnel] Tags de la colonne (multiples valeurs séparées par ||) : TAGS.
Il est possible d’importer ce fichier manuellement au travers de la plateforme Suadeo. Mais il est également possible de passer par un mode API (par exemple via une commande CURL) afin d’automatiser cet import de données.
En complément, il est possible de choisir quelle source va être décrite, par exemple, Qlik Sense, Cognos, DigDash, Power BI, etc. Cette information n’est pas obligatoire, il peut bien évidemment s’agir simplement d’une source déconnectée sans application externe.
Une fois le fichier chargé et la source sauvegardée, l’écran de description affiche les détails de la connexion.
Un onglet (log) est également disponible. Il contient des informations concernant le statut du chargement du fichier et permet de détailler le nombre de tables et de colonnes chargées et éventuellement les erreurs de chargement.
V. Associer des tags aux données #
L’onglet schéma permet donc de lister les différentes tables et leurs colonnes. Mais également un accès direct à la source (via un lien ‘consulter’) ou bien la visualisation des tags positionnés.
Il est important de noter qu’il est possible de positionner plusieurs tags par colonne (en utilisant le double pipe ‘||’ dans le fichier plat). Mais surtout, si le tag n’existe pas, dans la plateforme Suadeo, il est automatiquement créé au moment de l’import du fichier de structure.
Bien évidemment il est également possible d’ajouter des tags manuellement sur une colonne.
Il est donc possible d’ajouter ou de supprimer des tags manuellement mais également de façon automatique dans les données qui sont chargées depuis le fichier de description de modèle.
À tout moment, il est possible de connaitre l’utilisation des tags dans l’écran dédié du catalogue (cf. la documentation dédiée à la gestion des tags).
VI. Associer les termes et les contextes métiers aux données #
Dès lors que plusieurs sources existantes et notamment une source déconnectée, il peut être intéressant de faire des liens entre les sources afin d’aider à la compréhension de la construction d’une donnée (pré-lineage) en complément de son utilisation (post-lineage).
Dans ce cas, dans le schéma de la source de données que l’on veut documenter, il suffit de se rendre dans les tables à modifier et de sélectionner les colonnes à contextualiser.
Par exemple, en voulant associer le client_id de la table bk_individu pour la connexion SQL Server Banque, à la source déconnectée Qlick Sense offline, sur la table affectation du personnel sur la colonne ref_personnel.
Ce qui donne le pre-lineage suivant :
Ou bien avec l’association du montant de la table bk_operation pour la connexion SQL Server Banque, à la source déconnectée Qlick Sense offline, sur la table article sur la colonne prix_euro.
Ce qui donne le pré-lineage suivant :
