Projet : CIMO
Par confidentialité, les données montrées ci-dessous ont été créées, anonymisées, modifiées et/ou floutées!
Description
Axé autour de la Business Intelligence, le projet en collaboration avec le Centre Industriel de Monthey nous a vu découvrir de nouveaux aspects de notre domaine. Notre client, ressentant un besoin de mettre à jour son système de gestion de données, a listé plusieurs éléments dans notre cahier des charges :
- Une proposition d’architecture de son système de gestion de données
- Le reporting d’incidents à faible impact
Reporting
Dans la première partie du projet nous avons établi, défini et utilisé plusieurs KPI. Ayant ainsi commencé à cerner les besoins du client liés au reporting nous avons commencé à prendre en main l’outil PowerBI à travers des tutoriels et des exercices faisant usages de données fournies par CIMO.
Ces données, avant de pouvoir être utilisées, ont dû être modélisées dans un schéma en étoile.
Par confidentialité, les données ont été floutées
Une fois la modélisation terminée, nous avons pu réaliser des rapports, en respectant les résultats des anciens rapport qui avaient été créés à l’aide de l’outil Qlik.
Le rapport que j’ai créé
Afin de réaliser les rapports, nous avons du prendre en main des éléments tels que :
- Power Query : A l’aide de cet outil incorporé dans PowerBI il est possible de transformer les données existantes ou de les utiliser pour en créer de nouvelles qui seront utiles dans le reporting. Cette étape devrait se passer via un outil ETL, plus spécifiquement dans la partie “Transform”. Mais à des fins de formation et vu la source de données fournies par le client, nous avons du le réaliser ici.
Liste des étapes que j’ai ajouté afin d’avoir les données souhaitées
- DAX : Le langage DAX permet de créer et modifier des tables de données. Nous en avons fait usage afin de créer la table CALENDRIER qui permet de relier les données à des dates et de les représenter dans le temps et lors de la création de mesures permettant d’analyser les données sous différents angles.
Mesure utilisée dans mon rapport
Proposition d’architecture
Arrivée en fin de projet, la proposition d’architecture n’a pas encore entièrement abouti. La présentation du résultat final du projet se fera en début juillet, après la fin du semestre. En effet suite à plusieurs soucis d’organisation datant du début du projet, ce-dernier n’a que pu débuter tardivement et les délivrables ont également dû être repoussés. Les documents ci-dessous ne sont pas les documents finaux et seront encore modifiés.
Afin de répondre aux besoins du client nous leur avons fourni une première présentation d’une architecture hybride possible, faisant usage d’un data lake et d’un data warehouse. Ces documents sont disponibles ici.
Dans cette présentation je me suis chargé de la partie “Data Warehouse” où j’ai expliqué le concept, ses composants et ses avantages avant de le comparer aux Data Lakes.
Comparaison Data Lake vs Data Warehouse
Finalement j’ai synthétisé les avantages apportés par une architecture hybride contenant un data lake et un data warehouse.
Avantages d’une architecture hybride
L’architecture hybride se décompose en plusieurs étapes :
- Un processus ELT extrait et charge les données sources dans
- Un data lake ou des data analysts peuvent utiliser des outils de machine learning
- Un processus ETL extrait, transforme et charge les données non-structurées en données structurées dans
- Un data warehouse où des business analysts peuvent utiliser les données structurées pour faire du reporting et des dashboards
Modèle d’une architecture hybride
Pour de plus amples informations je vous invite à consulter notre rapport de projet.