Cours Entrepôt de données - Chapitre 1

Cours Entrepôt de données

• Le cours est dispensé par Dr. Salma DAMMAK.
• Le cours est pour les étudiants de deuxième année GLID.
• Le contact email est [email protected].

Bibliographie

• Guide pratique de modélisation dimensionnelle d'entrepôts de données par Kimball, Ralph et Margy Ross. Publié par Vuibert Informatique en 2003.
• Conception et déploiement d'un data warehouse par Kimball, R., Reeves, L., Ross, M., & Thornthwaite, W, publié par Eyrolles en 2000.
• Ressource en ligne : https://learn.microsoft.com/en-us/sql/?view=sql-server-ver16

Chapitre 1 : Système décisionnel

• L'objectif du cours est de comprendre le rôle des systèmes décisionnels.
• Découvrir l'architecture des systèmes décisionnels et les étapes de modélisation.
• Maîtriser les étapes d'implantation d'un système décisionnel.

Contenu

• Introduction au concept décisionnel
• Architecture des systèmes décisionnels (sources de données, processus ETL, entrepôts et magasins de données, exploitation de données).
• Comment implanter un système décisionnel ?
• Évolution des entrepôts de données.

Introduction

• L'entrepôt d'information est le véhicule de communication dans l'entreprise.
• Objectif : produtivité et innovation.
• Permet aux acteurs de communiquer grâce à des ressources matérielles, humaines et logicielles.
• Principales fonctions d'un SI : saisie, mémorisation, traitement, communication.
• Les données d'une entreprise proviennent de sources internes et externes.
• Types de données : bases de données, fichiers, gestion RH.
• Caractéristiques des données : distribuées, hétérogènes, détaillées, peu adaptées à l'analyse, volatiles, surabondance de données.
• Les données représentent une mine d'informations.
• Améliorer les performances décisionnelles de l'entreprise grâce à des analyses des décideurs non informaticiens et non statisticiens.
• Passer d'un système d'information de production à un système de pilotage stratégique.
• L'entreprise a besoin d'un accès rapide et simple à l'information stratégique, une vision transversale de l'information et une capacité à extraire, grouper, organiser et transformer les données.

Définition du concept décisionnel

• Base de données transactionnelle : base de données classique assurant les transactions en temps réel (ajout, mise à jour, suppression).
• Data warehouse : entrepôt uniquement pour des requêtes statistiques sur des données statiques (ou faiblement dynamiques).
• Fonctions d'un DW : aide à la prise de décision (OLAP), intégration et stockage des données métiers, récupération de l'information rapidement et facilement.
• Architecture d'un système décisionnel : data source (1, 2, 3) -> Extract, Transform, Load (ETL) process -> data warehouse -> reporting/Business Intelligence (BI) Visualization.
• Bénéfices : accélérer la prise de décision, améliorer l'efficacité, générer de nouveaux revenus, prendre l'avantage sur la concurrence, résoudre les problèmes plus rapidement, identifier les tendances du marché.
• Intégration des données à partir de sources multiples et hétérogènes est nécessaire.
• Plus efficace en coût d'exécution des requêtes (OLAP).
• OLTP : consulat et mise à jour des données des bases de données.
• OLAP : extraction d'information des différentes sources de données

Définition du Data Warehouse

• Composants de l'Architecture (Diagramme): Les données du SI, ETL, Entrepôt de données, Restitution.
• Sources de données (erp, CRM, rh, finance...)
• Collecte de données
• Nettoyage et traitement
• Data warehouse
• Analyse OLAP / Datamart
• Tableaux de bord
• Data mining
• Restitution
• Reporting

Architecture des systèmes décisionnels

• Les sources de données : ERP, CRM, points de vente (POS), Web, données externes.
• Data Staging Area (DSA): zone de préparation des données, base de données intermédiaire stockant les données issues des systèmes de production opérationnelle sous un format proche de celui des derniers, stockage tampon avant intégration de données dans l'entrepôt.
• Sources de données diverses et disparates, problèmes de qualité.
• Processus ETL : extrait, transforme, charge.
• L'entrepôt de données est un endroit centralisé pour intégrer et historiser les données utiles à la prise de décision.

Evolution des entrepôts de données

• Début des années 90, datamarts, ETL, puis Data warehouse
• 2011, Datalake, Data preparation, transformation, suivi des données; datawarehousing et datamart
• 2020, augmentation des données et des technologies: Data Lake, Data Warehouse, et Lakehouse.
• Data Lake : entrepôt pour le stockage de données brutes, non transformées, non structurées, volumineuses et diversifiées (Big Data, IoT, réseaux sociaux, bases de données relationnelles, semi-structurées, ou non-structurées).
• Lake house : entrepôt de données qui combine les caractéristiques du Data Warehouse et du Data Lake, fusionnant les technologies d'analyse traditionnelles avec des fonctionnalités avancées comme l'apprentissage automatique.

Comment implanter un système décisionnel

• Phases de conception d'un projet de système décisionnel : conception (études des besoins et de l'existant), construction (modélisation), diffusion et administration (implémentation du data warehouse), restitution (implémentation des outils d'exploitation).
• Conception : Définir la finalité de l'ED, les activités de l'entreprise, les données à entreposer, l'aspect technique de la réalisation, le modèle et la démarche d'alimentation des données.
• Construction : Extraction des données, transformation des données (nettoyage, filtrage ...), Techniques d'alimentation et chargement dans les entrepôts et magasins de données, et rafraîchissement.
• Diffusion et Administration : assurer la qualité et la pérennité des données aux applicatifs, gérer les droits d'accès, segmenter les données collectées et modéliser.
• Restitution : process d'entreposage des données, présentation lisible de données, rapports/tableaux de bord, utilisation des outils d'analyse multildimensionnelle et/ou Olap

Nouvelles tendances

• Les tendances mettent en lumière l'importance de l'évolution des entrepôts de données et la complexité croissante des données.
• L'évolution des entrepôts de données vers le Data Lake, le Data Warehouse, et le Lake House afin d'intégrer des données structurées et non-structurées.