Cours Entrepôt de données

Entrepôts de données: guide pratique de modélisation dimensionnelle par Kimball, Ralph, et Margy Ross (Vuibert informatique, 2003).
Concevoir et déployer un data warehouse par Kimball, R., Reeves, L., Ross, M., & Thornthwaite, W (Eyrolles, 2000).
Lien vers la documentation Microsoft SQL Server : https://learn.microsoft.com/en-us/sql/?view=sql-server-ver16

Objectif du cours :
- Comprendre le rôle des systèmes décisionnels.
- Apprendre l'architecture des systèmes décisionnels et leurs étapes de modélisation.
- Maîtriser les étapes d'implantation d'un système décisionnel.

Introduction.
Définition du concept décisionnel.
Architecture des systèmes décisionnels :
- Sources de données.
- Processus ETL.
- Entrepôt de données et magasins.
- Exploitation des données.
Comment implanter un système décisionnel ?
Evolution des entrepôts de données.

L'entrepôt de données est le véhicule de communication au sein d'une entreprise.
Il permet aux différents acteurs de véhiculer des informations grâce à un ensemble de ressources matérielles, humaines et logicielles.
Les principales fonctions d'un système d'information (SI) sont : saisie, mémorisation, traitement et communication.
Une entreprise dispose de données issues de son système opérationnel ou de l'extérieur (bases de données, fichiers, gestion RH).
Caractéristiques des données : distribuées, hétérogènes, détaillées, peu/pas adaptées à l'analyse, volatiles, surabondantes.
Les données représentent une source précieuse d'informations pour améliorer les performances décisionnelles.
Répondre à des besoins d'analyse des décideurs non-informaticiens et non-statisticiens (ex: meilleures ventes, meilleurs clients).

Passer d'un système d'information de production à un système d'information décisionnel (SI décisionnel).
L'entreprise a besoin d'un accès rapide et simple à l'information, d'une vision transversale des données et de techniques pour transformer les données.

Base de données transactionnelle (BD): conçue pour les transactions en temps réel (ajouts, mises à jour, suppressions).
Data warehouse (DW): conçue pour l'exécution de questions statistiques sur des données statiques (ou faiblement dynamiques).
Fonctions d'un DW: systèmes décisionnels (OLAP), regroupement et stockage des données de différentes sources, accès et analyse rapide de l'information.

Diagramme illustrant l'extraction, la transformation et le chargement (ETL) des données depuis différentes sources vers un entrepôt de données, puis la visualisation et l'analyse d'intelligence d'affaires (BI).

Améliorer l'efficacité d'exploitation, générer des revenus, prendre l'avantage sur la concurrence, repérer les problèmes, identifier les tendances du marché.
Intégration de données à partir de sources multiples et hétérogènes.
Répondre aux requêtes du système d'aide à la décision.
Plus efficace en coût d'exécution des requêtes.
OLAP (On-Line Analytical Processing).

OLTP (Online Transaction Processing). Les BD opérationnelles sont utilisées en temps réel pour enregistrer les transactions (inventaire, commandes, comptabilité).
OLAP (Online Analytical Processing). Les données sont utilisées pour l'analyse statistique.
Le partage d'une même BD entre OLAP et OLTP présente des désavantages (accès multiples, opérations de mises à jour perturbent les analyses historiques, problèmes de verrouillage, performance).

Diagramme de l'architecture d'un système décisionnel, illustrant les différents composants (données du SI, ETL, entrepôt de données, Datamart, restitution).
- Sources de données (ERP, CRM, RH, etc)
- Espace de préparation des données (DSA)
Sources de données: ERP, CRM, POS, Web (ex : clickstream, données concurrentielles).
Espace de préparation des données (DSA): zone de stockage temporaire des données avant intégration dans l'entrepôt.
Données dans un entrepôt de données (Data Warehouse): stockage centralisé, données intégrées, non-volatiles, historiques.

Modèle de Datamart: subset d'un entrepôt de données, basé sur un sujet spécifique (ex.: ventes ou ressources humaines).
Approche de conception descendante (top-down): conception d'un entrepôt centralisé d'abord, et création de Data Marts plus tard.
Approche de conception ascendante (bottom-up): création de Data Marts indépendants, puis combinaison pour former l'entrepôt.
Outils d'analyse : -Reporting : tableaux de bord, rapports, graphiques.
- Exploration manuelle.
- OLAP.
- Analyse descriptive ou prédictive (fouilles de données).

Phases de conception :
- Conception : étude des besoins et analyse de l'existant, définition de la finalité, gestion du contexte opérationnel de l'entreprise, spécification des besoins (analyse des aspects techniques de l'implémentation, décisions sur le modèle de données, les démarches d'alimentation et le mode de restitution),
- Construction : extraction, transformation et chargement (ETL) des données,
- Diffusion et administration : mise en place de la gestion des droits et accès, segmentation des données pour correspondre à des activités décisionnelles propres à des services spécifiques,
- Restitution : mise en place des outils pour la restitution et l'analyse des informations récoltées (tableaux de bords, OLAP).
Evolution des entrepôts de données :
- Début des années 1990 : Datamarts, BI, Reporting
- 2011 : introduction du Data Lake
- 2020 : introduction du Data Lakehouse
Data Lake : données brutes stockées, non-structurées, non-transformées. Données structurées, semi-structurées et non-structurées peuvent être stockées dans un Data Lake, qui est une solution idéale pour les grandes volumes de données.
Lake House : une solution qui combine les avantages d'un entrepôt de données et d'un data lake, offrant une structure de données hybrides (structurées et non-structurées) pour le stockage organisé et l'analyse.
Le Data Lake est différent des entrepôts de données classiques car il est le centre de tout, pas l'entrepôt de données.