TP3 Data Warehouse PDF

UNIVERSITE CADI AYYAD Année universitaire : 2024-2025 ENSA de Marrakech Génie Informatique TP3: Data Warehouse Utilisation avancée de Talend I. Conception & Implémentation de la base de don...

UNIVERSITE CADI AYYAD Année universitaire : 2024-2025 ENSA de Marrakech Génie Informatique TP3: Data Warehouse Utilisation avancée de Talend I. Conception & Implémentation de la base de donnée comptoir. 1. La Création & l’octroi des privilèges nécessaires d’un nouvel utilisateur appelé comptoir  Commencer par créer un nouvel utilisateur Create user comptoir identified by comptoir;  Attribuer à comptoire les droits d’un dba pour administrer le schéma comptoir Grant dba to comptoir  Connectez-vous en tant que comptoir pour test Connect comptoir/comptoir 2. Implémenter le modèle conceptuel de la base de données comptoir - Connectez vous sur sql developer en tant que comptoir. - Implémenter le schéma suivant :(Tables>>new Table) Respecter exactement la structure de la base de donnée, les noms des champs leurs types, afin que l’alimentation automatique ne présentera aucun problème. 3. Alimentation de la base de données Toujour sur sql developer, alimenter la base de données en exécutant le fichier joint comptoir_data.sql Il est préférable d’alimenter les table de la base une par une pour réagir efficacement s'il y a des problèmes. II. Création d’un entrepôt de donnée pour analyser les Ventes. Vous pouvez omettre cette phase si vous utilisez Talend comme ETL parce que ce dernier crée automatiquement à travers le job les tables de destination. On créé un entrepôt de données, pour analyser les ventes de cette société, l'entrepôt ici représente la structure qui sera alimenté par des jobs talend. Reproduire via Oracle sql modeler le modèle suivant: En utilisant le ruban horizontal de oracle data modeler, créer une table renseigner les différents champs de chaque table, via le menu vertical de création des table préciser les clés primaires et celles étrangères. Générer le DLL correspond pour créer l'entrepôt, un aperçu est donnée ci dessous. Le Job Ventes Vous réaliser le job ventes suivant : Contenant les sources PRODUITS, COMMANDES (Principal=Main) , CLIENTS, DETAILS_COMMANDE. Ensuite via le composant tMap on va générer un flux représentant les ventes de la structure suivante  Ce flux contient les 2 variables de transformation var.Montant et Var.Mois_Commande Montant =Details_commande.QUANTITE*produit.PRIX_UNITAIRE représente le montant de la commande Mois_Commande = TalendDate.formatDateInUTC("MM",commande.DATE_COMMANDE) extrait le mois à partir de la date des commandes. Gestion des erreurs : S’il y a un problème lors de l’extraction des enregistrements à partir des sources un fichier délimité prévu recueille les enregistrements non extraits (nécessitant un traitement spécial). Le fichier ErrorReject aura la structure suivante Joindre les 4 tables de source en précisant les 2 options suivantes Deux sorties du flux sont prévues : une relative à Error reject, et l’autre relative à une création et alimentation de la table Vente dans la base comptoir. Le composant tOracleOutput est configuré comme suit (utiliser la métadata) NB : la table sera créé si elle n’existe pas (mention d'omission antérieur) sinon, si elle existe, elle sera détruite et recréer à chaque lancement de ce job. Agrégation des ventes Utiliser le composant Talend tAggregateRow pour agréger les donnée afin d’avoir des informations qui aident à la décision. On va agréger les informations stockées au niveau de la table Ventes par rapport à la somme des montants des commandes on les groupant par mois et par produit. Le composant Talend taggregateRowest paramétré comme suit : L'ordonnancement. Finalement ordonnancer la sortie de l'agrégation selon le mois et le produit via le composant Map tSortRow qui est configuré comme suit: La sortie sera redirigée vers la console Talend. 784 enregistrements sont affichés de la forme (mois, produit, chiffre d’affaire par produit)