Gestion de données multimédia cours 1 PDF

GESTION DE DONNÉES MULTIMÉDIA I - INTRODUCTION   1. DÉFINITIONS CLÉS :  Média : Types d’information ou de représentation (texte, image, son, vidéo).  Multimédia : Combinaison de différents médias pouvant être utilisés simultanément. Historique :  Le terme "multi...

GESTION DE DONNÉES MULTIMÉDIA I - INTRODUCTION   1. DÉFINITIONS CLÉS :  Média : Types d’information ou de représentation (texte, image, son, vidéo).  Multimédia : Combinaison de différents médias pouvant être utilisés simultanément. Historique :  Le terme "multimédia" a émergé à la fin des années 1980 avec les CD-ROM, permettant l'utilisation simultanée de plusieurs médias. Aujourd'hui, il désigne toute application utilisant au moins un média spécifique.  2. Croissance des Données Multimédia  Statistiques Actuelles :  Environ 100 millions d'images sont téléchargées chaque jour sur Facebook.  YouTube délivre 2 milliards de vidéos chaque jour, avec 300 heures de vidéo ajoutées chaque minute.  Exemples Concrets :  Flickr et Picasa illustrent l'accumulation massive de contenus générés par les utilisateurs, avec des millions d'images ajoutées quotidiennement.  3. Chaîne du Multimédia  Étapes Clés :  Génération : Utilisation d'outils comme Adobe Creative Cloud pour créer du contenu multimédia.  Représentation et Stockage : Formats variés (JPEG, MP4) et défis liés à la taille des fichiers.  Recherche d’information : Basée sur le contenu ou les métadonnées. Transmission et Distribution :  Les plateformes de streaming comme Netflix doivent gérer des architectures 4. SPÉCIFICITÉS TECHNIQUES DES DONNÉES MULTIMÉDIA  Défis Techniques :  Taille volumineuse des fichiers entraînant des difficultés de stockage et de mise à jour.  Besoin d'une synchronisation en temps réel pour les vidéos et les bandes sonores. Spécificité fondamentale: Sémantique complexe  Exemple Pratique :  La diffusion en direct d'événements sportifs nécessite une coordination  5. APPLICATIONS DES BASES DE DONNÉES MULTIMÉDIA  Domaines d'Application :  E-commerce : Utilisation d'images et vidéos pour améliorer l'expérience d'achat (ex. Amazon).  Systèmes d'Information Géographique (SIG) : Google Maps utilise des images satellites et des données cartographiques pour fournir des informations précises. Films à la demande (Netflix, YouTube) Informations médicales (radiographies, IRM) Archivage (Photos, vidéos, journaux historiques) Applications industrielles et militaires (vidéos de surveillance, drones)  6- BASES DE DONNÉES ET SGBDS 1. Une base de données est un ensemble structuré et organisé de données 2. Le SGBD est le système qui gère la base de données((ajout, mise à jour, recherche de données). Base de données 7- GESTION ET INTERROGATION DES DONNÉES ULTIMÉDIA  Systèmes de Gestion de Bases de Données (SGBD) :  Un SGBD multimédia doit permettre la représentation et l'interrogation de divers types de médias tout en offrant les caractéristiques d'un SGBD classique.  Approches d'Interrogation :  ABR (Attribute Based Retrieval) : Recherche basée sur des attributs spécifiques (ex. "voitures rouges").  TBR (Text Based Retrieval) : Utilisation d'annotations textuelles pour la recherche (ex. "match Chelsea vs Manchester United").  CBR (Content Based Retrieval) : Recherche basée sur le contenu visuel (ex. rechercher par couleur ou forme).  8-CONTENU ET MÉTA-DONNÉES  Les données “brutes” (fichier image, fichier son) provenant d’objets multimédia contiennent des informations sémantiques. On en distingue 1.La donnée brute (image, signal sonore) 2.Les métadonnées décrivant le contenu DEFINITION: Le processus d’abstraction permettant d e décrire le contenu d’objets multimédia par des métadonnées, soit manuellement, soit par des procédés (semi-)automatiques 9- CLASSES DE MÉTADONNÉES  10. MÉTADONNÉES INDÉPENDANTES DU CONTENU Ces métadonnées ne décrivent pas ce que contient l'image, le son ou la vidéo, mais fournissent des informations techniques ou contextuelles sur le fichier. Exemples pratiques : Format de fichier : JPEG, MP4, MP3. Exemple : Une image enregistrée en JPEG ou en PNG reste la même en termes de contenu visuel, seul le format change. Résolution ou dimensions : 1920x1080 pixels, 4K. Exemple : Une vidéo peut être en résolution HD ou 4K, cela ne modifie pas la scène filmée (le contenu). Taille du fichier : 2 Mo, 15 Mo. Exemple : Une même image peut peser différemment selon qu’elle est compressée ou non. Date de création/modification : Quand et où le fichier a été créé. Exemple : Une photo prise le 5 mars 2023 reste une photo de la même  11. MÉTADONNÉES QUI DÉCRIVENT LE CONTENU Ces métadonnées donnent des informations explicites ou interprétables sur ce que le fichier contient en termes visuels, sonores ou sémantiques. Exemples pratiques : Description textuelle : "Une plage au coucher du soleil avec des palmiers." Exemple : Une annotation qui décrit ce que représente une image ou une vidéo. Mots-clés ou tags : "plage", "été", "vacances". Exemple : Sur une plateforme comme Flickr, des utilisateurs peuvent ajouter des mots-clés pour faciliter la recherche. Objet détecté dans l’image : "Chien", "vélo", "arbre". Exemple : Les algorithmes de reconnaissance d'image sur Google Photos identifient des objets dans des photos pour les organiser.  12. Métadonnées dépendantes du contenu Ces métadonnées sont directement dérivées ou calculées à partir des données multimédias elles-mêmes. Elles analysent ou mesurent des caractéristiques intrinsèques du contenu. Exemples pratiques : Couleur dominante dans une image : Bleu (mer), Vert (forêt). Exemple : Dans une recherche par contenu visuel, vous pourriez chercher des images contenant beaucoup de bleu. Formes ou textures : Rond (ballon), rugueux (bois). Exemple : Les systèmes de recherche basés sur le contenu (CBR) utilisent ces caractéristiques pour identifier des objets similaires. Fréquence ou tonalité dans un fichier audio : Analyse spectrale (grave ou aigu). Exemple : Une application comme Shazam détecte des motifs sonores dans une musique pour identifier une chanson. Durée d’une vidéo ou d’un son : 3 minutes, 15 secondes.  13, OUTILS POUR L'ANNOTATION AUTOMATIQUE DES MÉTADONNÉES a. QBIC (Query By Image Content) - Développé en 1995, QBIC permet la recherche d'images par contenu. Il utilise des requêtes basées sur des exemples, permettant aux utilisateurs de manipuler directement les caractéristiques de bas niveau des images (couleur, texture) pour affiner leurs recherches. b. VisualSEEK - Un système développé par l'université de Columbia, VisualSEEK combine les relations spatiales et le bouclage de pertinence pour la recherche d'images. Il permet aux utilisateurs de rechercher des images en fonction de leur contenu visuel et de la similarité avec d'autres images.  OUTILS POUR L'ANNOTATION AUTOMATIQUE DES MÉTADONNÉES c. Google Cloud Vision API - Cet outil utilise l'intelligence artificielle pour analyser le contenu d'images et en extraire des métadonnées automatiquement. Il peut identifier des objets, des lieux, et même du texte dans les images, facilitant ainsi l'annotation automatique. d. Amazon Rekognition - Un service d'analyse d'image et de vidéo qui utilise des modèles d'apprentissage profond pour détecter des objets, des scènes et des activités dans les médias. Il peut également reconnaître des visages et fournir des informations contextuelles sur le contenu. e. Microsoft Azure Computer Vision - Cet outil propose une API qui permet d'extraire des informations à partir d'images et de vidéos. Il peut générer automatiquement des descriptions textuelles, identifier des objets et analyser le contenu visuel. OUTILS POUR L'ANNOTATION AUTOMATIQUE DES MÉTADONNÉES f. Clarifai - Une plateforme d'intelligence artificielle spécialisée dans la reconnaissance d'image et la vidéo. Clarifai offre des outils pour annoter automatiquement les métadonnées en identifiant les objets et les scènes présents dans le contenu multimédia. g. OpenCV (Open Source Computer Vision Library) - Bien qu'il s'agisse principalement d'une bibliothèque pour le traitement d'images, OpenCV peut être utilisé pour développer des solutions personnalisées d'annotation automatique en intégrant des algorithmes de reconnaissance d'image.