Big Data et HDFS

Des ensembles de données gigantesques et complexes, dépassant les limites des logiciels de gestion traditionnels.

Le terme "Big Data" fait référence à des ensembles de données volumineux, souvent mesurés en téraoctets ou pétaoctets.

Les Big Data proviennent de différentes sources et sont disponibles dans divers formats, comme les bases de données, les fichiers CSV, les vidéos, les photos, etc.

La vitesse mesure la rapidité à laquelle les données sont générées et doivent être traitées. Pensez à l'Internet des objets (IoT) qui produit des données en temps réel.

La véracité concerne la fiabilité des données, leur exactitude et leur cohérence.

Le cinquième 'V' des Big Data, la valeur, représente le potentiel à extraire des insights et des connaissances de ces ensembles de données.

L'accumulation progressive des informations numériques et l'avancée des technologies de stockage et de traitement ont mené à l'émergence des Big Data.

La puissance de calcul accrue, les méthodes avancées de traitement de données comme le machine learning ont mis en évidence l'importance des Big Data dans de nombreux domaines.

Le traitement parallèle utilise plusieurs processeurs ou cœurs pour effectuer des tâches en parallèle.

Tous les processeurs peuvent accéder à la même mémoire globale, permettant le partage de données entre les processus.

Le traitement distribué utilise un réseau d'ordinateurs connectés pour exécuter des processus sur différents systèmes.

Chaque ordinateur du réseau dispose de sa propre mémoire locale, les données sont réparties sur le cluster.

MapReduce est un modèle de programmation pour le traitement de données à grande échelle, popularisé par Google.

Apache Hadoop est une implémentation open source de MapReduce, largement utilisée dans l'industrie.

Apache Spark est un framework pour le traitement de données à grande échelle, proposant une alternative plus rapide à MapReduce.

Les systèmes distribués sont souvent plus faciles à scaler en ajoutant plus d'ordinateurs au réseau.

Le Hadoop Distributed File System (HDFS) est un système de fichiers distribué conçu pour fonctionner sur du matériel informatique standard. Il est utilisé pour stocker de grands fichiers avec des schémas d'accès en streaming à haute bande passante. Il convient particulièrement aux volumes massifs de données non structurées et permet le traitement analytique à grande échelle.

HDFS divise chaque fichier en blocs de données (par défaut 128 MB ou 256 MB, mais configurable) et distribue ces blocs sur plusieurs nœuds. Cela permet un traitement parallèle des données, améliorant les performances.

Chaque bloc de données est répliqué sur plusieurs nœuds du cluster (par défaut, 3 fois). Cela garantit une haute disponibilité et une résistance aux défaillances.

HDFS est conçu pour fonctionner sur du matériel standard et pour être facilement extensible en ajoutant des nœuds au cluster.

Les bases de données NoSQL (Not Only SQL) sont une large classe de systèmes de gestion de bases de données qui diffèrent des bases de données relationnelles classiques dans leur façon de stocker et de gérer les données.

Les bases de données NoSQL ont été conçues pour surmonter les limitations des bases de données SQL, notamment en termes de scalabilité, de performance et de flexibilité dans la modélisation des données.

La capacité à transformer les données en valeur. Cela signifie que les données doivent conduire à une valeur ajoutée pour l'entreprise, que ce soit sous forme d'informations, de prises de décision ou d'amélioration de l'expérience client.

Les bases de données NoSQL sont utilisées pour gérer des volumes importants de données et pour des données qui n'ont pas de structure prédéfinie ou fixe.

Les SGBD NoSQL supportent l'ajout de nouveaux champs ou types de données sans affecter les informations existantes.

Les SGBD NoSQL peuvent être répartis sur plusieurs serveurs, augmentant ainsi leurs capacités.

Les SGBD NoSQL gèrent plusieurs modèles de données, comme les documents, les graphes, les paires clé-valeur et les colonnes larges.

Les systèmes NoSQL offrent des fonctionnalités de réplication et de distribution des données pour garantir une disponibilité et une fiabilité maximales.

Le traitement parallèle et distribué sont des techniques pour exécuter des opérations de calcul ou des traitements de données plus efficacement. Ils utilisent plusieurs processeurs ou ordinateurs pour partager la charge.

Un framework de traitement de données parallèle et distribué pour le traitement de grands ensembles de données. Il divise le processus en deux phases :

• Map: le framework prend en entrée des paires clé-valeur et produit un ensemble intermédiaire de paires clé-valeur.
• Reduce: les sorties de la phase Map sont regroupées par clés et passées à la phase Reduce, où les valeurs de chaque clé sont agrégées pour produire un ensemble de sortie plus petit et souvent, plus significatif.

Un framework de traitement de données plus récent qu'Hadoop MapReduce, offrant des performances améliorées, une plus grande flexibilité et une meilleure facilité d'utilisation.

Une méthode de virtualisation qui permet de déployer et d'exécuter des applications dans des processus isolés appelés conteneurs. Chaque conteneur partage le même système d'exploitation hôte, mais fonctionne comme une entité distincte avec ses propres ressources.

Les conteneurs sont légers car ils partagent le noyau du système d'exploitation hôte. Ils sont portables car ils encapsulent l'application et son environnement, permettant de les déplacer facilement entre différents systèmes.

Docker est une plateforme de conteneurisation populaire et open-source qui simplifie la création, le déploiement et l'exécution d'applications dans des conteneurs.

Docker est une plateforme de conteneurisation qui permet de créer, d'exécuter et de partager des applications dans des conteneurs. Il utilise des images Docker, qui sont des templates contenant tout ce dont une application a besoin pour fonctionner.

Un Dockerfile est un fichier texte qui contient les instructions pour construire une image Docker. Il indique les étapes nécessaires pour construire un environnement d'application, y compris les dépendances et les configurations.

Une image Docker est un fichier qui contient tout ce dont une application a besoin pour fonctionner, y compris le code source, les dépendances, les configurations et le système d'exploitation.

Un conteneur Docker est un package qui contient tout ce qui est nécessaire pour exécuter une application. Cela inclut le code, les dépendances et les configurations.

L'isolation est une caractéristique clé des conteneurs. Les applications dans des conteneurs distincts sont isolées les unes des autres, ce qui signifie qu'elles ne peuvent pas interférer avec le fonctionnement des autres applications.

Un service cloud est un type de ressource fourni sur Internet par des fournisseurs de services cloud. Ces services offrent un accès facile, évolutif et à la demande à des ressources informatiques.

IAAS signifie Infrastructure as a Service. Ce modèle fournit des ressources informatiques telles que des serveurs virtuels, du stockage et des réseaux. Vous payez uniquement pour les ressources que vous utilisez.

PaaS signifie Platform as a Service. Ce modèle fournit un environnement complet pour développer et déployer des applications. Vous n'avez pas à vous soucier de la gestion de l'infrastructure.

Le Cloud computing est un modèle pour fournir un accès à la demande à des ressources informatiques partagées via un réseau. Ces ressources sont disponibles rapidement et facilement.

Le modèle SaaS fait référence à Software as a Service. Vous obtenez un accès à des applications logicielles via un navigateur web, sans avoir à les installer sur votre appareil.