Introduction à Apache Hadoop

• Ce document présente Apache Hadoop, couvrant ses modules, son développement, son déploiement, HDFS et MapReduce.

Projet Apache Hadoop

• Le projet Apache Hadoop développe des logiciels open source conçus pour un calcul fiable, distribué et scalable.

Apache Hadoop

• La librairie Hadoop est un framework de calcul distribué conçu pour fonctionner sur des clusters de machines.
• Hadoop peut passer d'un seul serveur à des milliers de machines.
• Chaque machine offre des capacités de calcul et de stockage locales.
• Il est conçu pour détecter et gérer les pannes au niveau de la couche application.
• Ceci fournit un service hautement disponible sur un cluster d'ordinateurs, chacun pouvant être sujet à des pannes.

Modules d'Apache Hadoop

• Hadoop Common fournit les utilitaires de base utilisés par les autres modules.
• Hadoop HDFS est un système de fichiers distribué qui offre un accès à haut débit aux données des applications.
• Hadoop YARN est un framework pour la planification et la gestion des ressources de cluster.
• Hadoop MapReduce est un système basé sur YARN conçu pour le traitement parallèle de grandes quantités de données.

Qui utilise Hadoop ?

• Hadoop est utilisé par diverses entreprises et organisations pour la recherche et la production.
• Des exemples d'entreprises utilisant Hadoop incluent Amazon, Adobe, Blablacar, Alibaba, Ebay et Facebook.

Développement de Hadoop

• Quatre versions majeures de Hadoop sont sorties jusqu'à aujourd'hui.
• La dernière version est Hadoop 3.3.6.

Déploiement de Hadoop

• Java 11 est requis pour le déploiement.
• L'utilisation de ssh est une exigence pour le déploiement sur Linux.
• Il existe deux modes de déploiement, à savoir 'single node', pour lequel avoir la main est important et 'cluster node' qui est important dans un environnement de production.
• Hadoop a été testé sur un cluster GNU/Linux de 2000 noeuds.

Étapes pour le déploiement de Hadoop

• Créer un utilisateur Hadoop.
• Importer la clé de signature.
• Télécharger et décompresser la distribution Hadoop.
• Initialiser les variables d'environnement JAVA_HOME et HADOOP_HOME.

Mode « pseudo-distributed »

• Chaque démon Hadoop s'exécute dans un processus Java distinct.
• Création d'espaces de stockage logiques dans les répertoires /opt/hadoop/hdfs/namenode et /opt/hadoop/hdfs/datanode.
• Configuration via les fichiers core-site.xml et hdfs-site.xml.
• Effectuer le formattage et démarrer le cluster HDFS.
• Surveiller l'état du cluster via http://localhost:50070.

site-core.xml

• core-site.xml sert à spécifier l'hôte et le port du système de fichiers HDFS.
• Cette configuration se trouve généralement dans $HADOOP_HOME/etc/hadoop/.

hdfs-site.xml

• hdfs-site.xml configure l'endroit où NameNode stocke l'historique des transactions.
• hdfs-site.xml configure l'endroit où les DataNodes stockent leurs blocs.
• Le coefficient de réplication est configuré dans hdfs-site.xml.
• Le fichier se trouve dans un répertoire $HADOOP_HOME/etc/hadoop/.

Mode cluster (1)

• La configuration est semblable au mode « nœud unique ».
• Créer et configurer le répertoire pour le NameNode censé exécuter l'instance NameNode (le nœud maître).
• Les machines du cluster sont spécifiées dans le fichierslaves dans $HADOOP_HOME/etc/hadoop/.
• La première ligne du fichier slaves correspond au noeud master.
• Toutes les machines doivent être accessibles via SSH.

Mode cluster (2)

• Le fichier site-core.xml doit être modifié dans chaque machine, en mettant le nom DNS du master.
• Le facteur de réplication dans hdfs-site.xml spécifie le nombre de DataNodes dans le cluster.
• Le cluster doit être démarré sur le noeud master.

Démarrage d'un cluster Hadoop

• Formater le système de fichiers avant de démarrer les nœuds, utiliser la commande : $HADOOP_PREFIX/bin/hdfs namenode -format.
• Démarrer les daemons NameNode et DataNodes avec la commande : $HADOOP_HOME/bin/start-all.sh.
• Vérifier ensuite que nous pouvons accéder au système de fichiers en exécutant une simple commande ls, ou regarder si les services sont démarrés avec jps.

Utilisation pratique d'un cluster

• Télécharger les fichiers de configurations présents dans le répertoire etc/hadoop d'Hadoop.
• Créer un dossier import pour pouvoir ajouter nos fichiers en utilisant hdfs dfs -mkdir import.
• Uploader ensuite ces fichiers en utilisant hdfs dfs -put $HADOOP_PREFIX/etc/hadoop/*.xml import.
• Pour vérifier bonne distribution des noeuds, lancer un job en utilisant hadoop jar $HADOOP_PREFIX/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0. pi 2 5.
• Suivre l'exécution du job avec hadoop job -list.
• Observer comment les blocs sont répartis dans le cluster avec hdfs fsck /path/to/file -files -blocks -locations.
• Cette commande va permettre de lister les fichiers, leurs blocks, et dans quels nœuds sont-ils placés.
• L'exécution du cluster persistera si un nœud est fermé.

HDFS

• Le Hadoop Distributed File System (HDFS) est un système de fichiers distribué qui fonctionne sur du matériel standard.
• HDFS permet aux applications d'accéder de manière transparente aux fichiers et répertoires stockés sur différentes machines du réseau.

Principes fondamentaux de HDFS

• Les défaillances matérielles sont considérées comme la norme plutôt que l'exception.
• Un accès à faible latence aux parties aléatoires d’un fichier est moins souhaitable qu’une diffusion continue sur des fichiers à haut débit.
• Hadoop est conçu pour gérer de gros fichiers plutôt qu'un grand nombre de petits fichiers.
• Un fichier n’est jamais mis à jour après sa création.
• Le principe de conservation des données simplifie le modèle de cohérence et permet un débit élevé.

Stockage des données dans HDFS

• Le NameNode gère les métadonnées.
  • Le NameNode stocke les noms de fichiers, les emplacements des blocs, les attributs, etc.
  • Il conserve les métadonnées dans la mémoire RAM pour accélérer la recherche.
  • La taille des métadonnées est limitée à la quantité de RAM disponible sur le NameNode.
• Les DataNodes gèrent le stockage réel.
  • DataNodes stocke l'ensemble des fichiers sous forme de blocs.
  • Des blocs différents d'un même fichier sont stockés sur des DataNodes différents.
  • Les blocs sont répliqués sur plusieurs DataNodes pour la redondance.
  • Chaque DataNode envoie un rapport de tous les blocs existants au NameNode en envoyant de manière periodique.

Gestion des pannes d'un slave

• Les DataNodes échangent régulièrement des heartbeats avec le NameNode.
• Si aucun heartbeat n'est pas reçu, le DataNode est considéré comme perdu.
• Le NameNode détermine les blocs hébergés sur le nœud perdu.
• Le NameNode trouve ensuite les copies de ces blocs et les réplique sur d'autres nœuds.
• La réplication des blocs est maintenue activement.

Panne du NameNode

• La perte d'un NameNode équivaut à la perte de tous les fichiers du système.
• Hadoop propose deux options pour y remédier :
  • Utiliser des fichiers de sauvegarde constituant l'état persistant du système de fichiers (montage local ou NFS).
  • Exécuter un NameNode secondaire.

Placement des blocs (1)

• Configuration par défaut :
  • Une réplica locale.
  • Une deuxième réplica sur un nœud dans le rack distant.
  • Une troisième réplica sur un nœud dans le rack distant.
  • Les réplicas supplémentaires sont configurées de façon aléatoire.
• Le client lit depuis le nœud le plus proche.

Placement des blocs (2)

• Le client récupère une liste de datanodes sur lesquels placer des réplicas de blocs.
• Le client écrit le bloc dans le premier datanode.
• Le premier datanode transfère les données au datanode suivant dans le pipeline.
• Lorsque toutes les réplicas ont été écrits, le client procède à l'écriture du bloc suivant.
• Plusieurs machines peuvent être impliquées dans l'écriture dans les fichiers.

Balancing Hadoop cluster

• Hadoop fonctionne mieux lorsque les blocs sont distribués de manière égale.
• L'accent est mis sur l'uniformisation du niveau de remplissage des disques sur les DataNodes.
• Un démon de balancing Hadoop est utilisé.
• Un script, % start-balancer.sh est lancé.
• Les blocs redistribuent les blocs des DataNodes sur-utilisés vers ceux sous-utilisés
• Cela s'effectue lorsque de nouveaux DataNodes sont ajoutés
• Ceci peut être exécuté en tâche de fond pour la congestion du réseau/d'où l'impact négatif sur le cluster.

Interaction utilisateur avec HDFS

• Les données peuvent être manipulées via :
  • Programmation via l'API JAVA.
  • Ligne de commandes.
  • Application web.

Opérations HDFS courantes :

• Création de répertoires
• Suppression de répertoires
• Copie de/depuis HDFS
• Affichage du contenu d’un répertoire
• Affichage du contenu d’un fichier
• Analyse de l’allocation disque
• Vérification d'écritures ou de permissions
• Activation de la réplication pour des répertoires donnés

Commandes en ligne

• hadoop dfs –mkdir <path>Créer un répertoire dans un emplacement donné
• hadoop dfs –rmr <src> Supprime tous les répertoires qui correspondent au système de fichiers spécifié
• hadoop –put <localsrc> <dst> Copier les fichiers du système de fichier local vers fs
• hadoop dfs -copyFromLocal <localsrc> <dst> identique à la commande put
• hadoop dfs -moveFromLocal <localsrc> <dst> Même que put, sauf que la source est supprimée après copie
• -ls <path> Lister le contenu d’un répertoire
• lsr <path> Liste le contenu d’un répertoire de façon recursive
• cat <src> Retrouve tous les fichiers qui correspondent aux critère de recherche et les affiche à la sortie
• df <path>Affiche la capacité, espace vide, et espace utilisé du système de fichiers
• du <<path>>Affiche l’espace utilisée en bits par les fichiers d’un répertoire donné
• touchz <path>Crée un fichier vide dans le repertoire spécifié

Lecture interne d'un fichier dans HDFS

• Le client est guidé par le Namenode pour le choix du meilleur DataNode pour chaque block
• Le client contacte les DataNodes directement pour récupérer les données
• Le NameNode donne uniquement l’emplacement des blocks
• Conçu pour permettre à HDFS de passer à l’échelle en terme de nombre de clients

Copie parallèle avec disco

• Hadoop vient avec un programme utile appellé distcp pour copier une quantité importante de données vers et à partir du système de fichiers de Hadoop en parallèle
• hadoop distcp <url>
• distcp est implémenté comme un job map reduce où la copie est effectuée par les maps qui s’exécutent en parallèle à travers le cluster

MapReduce

• Modèle de programmation pour écrire des applications qui traitent le Big Data en parallèle sur plusieurs noeuds.
• Fournit des capacités analytiques pour analyser d'énormes volumes de données complexes.

Hadoop MapReduce vs. SGBDR

• MapReduce est adapté à l’analyse de données en batch.
• Le SGBDR est destiné à la récupération en temps réel avec une faible latence et de petits ensembles de données.
• Les processus MapReduce impliquent une étape Map et une étape Reduce.
• La tâche Map prend un ensemble de données et le convertit en un autre ensemble de données, où les éléments individuels sont décomposés en tuples (paires clé-valeur).
• La tâche Reduce prend la sortie de Map comme entrée et combine ces tuples de données (paires clé-valeur) en un ensemble plus petit de tuples.
• La tâche de réduction est toujours effectuée après le travail des mappers