Introduction à Apache Hadoop

• Explores Apache Hadoop, HDFS, MapReduce et YARN

Projet Apache Hadoop

• Le projet Apache™ Hadoop® développe des logiciels open source pour un calcul fiable, distribué, et évolutif.

Apache Hadoop

• Bibliothèque logicielle Hadoop est un framework de calcul distribué.
• Conçu pour l'évolutivité de serveurs uniques à des milliers de machines offrant calcul et stockage locaux.
• Conçu pour détecter et gérer les pannes au niveau de la couche application, offrant un service hautement disponible.

Modules d'Apache Hadoop

• Hadoop Common fournit les utilitaires de base pour supporter les autres modules Hadoop.
• Hadoop HDFS est un système de fichiers distribué qui fournit un accès à haut débit aux données de l'application.
• Hadoop YARN est un framework pour la planification des tâches et la gestion des ressources du cluster.
• Hadoop MapReduce est un système basé sur YARN pour le traitement parallèle de données massives.

Utilisateurs de Hadoop

• Hadoop est utilisé par diverses entreprises et organisations, incluant Amazon, Adobe, Blablacar, Alibaba, Ebay et Facebook pour la recherche et la production.

Développement de Hadoop

• Il existe 4 versions majeures de Hadoop.
• Hadoop 3.3.6 est la version la plus récente.
• Le lien de téléchargement est hadoop.apache.org/releases.html.

Déploiement de Hadoop

• Java 11 est requis.
• Le déploiement sur Linux nécessite ssh.
• Deux modes de déploiement sont disponibles : single node et cluster node.
• Mode "single node" est pour avoir la main.
• Mode "cluster node" est en environnement de production.
• Hadoop a été testé sur un cluster GNU/Linux de 2000 noeuds.
• Implique la création d'un utilisateur hadoop
• En plus de l'importation de la clé de signature
• Puis de télécharger et dézipper la distribution Hadoop.
• Initialisation des variables d'environnement JAVA_HOME et HADOOP_HOME.

Mode pseudo distributed

• Chaque démon Hadoop s'exécute sur un processus Java distinct.
• Nécessité de créer des espaces de stockage logiques: /opt/hadoop/hdfs/namenode et /opt/hadoop/hdfs/datanode.
• Configuration des fichiers core-site.xml et hdfs-site.xml.
• Formattage et démarrage du cluster HDFS.
• Surveillance (Monitoring) de l'état du cluster via http://localhost:50070/.

site-core.xml

• Ce fichier permet de spécifier l'hôte et le port du système de fichiers HDFS.
• Le répertoire concerné est $HADOOP_HOME/etc/hadoop/.

hdfs-site.xml

• Ce fichier configure l'endroit où le NameNode stocke l'historique et où les DataNode stockent leurs blocs.
• C'est également là que le coefficient de réplication est configuré.
• Le répertoire est $HADOOP_HOME/etc/hadoop/.

Mode cluster

• La configuration est similaire au mode "single node".
• Il faut créer et configurer le répertoire pour le NameNode sur le nœud maître.
• Les machines du cluster sont spécifiées dans le fichier slaves du répertoire $HADOOP_HOME/etc/hadoop/.
• La première ligne de ce fichier correspond au master.
• Toutes les machines doivent être accessibles via ssh
• Le fichier site-core.xml doit être modifié dans chaque machine pour inclure le nom DNS du master.
• Le facteur de réplication dans le fichier hdfs-site.xml doit être spécifié en fonction du nombre de DataNodes.
• Le cluster doit démarrer sur le node master.

Démarrage d'un cluster Hadoop

• Formater d'abord système de fichiers avec $HADOOP_PREFIX/bin/hdfs namenode -format.
• Démarrer les daemons NameNode et DataNodes avec $HADOOP_HOME/bin/start-all.sh.
• S'assurer du bon fonctionnement du cluster, en exécutant ls ou en vérifiant les services démarrés avec jps (hdfs dfs -ls . ou jps).

Utilisation pratique d'un cluster

• Uploader les fichiers de configuration du répertoire etc/hadoop et créer un dossier d'importation.
• Utilisation de hdfs dfs -mkdir import pour créer le répertoire et hdfs dfs -put $HADOOP_PREFIX/etc/hadoop/*.xml import pour uploader les fichiers.
• Hadoop jar $HADOOP_PREFIX/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0. pi 2 5 lancer pour vérifier la distribution.
• Pendant l'exécution du job, commande hadoop job -list pour pour assurer le bon deroulement.
• Utiliser la commande hdfs fsck /path/to/file -files -blocks -locations pour observer comment les blocs sont répartis.
• Il peut être intéressant d'éteindre un nœud pour vérifier si les fichiers restent accessibles.

Introduction à HDFS

• HDFS (Hadoop Distributed File System) est un système de fichiers distribué fonctionnant sur du matériel standard.
• Permet un accès transparent aux fichiers et répertoires stockés.

Fondamentaux de HDFS

• Les pannes matérielles sont considérées comme la norme.
• Un accès haut débit à des fichiers en continu est plus souhaitable que la faible latence.
• Conçu pour gérer de gros fichiers plutôt qu'un grand nombre de petits fichiers.
• Part du principe qu'un fichier créé est rarement mis à jour, simplifiant la cohérence et améliorant le débit.

Stockage des données dans HDFS

• NameNode (master node):
• Stocke les métadonnées (noms, emplacements des blocs, attributs).
• Maintient les métadonnées en RAM pour un accès rapide.
• La taille des métadonnées est limitée par la quantité de RAM disponible sur le NameNode.
• DataNode (slave node):
• Stocke le contenu des fichiers en blocs.
• Réplication du contenu des fichiers sur différents DataNodes par le facteur de réplication.
• Envoi de rapports périodiques au NameNode sur les blocs existants.

Gestion des pannes d'un slave

• Les DataNodes envoient des heartbeats au NameNode.
• Si aucun heartbeat n'est reçu, le DataNode est considéré comme perdu.
• Le NameNode identifie les blocs sur les nœuds perdus et entreprend la réplication des copies sur d'autres nœuds.
• La réplication de blocs est activement maintenue.

Panne du NameNode

• La perte d'un NameNode signifie la perte de tous les fichiers.
• Utiliser des fichiers de sauvegarde constituant l'état persistant du système de fichiers (montage local ou NFS)
• Ou exécuter un NameNode secondaire

Placement des blocs

• Configuration par défaut: un réplica en local, un deuxième sur un noeud distant dans le même rack, et un troisième sur un nœud dans un autre rack distant.
• Les réplicas additionnels sont placés de manière aléatoire.
• Le client lit toujours à partir du noeud le plus proche.
• Le client obtient une liste de DataNodes pour placer les réplicas des blocs.
• Le premier DataNode transfère les données au suivant.
• Après l'écriture de tous les réplicas, le client continue avec le bloc suivant.
• Plusieurs machines sont impliquées dans l'écriture.

Balancing Hadoop cluster

• Hadoop fonctionne mieux avec une distribution équitable des blocs.
• L'objectif est d'équilibrer le niveau de remplissage des disques sur les DataNodes.
• Utiliser Balancer pour le processus de rééquilibrage.
• La commande start-balancer.sh.
• Re-distribuer les blocs des DataNodes sur-utilisés vers ceux sous-utilisés.
• L'exécuter en cas de nouveaux DataNodes.
• L'exécuter en tâche de fond et peut être limité.

Interaction utilisateur avec HDFS

• Les données peuvent être manipulées par le biais de l'API Java ou des commandes en ligne.
• Ou Utiliser une application web

Opérations HDFS Usuelles

• Incluent la création et la suppression de répertoires.
• Ainsi que la copie de fichiers et listing de contenu
• Analyser l'allocation disque.
• Vérifier les permissions ou les écritures.
• Activer la réplication pour des repertoires bien spécifiques.

Commandes en ligne

• hadoop dfs –mkdir créer un répertoire dans un emplacement donné.
• hadoop dfs –rmr supprime tous les répertoires d'un systeme de fichier donné.
• hadoop –put , copier les fichiers du système de fichier local vers fs.
• hadoop dfs-copyFromLocal , identique la commande put.
• hadoop dfs -moveFromLocal , même que put, sauf que la source est supprimée après copie.
• -ls, lister le contenu d'un répertoire.
• lsr, lister le contenu d'un répertoire de façon récursive.
• cat, recherche les fichiers.
• df, afficher la capacité, etc.
• du, afficher l'espace utilisé.
• Touchz, créer un fichier vide.

Lecture interne d'un fichier dans HDFS

• Le client est guidé par le NameNode pour le choix du meilleur DataNode pour chaque bloc.
• Le client contacte directement les DataNodes.
• Le NameNode fournit uniquement l'emplacement des blocs.
• Cette méthode permet à HDFS de passer à l'échelle.

Copie parallèle avec disco

• Inclut un programme appelé distcp pour copier de grandes quantités de données vers et depuis HDFS en parallèle.
• Utilisation basique: hadoop distcp .
• distcp est implémenté comme un job MapReduce, où la copie est effectuée par les maps exécutés en parallèle dans le cluster.

MapReduce : définition

• Est un modèle de programmation pour traiter le Big Data en parallèle.
• Offre des capacités analytiques.

MapReduce vs. SGBDR

• Voir Tableau plus haut

Procédure MapReduce

• Elle contient deux tâches, notamment Map et Reduce.
• La tâche Map convertit un ensemble de données en un autre avec des paires clé-valeur.
• La tâche Reduce prend la sortie de Map comme entrée et combine en un ensemble plus petit de tuples.
• La réduction a lieu après.