Introduction à Apache Spark

Apache Spark est un moteur de calcul Big Data rapide, polyvalent et évolutif qui s'appuie sur la mémoire. Il intègre le traitement par lots, le streaming en temps réel, les requêtes interactives, la programmation graphique et l'apprentissage automatique.

Spark a été développé au laboratoire AMP de l'UC Berkeley en 2009. Son développement est sous licence Apache.

Spark est un outil performant car il utilise une mémoire partagée pour les RDD. Cette approche permet une vitesse 100 fois supérieure et 10 fois moins d'itérations que d'autres solutions.

Spark est développé en Scala, mais il prend en charge d'autres langages comme Java, Python (PySpark) et R (SparkR).

Spark offre une librairie d'opérateurs pour manipuler facilement les données via les RDD. Parmi les opérateurs les plus importants figurent map(), filter(), groupByKey(), reduceByKey(), join(), cogroup() et foreach().

Un RDD, ou Resilient Distributed Dataset, est un ensemble de données distribué, partitionné, en lecture seule et élastique. Les RDD sont stockés en mémoire par défaut et migrent sur le disque si la mémoire est insuffisante.

Les données RDD sont stockées dans des clusters sous forme de partitions.

Les RDD possèdent un mécanisme de parentage qui permet de reconstruire rapidement les données en cas de perte.

Une dépendance étroite implique que chaque partition d'un RDD parent est utilisée par au plus une partition d'un RDD enfant. Cela s'applique aux opérations comme map, filter et union.

Une dépendance large implique que plusieurs partitions d'un RDD enfant dépendent de la même partition d'un RDD parent. Cela s'applique à des opérations comme groupByKey, reduceByKey et sortByKey.

Les opérations Spark se divisent en quatre catégories : création, transformation, contrôle et action. 

Une opération de création permet de générer un RDD. Un RDD est créé à partir d'une collecte de mémoire, d'un système de stockage externe ou d'une opération de transformation.

Une opération de transformation transforme un RDD en un nouveau RDD, sans exécution immédiate. Les opérations de transformation incluent map(), filter(), reduceByKey(), join() et d'autres.

Une opération de contrôle permet de contrôler la persistance des données RDD. Un RDD peut être stocké sur le disque ou en mémoire selon des politiques de stockage définies, comme le cache.

Une opération d'action déclenche l'exécution de Spark. Elle peut sortir le résultat du calcul ou enregistrer le RDD dans un système externe. Les opérations d'action incluent reduce(), collect(), count(), first() et take().

Les transformations Spark telles que map(), filter(), reduceByKey(), join() et d'autres permettent de transformer des données.

Les actions Spark telles que collect(), reduce(), count(), first() et take() permettent de produire un résultat ou d'enregistrer des données.

Les transformations et les actions Spark créent un graphe acyclique orienté (DAG). Les nœuds du graphe sont les RDD et les résultats, les connexions sont les transformations et les actions. Grâce à ce graphe, Spark peut gérer la tolérance aux pannes.

Un DataFrame est un ensemble de données organisé en colonnes nommées. Sa structure est comparable à une table de base de données ou un bloc de données en R/Python, mais avec des optimisations supplémentaires.

Les DataFrames peuvent être créés à partir de plusieurs sources, notamment des fichiers de données structurées, des tables Hive, des bases de données externes et des RDD existants.

L'API DataFrame est disponible en Scala, Java, Python et R, facilitant l'utilisation des DataFrames dans différents langages.

Spark SQL est le module utilisé dans Spark pour traiter les données structurées. Les applications peuvent utiliser des instructions SQL ou des API DataFrame pour interroger les données.

Structured Streaming est un moteur de traitement de données en streaming basé sur Spark SQL. Il permet de traiter les données de manière incrémentielle et continue.

Spark Streaming divise les flux de données en temps réel en tranches de temps et utilise le moteur Spark pour traiter chaque tranche de manière similaire au traitement par lots.

Spark Streaming utilise les RDD pour stocker les données et les traiter en temps réel, offrant une solution efficace pour gérer les données en continu.

Spark propose un cadre de gestion des ressources, Standalone, qui permet de gérer les ressources du cluster de manière indépendante.

Les RDD sont des ensembles de données distribués, partitionnés, en lecture seule et élastiques. Chaque partition est un bloc de données qui est stocké en mémoire pour une récupération et un traitement rapides.