Apache Kafka et systèmes de messagerie

Apache Kafka

• Apache Kafka est une plateforme de streaming d'événements distribuée.
• Elle sert à créer des pipelines de données en temps réel et des applications de streaming.
• Conçue pour gérer de gros volumes de données de manière évolutive et tolérante aux pannes.
• Idéale pour l'analyse en temps réel, l'ingestion de données et les architectures basées sur les événements.
• Développé initialement par LinkedIn en 2009, maintenu par la fondation Apache depuis 2012.
• Système de messagerie distribué, partitionné, répliqué et basé sur ZooKeeper.

Système de messagerie

• Responsable du transfert de données entre applications.
• Basé sur le concept de mise en file d'attente de messages fiable, asynchrone.
• Deux modèles de messagerie disponibles : point à point et publication-abonnement (pub-sub).

Système de messagerie Point à Point

• Un message est consommé par un seul consommateur au maximum.
• Une fois consommé, le message disparaît de la file d'attente.

Système de messagerie Pub-Sub

• Les messages sont conservés dans un sujet (topic).
• Les consommateurs peuvent s'abonner à un ou plusieurs sujets et consommer tous les messages.
• Idéalement adapté aux plateformes de médias sociaux et aux capteurs environnementaux.
• Aussi utilisé pour l'agrégation de journaux dans une organisation.

Kafka: Système de messagerie Pub-Sub

• Mécanisme de publication et d'abonnement.
• Les producteurs envoient des messages dans des topics.
• Les consommateurs peuvent s'abonner à un ou plusieurs sujets (topics) et reçoivent les messages.
• Les producteurs n'ont aucune connaissance des consommateurs et vice-versa.

Kafka: Système

• Système de messagerie de publication-abonnement distribué.
• Permet de transmettre des messages entre des points de terminaison.
• Adaptable aux besoins d'applications hors ligne et ligne.
• Stockage des messages sur le disque et réplication au sein du cluster pour éviter les pertes de données.
• Basé sur le service de synchronisation ZooKeeper.
• S'intègre bien avec Apache Storm et Spark pour l'analyse des données en streaming en temps réel.
• Offre un débit élevé (100 000 messages par seconde par nœud).
• Prise en charge du partitionnement et de la consommation distribuée pour une transmission séquentielle.
• Compatibilité avec l'évolutivité horizontale.

Terminologie Kafka

• Producer: Système envoyant des données dans un ou plusieurs topics.
• Consumer: Système lisant des données dans un ou plusieurs topics.
• Broker: Serveur Kafka.
• Cluster: Ensemble de brokers.
• Topic: Catégorie d'un message publié sur le cluster Kafka.
• Partition: Sous-division d'un topic en un ou plusieurs répertoires de stockage de messages.

Topic (Kafka)

• Chaque message publié sur Kafka appartient à un sujet appelé Topic.
• Le Topic peut être vu comme une file d'attente de messages.
• Les Producers envoient les messages vers les topics.
• Les Consumers récupèrent les messages des topics.

Partition (Kafka)

• Amélioration du débit, chaque topic est physiquement divisé en une ou plusieurs partitions.
• Chaque partition est une séquence ordonnée et immuable de messages.
• Chaque partition correspond à un répertoire physique pour le stockage des messages et les index.
• Un nouveau message est assigné à une partition et n'est ajouté qu'à cette partition.
• Chaque message possède un identifiant unique (offset).

Broker et Cluster (Kafka)

• Les brokers sont des systèmes simples qui maintiennent les données publiées.
• Un broker peut avoir 0 ou plusieurs partitions pour un sujet.
• Les clusters Kafka, composés de plusieurs brokers, permettent l'extension sans interruption de service.
• Ils assurent la persistance et la réplication des données des messages.

Leader et Follower (Kafka)

• Le Leader est le nœud responsable des lectures et écritures pour une partition.
• Les Followers suivent les instructions du Leader.
• Si le Leader échoue, un Follower devient automatiquement le nouveau Leader.
• Un Follower agit comme un consommateur normal, récupère les messages pour mise à jour.

Producer et Consumer (Kafka)

• Les Producers envoient les données aux brokers.
• Chaque fois qu'un message est publié, il est ajouté à une partition.
• Le Producer peut choisir la partition pour un message donné.
• Les Consumers lisent les données des brokers.
• Ils s'abonnent à un ou plusieurs sujets (topics) et consomment les messages.

Log (Kafka)

• Chaque message envoyé par un Producer et reçu par un Consumer est encapsulé dans un Log.
• Structure de données de type file d'attente, les messages sont ordonnés par réception.
• Chaque message a un offset unique.
• Les Consumers utilisent les offsets, partitions et topics pour suivre les enregistrements.

Architecture Kafka

• Composée de plusieurs brokers pour équilibrer la charge de travail.
• Les brokers sont stateless, utilisant ZooKeeper pour maintenir leur état.
• Des brokers peuvent gérer des milliers de lectures/écritures par seconde sans impacter les performances.
• ZooKeeper coordonne les brokers pour gérer les nouvelles arrivées et les échecs.
• Le système, conçu pour la distribution et la tolérance aux pannes, améliore le débit global.

Architecture Kafka: Consommateurs et Leaders

• Le producteurs et les consommateurs interagissent avec le leader.
• Les répliques agissent comme des followers pour copier les messages du leader.
• Chaque consommateur a son propre groupe de consommateurs.
• Les messages sont partagés entre les groupes, mais exclusifs à chaque groupe.

Kafka Workflow

• Kafka fonctionne comme un système de transmission de messages rapide, fiable, persistant, tolérant aux pannes, et sans temps d'arrêt.
• Adaptable aux besoins d’applications Pub-Sub et Queue.
• Présentation du processus de distribution des messages envoyés par les Producers, traitée par les brokers et relayée aux Consumers.

Kafka: Mécanisme de Stockage

• Le partitionnement optimise les performances, le load-balancing, et la tolérance aux pannes.
• Les données d'une partition sont stockées sur des brokers distincts
• Les données sont dupliquées pour une haute disponibilité.
• Chaque partition possède un leader et des répliques qui assurent la haute disponibilité et la tolérance aux pannes.

Kafka: Accusés de Réception (ACKs)

• Le producteur demande un accusé de réception (ACK) du broker pour confirmer que le message a été bien reçu.
• Les options d'ACK contrôlent le niveau de garantie de fiabilité.
• Acks = 0 (aucune garantie)
• Acks = 1 (garantie d'enregistrement sur disque par le leader)
• Acks = all (garantie de l'enregistrement sur toutes les répliques)

Quiz (questions sur Kafka)

• Questions diverses sur les concepts de Kafka, ses composants, fonctionnement, l'ordre des messages, le message maximal, facteur de réplication par défaut etc.