Architecture du transformateur

• La vidéo traite de l'architecture Transformer, un élément clé de l'IA moderne, en mettant l'accent sur la compréhension de ses aspects pratiques et de son fonctionnement interne.

Introduction aux Transformers

• Les transformateurs ont révolutionné l'IA, en particulier dans le traitement du langage naturel, surpassant les modèles précédents tels que les LSTM et les RNN.
• La vidéo vise à fournir une compréhension pratique de l'architecture Transformer, au-delà des aspects théoriques.

Architecture globale du transformateur

• Le modèle Transformer se compose principalement d'un Encodeur et d'un Décodeur.
• L'entrée passe par l'encodeur, puis par le décodeur, et enfin produit le résultat.
• L'encodeur et le décodeur sont composés de blocs de construction similaires qui peuvent être empilés pour augmenter la profondeur du modèle.
• L'article original sur les transformateurs utilisait 6 encodeurs et 6 décodeurs empilés les uns sur les autres.

Encodeur expliqué

• L'encodeur se compose de deux sous-couches principales : une couche d'auto-attention et un réseau neuronal à propagation directe.
• Les entrées sont transmises via la couche d'auto-attention, puis via le réseau neuronal à propagation directe, et enfin sorties vers l'encodeur suivant.
• Des connexions résiduelles sont utilisées autour de chacune des deux sous-couches, suivies d'une normalisation de couche. Cela permet d'améliorer la formation et le flux de gradient.
• Il existe deux couches de normalisation identiques et indépendantes dans chaque bloc.
• Une transformation linéaire est effectuée après la normalisation.
• La sortie de chaque bloc d'encodeur a les mêmes dimensions que son entrée, ce qui permet de l'empiler.

Mécanisme d'auto-attention

• Le mécanisme d'auto-attention permet au modèle de pondérer l'importance des différentes parties de la séquence d'entrée lors de son traitement.
• Il calcule les scores d'attention entre toutes les paires de mots dans la séquence d'entrée pour comprendre les relations entre eux.
• L'attention au produit scalaire mis à l'échelle est utilisée pour calculer les scores d'attention.
• Les entrées du mécanisme d'attention comprennent les requêtes, les clés et les valeurs, où les requêtes et les clés sont utilisées pour calculer les scores d'attention, et les valeurs sont utilisées pour calculer une moyenne pondérée.
• Les requêtes et les clés doivent avoir les mêmes dimensions.
• Les scores d'attention sont calculés en prenant le produit scalaire de la requête et de la clé, en mettant à l'échelle le résultat par la racine carrée de la dimension de la clé (pour stabiliser les gradients), puis en appliquant une fonction softmax pour obtenir des probabilités.
• La sortie de la couche d'attention est une somme pondérée des vecteurs de valeurs, où les poids sont les scores d'attention.

Attention multi-têtes

• L'attention multi-têtes est utilisée pour permettre au modèle de prêter attention à différents aspects de la séquence d'entrée.
• Au lieu d'effectuer un seul calcul d'attention, l'entrée est projetée linéairement en plusieurs « têtes », et l'attention est calculée indépendamment pour chaque tête.
• Les sorties des différentes têtes sont ensuite concaténées et transformées linéairement pour produire la sortie finale.
• L'utilisation de plusieurs têtes permet au modèle de capturer différentes relations et dépendances dans les données.
• Chaque tête possède son propre ensemble de matrices de poids de requête, de clé et de valeur.

Encodage positionnel

• L'encodage positionnel est ajouté aux intégrations d'entrée pour fournir des informations sur la position des mots dans la séquence.
• Étant donné que l'architecture Transformer n'a aucune compréhension inhérente de l'ordre (contrairement aux RNN), l'encodage positionnel est nécessaire pour injecter des informations sur la position des mots dans la séquence.
• Les encodages positionnels sont ajoutés directement aux intégrations d'entrée.
• Les vecteurs d'encodage positionnel ont la même dimension que les vecteurs d'intégration de mots.
• L'article original sur les transformateurs utilise des fonctions sinus et cosinus pour créer des encodages positionnels.
• La technique d'encodage positionnel ne nécessite pas d'entraînement.
• Les intégrations positionnelles apprises sont également utilisées dans certaines implémentations.

Réseau neuronal à propagation directe

• Chaque couche d'encodeur et de décodeur contient un réseau à propagation directe.
• Il se compose de deux transformations linéaires avec une activation ReLU entre les deux.
• Il est appliqué à chaque position séparément et de manière identique.
• Le réseau à propagation directe aide le modèle à apprendre les relations non linéaires entre les caractéristiques d'entrée.

Décodeur expliqué

• Le décodeur se compose également de sous-couches similaires à l'encodeur, mais avec une couche d'attention multi-têtes masquée supplémentaire.
• Le décodeur possède trois sous-couches : une couche d'attention multi-têtes masquée, une couche d'attention multi-têtes et un réseau neuronal à propagation directe.
• La première couche d'attention est masquée pour empêcher le décodeur de prêter attention aux jetons futurs (afin de maintenir la propriété autorégressive).
• La sortie de l'encodeur est utilisée comme clés et valeurs pour la deuxième couche d'attention multi-têtes du décodeur.
• Le décodeur utilise également des connexions résiduelles et une normalisation de couche, similaires à l'encodeur.
• La couche finale du décodeur est une couche linéaire, suivie d'une fonction Softmax pour produire les probabilités de sortie.

Attention multi-têtes masquée

• Elle est présente dans le bloc de décodeur, en tant que première couche d'attention.
• Elle empêche le décodeur de prêter attention aux jetons futurs dans la séquence d'entrée pendant l'entraînement.
• Le masquage garantit que la prédiction pour une position donnée ne dépend que des positions connues avant elle.
• Cela se fait en définissant les poids d'attention des positions futures sur l'infini négatif (ou un très grand nombre négatif) avant d'appliquer la fonction softmax.

Formation d'un transformateur

• Les transformateurs sont généralement entraînés à l'aide d'une technique appelée « force d'enseignement », où la sortie de vérité de base est fournie comme entrée au décodeur à chaque pas de temps.
• Le modèle est entraîné pour minimiser la perte d'entropie croisée entre la sortie prédite et la sortie de vérité de base.
• Des algorithmes d'optimisation tels que Adam sont utilisés pour mettre à jour les paramètres du modèle pendant l'entraînement.
• Des techniques de régularisation telles que le dropout sont utilisées pour éviter le surajustement.

Considérations pratiques

• Le mécanisme d'attention est coûteux en termes de calcul, en particulier pour les longues séquences.
• Des techniques telles que le fenêtrage d'attention et l'attention clairsemée sont utilisées pour réduire le coût de calcul.
• Les transformateurs sont hautement parallélisables, ce qui les rend adaptés à l'entraînement sur les GPU.
• Les modèles Transformer pré-entraînés, tels que BERT et GPT, peuvent être affinés pour diverses tâches en aval, ce qui réduit la quantité de données d'entraînement nécessaires.

La vidéo traite de l'architecture du transformateur et de son fonctionnement interne. Le modèle de transformateur se compose principalement d'un encodeur et d'un décodeur. L'objectif est de fournir une compréhension pratique de l'architecture du transformateur.