Réseaux de Neurones : Introduction

• Un seul neurone formel ne suffit pas pour résoudre des problèmes complexes.

Réseaux de Neurones

• Les neurones biologiques communiquent via les synapses et forment un réseau.
• Les neurones formels peuvent être associés en réseaux, où la sortie d'un neurone est l'entrée d'un autre.
• Les réseaux sont souvent organisés en couches.
• Dans un réseau multicouche, l'information circule des couches d'entrée vers les couches de sortie.
• Les réseaux multicouches peuvent être appris par descente de gradient.
• Les réseaux multicouches sont adaptés aux données de tailles fixes, comme des images.
• Ils portent le nom de perceptron multicouche (PMC), Feed-Forward ou Multi Layer Perceptron (MLP) en anglais.
• Les réseaux récurrents ne sont pas abordés ici.

Réseau à Une Seule Couche

• Les sorties de chaque neurone sont combinées pour former un vecteur.
• Le calcul de la sortie se fait par les équations :
  • S_j = \sum_i W_{ji} \vx_i
  • \vy_j = f(S_j)
• Wji représente la pondération entre l'entrée i et la sortie j.
• Wj0 correspond au biais bj du neurone j.
• W forme une matrice contenant les paramètres de la couche.
• L'apprentissage se fait par descente de gradient, avec le déplacement:
  • \frac{\partial L}{\partial \vw_{ji}} = \frac{\partial L}{\partial \vy_j} f' (S_j) \vx_i

Réseau à Plusieurs Couches

• L'entrée \vx est remplacée par une entrée quelconque I, et la sortie \vy par une sortie quelconque O.
• (l) représente le numéro de la couche.
• Pour construire un réseau multicouche, on connecte la sortie de la première couche à l'entrée de la deuxième couche :
  • I(2) ← O(1)
• Pour la première couche, l'entrée est égale aux caractéristiques \vx.
  • I(1) ← \vx
• Pour la dernière couche, la sortie représente l'estimation de la cible \vy^.
  • \hat{\vy} ← O(2)
• Les équations en phase de décision pour une couche restent les mêmes.
• L'entrée est remplacée par la sortie de la couche précédente.
• La sortie de la couche est reliée à l'entrée de la couche suivante.
  • S_j^{(l)} = \sum_i W_{ji}^{(l)} I_i^{(l)}
  • O_j^{(l)} = f^{(l)}(S_j^{(l)}) → I^{(l+1)
• (l) est le numéro de couche.

Rétropropagation du Gradient

• Elle consiste à calculer le gradient des paramètres de la dernière couche, puis à propager le gradient vers les entrées de la dernière couche.
• On calcule le gradient des paramètres de l'avant-dernière couche, puis le gradient de son entrée, et ainsi de suite, couche par couche, de la dernière à la première.
• Sur une couche (l), si l'on connaît le gradient de la perte L par rapport à la sortie j de la couche Oj(l), les gradients de la perte par rapport aux paramètres de la couche sont donnés par :
  • \frac{\partial L}{\partial \vw_{ji}^{(l)}} = \frac{\partial L}{\partial O_j^{(l)}} f'^{(l)} (S_j^{(l)}) I_i^{(l)}
• Les gradients de la perte par rapport aux entrées de la couche sont calculés par :
  • \frac{\partial L}{\partial I_i^{(l)}} =\sum_j \frac{\partial L}{\partial O_j^{(l)}} f'^{(l)} (S_j^{(l)}) \vw_{ji}
• Il faut prendre en compte tous les chemins entre l'entrée i et toutes les sorties possibles.
• Étapes de l'algorithme de rétropropagation du gradient :
  • Calcul du gradient des sorties de la dernière couche : \frac{\partial L}{\partial O_j^{(last)}} \leftarrow \frac{\partial L}{\partial \hat{\vy}_j}
  • Itération du calcul des gradients sur les couches, en partant de la fin : \frac{\partial L}{\partial O_j^{(l-1)}}  \leftarrow \frac{\partial L}{\partial I_i^{(l)}}

Application à un Jeu de Données Non Linéairement Séparable

• Un réseau multicouche peut résoudre un problème non linéairement séparable.
• Un exemple montre un réseau à 3 neurones sur la première couche et 2 neurones sur la seconde. Grâce au multicouche, il est possible de séparer des exemples en deux groupes.

Résumé

• Un neurone isolé ne peut pas résoudre un problème non-linéairement séparable.
• Il faut regrouper plusieurs neurones entre eux dans un réseau de neurones artificiels.
• Les réseaux de neurones en couches sont dits perceptrons multicouches.
• Ce type de réseau s'apprend par un algorithme particulier, la rétropropagation du gradient.