Cours - Artificial Neural Networks (PDF)

Université Hassan II de Casablanca Ecole Supérieure de Technologie de Casablanca DEPARTEMENT GÉNIE ELECTRIQUE Licence génie électrique, automatique et intelligence artificielle Présentation du module Intelligence Artificielle: Les réseaux de neurones artificiel...

Université Hassan II de Casablanca Ecole Supérieure de Technologie de Casablanca DEPARTEMENT GÉNIE ELECTRIQUE Licence génie électrique, automatique et intelligence artificielle Présentation du module Intelligence Artificielle: Les réseaux de neurones artificiels Présentée par: ▪ Widad BENGHACHOUA Année universitaire: 2024/2025  Plan Présentation du système nerveux Le neurone formel I 02 Le perceptron mono et multi couche Exemple pratique 1  Apprentissage automatique (ML) ^ input L’algorithme Output (la valeur prédite) Comparer la valeur prédite avec la valeur réelle  Le système nerveux Le système nerveux est le système de traitement des informations et de communication de l’organisme. Il reçoit des messages, traite des informations, puis envoie des signaux au reste du corps pour lui dire quoi faire. Le système nerveux est impliqué dans tout ce qu’une personne pense, dit et fait. Le système nerveux est composé des éléments suivants : Cerveau : est comme l’unité centrale (CPU) d’un ordinateur, il reçoit des informations provenant des yeux, des oreilles, du nez, de la peau et des autres organes sensoriels. Il traite les informations et génère des pensées et des idées. Moelle épinière : un part du cerveau et descend le long du dos en passant par le centre creux de la colonne vertébrale. Les nerfs du cerveau envoient des messages à la moelle épinière. D’autres nerfs de la moelle épinière transmettent ensuite ces messages au corps Nerfs : sont comme des câbles de signal. Chaque nerf contient des fibres issues de 6 nombreuses cellules nerveuses  Le neurone biologique / humain L’unité de base du système nerveux est la cellule nerveuse ou le neurone. 6 Pour notre cerveau , il existe un peu près 86 milliards de neurones  Les éléments d’un neurone biologique Dendrites sont les capteurs du neurone, des prolongements qui reçoivent des informations ou des signaux électriques provenant d’autre neurones et les transmettre au corps cellulaire. Le corps cellulaire ou le soma qui comprend le noyau du neurone et la plupart des éléments complexes de la cellule et qui analyse toutes les informations qu’il reçoit. Il décide si oui ou non d’envoyer les ordres au l’axone. Axone un long prolongement unique du neurone qui distribue ou transmette des signaux électriques du corps cellulaire jusqu’à synapse.Recouvert de la gaine de myéline, une substance isolante qui accélère la propagation du signal. Synapse Zone de communication entre deux neurones(connecte l’axone au dendrite d’un autre neurone) en utilisant les transmetteurs. Ces derniers envoient des signaux chimiques gaine de myéline Synapse 6 Fonctionnement global d’un neurone biologique 6  Fonctionnement global d’un neurone biologique Communication entre les neurones : 6 Signal Électrique : Transmission rapide à l'intérieur de l'axone. Signal Chimique : Communication entre deux neurones via des neurotransmetteurs  Fonctionnement global d’un neurone biologique Comment un neurone s’active ? En utilisant le « potentiel d’activation » où les données d’entrée, sont pondérés et cumulés dans chaque neurone. La fonction d’activation prend ce cumul de déterminer quand un neurone doit être activé, en fonction de la somme pondérée des entrées et le transforme en une sortie utilisable 6  Un neurone formel Proposé initialement par Warren McCulloch et Walter Pitts en 1943. C'est le modèle théorique qui décrit de manière simplifiée le comportement d'un neurone biologique avec une approche mathématique. le concept théorique du neurone formel. des entrées sous formes de vecteurs, représentant les dendrites. une sortie représentant l'axone. 6 le paramètre, notés w représente le poids et le seuil , pour activer ou non le neurone.  Un neurone formel Equation d’un neurone formel inclut deux étapes: Agrégation :calculer la somme pondéré :(∑ (X1*W1+ X2*W2+ ….XM*WM)) Activation :appliquer la fonction d’activation sur le résultat de la somme pondéré Les entrées et la sortie sont binaire 0 ou 1 La fonction d’activation c’est la fonction seuil 6  Le poids d’un neurone un poids est un coefficient numérique qui détermine l'importance d'une entrée dans le calcul de la sortie d'un neurone artificiel. Il agit comme un modulateur, renforçant ou atténuant l'impact d'une entrée spécifique sur le résultat final. 6  La fonction d’activation Une fonction d’activation est un composant fondamental des réseaux de neurones artificiels, une fonction mathématique appliquée à la sorite de neurone. Elle est utilisé pour introduire la non-linéarité dans le modèle. En termes simples, elle transforme les signaux entrants d’un neurone pour déterminer si ce neurone doit être activé ou non, c’est-à-dire s’il doit transmettre les informations aux neurones suivants. Sans fonction d’activation, le modèle serait simplement une combinaison linéaire d’entrées, incapable de résoudre des problèmes complexes. En introduisant la non-linéarité, les fonctions d’activation permettent au réseau de neurones de modéliser des relations complexes et d’apprendre des représentations abstraites des données. 6  Principales fonctions d'activation Il existe plusieurs types de fonctions d’activation, chacune ayant des caractéristiques et des applications spécifiques. Voici les plus couramment utilisées : Fonction Seuil Sigmoïde Tangente Hyperbolique (Tanh) ReLU Linear Threshold Function (LTF) Softmax 6  Fonction Seuil Une fonction d'activation applique une règle simple : Seuil (θ) Le seuil pouvait être 0, 1, ou toute autre valeur numérique, en fonction du comportement souhaité du neurone. Il était fixé manuellement par l'utilisateur ou en fonction des exigences du problème. Si le résultat de la fonction d’activation >= le seuil le neurone s’active (f(x)=1) sinon il reste à 0 6  Limites de neurone formel Pas de sorties continues : un neurone formel ne peut pas produire de valeurs entre 0 et 1. Non-linéarité : incapable de résoudre des problèmes non linéaires. Pas d’apprentissage : le neurone formel est un modèle statique, ce qui signifie qu'il ne peut pas ajuster ses poids ou son biais automatiquement en fonction des données d'entrée. Par contre ils sont fixés manuellement par le concepteur en se basant sur la compréhension théorique du problème. Le neurone formel ne peut pas s’adapter à de nouvelles données. Et il ne compare pas ses prédictions avec les valeurs attendues. 6  Un neurone artificiel Une implémentation pratique et étendue du neurone formel. Ce concept a évolué à partir du neurone formel pour inclure des fonctionnalités plus sophistiquées, d'apprendre des relations complexes dans les données en utilisant des entrées continues et des fonctions d’activation non linéaires (sigmoïde, ReLU, tangente hyperbolique) afin d’avoir des sorties continues, contrairement à la logique binaire du neurone formel. des entrées une sortie 6 Le biais  Fonction Sigmoïde Sa formule est : la fonction sigmoïde, Continue, dérivable et produit une sortie dans la plage (0, 1) ce qui permet d'interpréter la sortie du neurone comme une probabilité. Elle est utilisée en Perceptron monocouche, problèmes de classification binaire. 6  Fonction Tangente Hyperbolique (Tanh) Sa formule est : la fonction tangente, Continue, dérivable et produit une sortie dans la plage (-1, 1). Elle est utilisée dans les Couches cachées des réseaux profonds. 6  Fonction ReLU (Rectified Linear Unit) Sa formule est : la fonction ReLU, non linéaire et produit une sortie 0 pour x < 0 et x pour x > 0 6  Fonction Softmax Sa formule est : la fonction softmax, Continue, dérivable et produit une sortie dans la plage (0, 1) , la somme totale est égale à 1. Elle est utilisée dans la dernière couche pour la classification multi-classes. 6  Un réseau de neurones (artificial neural network) Le fonctionnement d’un neurone est relativement simple mais lorsqu’un neurone est connecté à des milliers d’autres et qu’il y a des milliards de neurones, cela crée des réseaux capable de résoudre des problèmes extrêmement complexes. 6  Le perceptron En 1958 , le psychologue américain Frank Rosenblatt a introduit le perceptron qui est un modèle ou type spécifique d'un neurone artificiel. Perceptron = Neurone artificiel dont la fonction d’activation est une fonction échelon également appelé Linear Threshold Function (LTF), ou fonction seuil linéaire pour effectuer des classifications binaires simples. le perceptron dispose d’un algorithme d'apprentissage spécifique basé sur le réseau formel où les poids ne sont pas choisis manuellement par l'utilisateur, mais appris automatiquement à partir des données et en entrées des nombres quelconques  Exemple explicatif Prédire si un email est un spam ou non, en vous basant sur le nombre de liens et le nombre de fautes d’orthographe qu’il contient 6  Linear Threshold Function (LTF) La fonction d’activation = Le biais (b) peut être ajusté pendant l'entraînement pour optimiser la frontière de décision. Si la formule >= 0 la nouvelle entrée appartient à la classe positive sinon à la classe négative 6  Principe d’apprentissage L’apprentissage dans un perceptron repose sur un algorithme supervisé, c'est-à-dire qu’il utilise un ensemble de données d’entraînement étiquetées (entrées avec sorties attendues). L'objectif est d'ajuster les poids et le biais afin de Trouver un hyperplan de séparation qui divise correctement les deux classes. Étapes de l'apprentissage du perceptron Étape 1 : Initialisation Les poids et le biais sont initialisés avec des valeurs aléatoires ou à 0. Étape 2: Propagation Avant (Forward Pass) : Calculer la sortie prédite avec : Étape 3: Calcul de l'Erreur en comparant la sortie prédite avec la sortie attendue pour chaque ligne de dataset. 6  Principe d’apprentissage Étape 4 : Si l'erreur = 0 on n’ajuste pas le poids et le biais. Si l’erreur ≠ 0 on n’ajuste les poids et le biais en utilisant les deux équations : η : learning rate ou le taux d'apprentissage Étape 5 : Répéter le processus pour toutes les données du dataset jusqu'à ce que l'erreur soit minimale ou nulle. 6  Limites de perceptron Le perceptron est un modèle avec un simple neurone pour une classification binaire. Cependant, un seul neurone ne permet pas de répondre à des problèmes complexes. Ainsi, lorsque les exemples ne peuvent pas être séparés par une droite, un seul neurone échoue. 6  Le perceptron multi couche En 1986, Rumelhart, Hinton et Williams ont introduit le Perceptron Multi-Couche (MLP), Feed-Forward ou Multi Layer Perceptron (MLP) en anglais est une extension du perceptron simple. Il est capable de modéliser des relations complexes et non linéaires grâce à l'ajout de couches cachées (Hidden Layers). le premier réseau de neurones à avoir trouvé de nombreuses applications pratiques telles que la reconnaissance de fleurs, la détection de fraudes, etc. Il peut être utilisé pour toutes tâches de classification supervisées. Ces réseaux peuvent être appris par descente de gradient. Ils sont adaptés aux données de tailles fixes, comme des images. 6  Architecture du Perceptron Multi-Couche 1. Couche d'Entrée (Input Layer) Reçoit les entrées du dataset (ex: caractéristiques x1,x2, xn). Chaque neurone représente une caractéristique. 2. Couches Cachées (Hidden Layers) Traitent les entrées en combinant les poids, les biais et les fonctions d'activation. Plus il y a de couches cachées, plus le modèle peut apprendre des relations complexes. 3. Couche de Sortie (Output Layer): Fournit la sortie finale du réseau. 6  Architecture du Perceptron Multi-Couche Ce réseau présente les caractéristiques suivantes : Il comporte une seule couche de sortie. Il peut comporter d’une à plusieurs couches cachées. Chaque neurone est uniquement relié à tous les neurones de la couche suivante. La fonction d’activation doit être de préférence strictement croissantes et bornées. Les fonctions classiquement utilisées sont la fonction linéaire, la tangente hyperbolique et la fonction sigmoïde standard 6  Fonctionnement du MLP La première étape Propagation Avant (Forward Propagation) Chaque neurone calcule une somme pondérée des entrées et y ajoute un biais : Cette somme est passée à travers une fonction d'activation (ex: Sigmoïde, ReLU). Les valeurs activées de chaque couche sont propagées à la couche suivante jusqu'à atteindre la sortie. 6  La deuxième étape Calcul de l'Erreur (Loss Function) L'erreur est calculée en comparant la sortie réelle avec la sortie attendue à l'aide d'une fonction de coût : La troisième étape Rétropropagation de l'Erreur (Backpropagation) L'erreur est rétropropagée depuis la sortie jusqu'à la couche d'entrée. Les poids et les biais sont ajustés en fonction du gradient de l'erreur. Algorithme utilisé : Descente de Gradient (Gradient Descent) ou ses variantes 6