Deep Learning - Réseau de neurone artificiel PDF

DEEP LEARNING Réseau de neurone artificiel OUBDA Raphaël Nicolas W Ouagadougou Novembre 2024. Plan 1 Exemple pratique 2 Entrainer un réseau de neurone artificiel (ANN) Fonction d’activation Les poids Fonction coût Erreur quadratiq...

DEEP LEARNING Réseau de neurone artificiel OUBDA Raphaël Nicolas W Ouagadougou Novembre 2024. Plan 1 Exemple pratique 2 Entrainer un réseau de neurone artificiel (ANN) Fonction d’activation Les poids Fonction coût Erreur quadratique moyenne Perte logistique Optimisation La descente de gradient Descente de gradient stochastique(ou Stochastic Gradient Descent, SGD)  Exemple pratique Entrainer un réseau de neurone artificiel (ANN) Exécution du plan 1 Exemple pratique 2 Entrainer un réseau de neurone artificiel (ANN) Fonction d’activation Les poids Fonction coût Erreur quadratique moyenne Perte logistique Optimisation La descente de gradient Descente de gradient stochastique(ou Stochastic Gradient Descent, SGD) OUBDA Deep learning 3 / 22  Exemple pratique Entrainer un réseau de neurone artificiel (ANN) Exemple Vous travaillez dans une banque et qu’on vous de mandez de construire un modèle pour prédire si un utilisateur pourrait ou non obtenir un prêt ? Critère d’évaluation : Age ; salaire ; travail ; retraite. OUBDA Deep learning 4 / 22  Exemple pratique Entrainer un réseau de neurone artificiel (ANN) Exemple OUBDA Deep learning 5 / 22  Exemple pratique Entrainer un réseau de neurone artificiel (ANN) L’architecture d’un réseau de neurone. L’architecture du réseau de neurone se compose : La couche d’entrée qui comprend les caractéristiques telles que l’age, le salaire annuel, le solde bancaire, etc. la couche de sortie qui génère la prédiction du modèle. Dans notre cas savoir si un client devrait obtenir un prêt ou non. les couches en dehors des couches d’entrées et de sortie sont appelées couches cachées. OUBDA Deep learning 6 / 22  Exemple pratique Entrainer un réseau de neurone artificiel (ANN) Comment le réseau de notre exemple peut-il faire des prédiction ? le réseau effectue une propagation directe ; Pour simplifier l’exemple considérons deux caractéristiques en entrée à savoir l’age et le statut de travail (1-travail et 0-sans travail) OUBDA Deep learning 7 / 22  Exemple pratique Entrainer un réseau de neurone artificiel (ANN) Comment le réseau de notre exemple peut-il faire des prédiction ? OUBDA Deep learning 8 / 22  Fonction d’activation Exemple pratique Les poids Entrainer un réseau de neurone artificiel (ANN) Fonction coût Optimisation Exécution du plan 1 Exemple pratique 2 Entrainer un réseau de neurone artificiel (ANN) Fonction d’activation Les poids Fonction coût Erreur quadratique moyenne Perte logistique Optimisation La descente de gradient Descente de gradient stochastique(ou Stochastic Gradient Descent, SGD) OUBDA Deep learning 9 / 22  Fonction d’activation Exemple pratique Les poids Entrainer un réseau de neurone artificiel (ANN) Fonction coût Optimisation Fonction d’activation OUBDA Deep learning 10 / 22  Fonction d’activation Exemple pratique Les poids Entrainer un réseau de neurone artificiel (ANN) Fonction coût Optimisation Les poids les poids sont la clé du deep learning que nous entraînons et qu’on mets à jour lorsque nous adaptons un réseau neuronal aux données. ces poids peuvent être appelésparamètres également. OUBDA Deep learning 11 / 22  Fonction d’activation Exemple pratique Les poids Entrainer un réseau de neurone artificiel (ANN) Fonction coût Optimisation Récapitulons C’est quoi un réseau de neurone ? OUBDA Deep learning 12 / 22  Fonction d’activation Exemple pratique Les poids Entrainer un réseau de neurone artificiel (ANN) Fonction coût Optimisation Entrainer un réseau de neurone dans la pratique Choisir des poids proches de 0 ; la propagation des données se fait de gauche à droite et à la fin on aura les valeurs prédites ( Forward propagation) ; Comparer les valeurs prédites avec les valeurs réelles et mesurer la fonction coût ( Cost function) ; Propagation de droite à gauche pour mettre à jour les poids ( Back propagation) ; Refaire les étapes précédentes pour avoir une erreur minimale en utilisant le gradient descent ( Gradient descent) ; OUBDA Deep learning 13 / 22  Fonction d’activation Exemple pratique Les poids Entrainer un réseau de neurone artificiel (ANN) Fonction coût Optimisation Entraîner un réseau de neurone dans la pratique OUBDA Deep learning 14 / 22  Fonction d’activation Exemple pratique Les poids Entrainer un réseau de neurone artificiel (ANN) Fonction coût Optimisation Fonction coût Entraîner un modèle de deep learning consiste à ajuster les paramètres (poids) pour qu’ils s’adaptent aux données d’entrées. Lors de l’entraînement on doit choisir une fonction coût( aussi appelée fonction de perte ou loss function) dans l’optique d’optimiser le modèle. l’optimisation consiste à régler les paramètres (les poids) du modèle de manière à minimiser l’erreur. OUBDA Deep learning 15 / 22  Fonction d’activation Exemple pratique Les poids Entrainer un réseau de neurone artificiel (ANN) Fonction coût Optimisation Erreur quadratique moyenne L’erreur quadratique moyenne (ou Mean Squared Error, MSE) est la fonction de perte la plus couramment utilisée dans les contextes de régression. Elle est définie comme suit : n : nombre de mesure yi : valeurs prédites par le modèle ŷ : valeurs observées OUBDA Deep learning 16 / 22  Fonction d’activation Exemple pratique Les poids Entrainer un réseau de neurone artificiel (ANN) Fonction coût Optimisation Erreur quadratique moyenne Sa forme quadratique tend à pénaliser fortement les erreurs importantes : OUBDA Deep learning 17 / 22  Fonction d’activation Exemple pratique Les poids Entrainer un réseau de neurone artificiel (ANN) Fonction coût Optimisation Perte logistique La perte logistique (log loss) est la fonction de perte la plus largement utilisée pour entraîner des réseaux neuronaux dans des contextes de classification. Elle est définie comme suit : 1X ˆ = yi) −logp(yi n n n : nombre de mesure ˆ p(yi=yi) est la probabilité prédite par le modèle pour la classe correcte yi OUBDA Deep learning 18 / 22  Fonction d’activation Exemple pratique Les poids Entrainer un réseau de neurone artificiel (ANN) Fonction coût Optimisation Perte logistique Sa formulation tend à favoriser les cas où le modèle prédit la classe correcte avec une probabilité proche de 1, comme on peut s’y attendre : OUBDA Deep learning 19 / 22  Fonction d’activation Exemple pratique Les poids Entrainer un réseau de neurone artificiel (ANN) Fonction coût Optimisation Optimisation L’optimisation fait référence au processus d’ajustement des paramètres d’un réseau neuronal pour minimiser la fonction de perte ; Une optimisation efficace est essentielle pour entraîner efficacement les modèles d’apprentissage profond et obtenir de bonnes performances. OUBDA Deep learning 20 / 22  Fonction d’activation Exemple pratique Les poids Entrainer un réseau de neurone artificiel (ANN) Fonction coût Optimisation La descente de gradient où p est un hyper-paramètre appelé le taux d’apprentissage (ou learning rate). La descente de gradient consiste à mettre jour itérativement theta dans la direction de la plus forte diminution de la perte. OUBDA Deep learning 21 / 22  Fonction d’activation Exemple pratique Les poids Entrainer un réseau de neurone artificiel (ANN) Fonction coût Optimisation Descente de gradient stochastique OUBDA Deep learning 22 / 22