Introduction au Gradient Descent

Introduction au Gradient Descent

• Présenté par Oussama El Hamati et Youness Tebbaq
• Encadrée par Mme Benghachoua

Plan de la Présentation

• Rappel sur la régression linéaire
• Fonction coût
• Descente de gradient
• L'analogie de la montagne
• Algorithme de la descente de gradient
• Explication mathématique
• Calcul du gradient

Régression Linéaire

• La régression linéaire est une méthode utilisée pour modéliser la relation entre une variable dépendante et une ou plusieurs variables indépendantes.
• Elle vise à trouver la meilleure ligne droite pour représenter la relation entre les variables.

Fonction Coût

• La fonction coût mesure l'erreur entre chaque point de données et le modèle.
• Elle quantifie la qualité du modèle de régression linéaire.
• Elle s'exprime par la moyenne des erreurs au carré.
• La forme de la fonction coût est parabolique, le minimum représentant le point le plus optimal pour les paramètres du modèle.

L'Analogie de la Montagne

• L'analogie de la montagne illustre le processus de descente de gradient.
• Le randonneur (le modèle) doit trouver le point le plus bas de la montagne (un minimum) pour trouver les valeurs optimales des paramètres.

Algorithme de la Descente de Gradient

• L'algorithme de descente de gradient est une méthode itérative qui permet d'approcher le minimum d'une fonction coût.
• Il consiste à modifier les paramètres du modèle dans la direction opposée au gradient de la fonction coût, pour atteindre le minimum d'erreur.
• Il utilise un taux d'apprentissage pour contrôler l'amplitude des ajustements.

Explication Mathématique

• Le gradient de la fonction coût désigne la pente.
• La formule de mise à jour des paramètres est aᵢ₊₁ = aᵢ – α ∂J(aᵢ)/∂aᵢ
• α représente le taux d'apprentissage.

Calcul du Gradient

• Le calcul du gradient pour la régression linéaire est ∂J(a,b)/∂a = (1/m) * Σ(x⁽ⁱ⁾ * (ax⁽ⁱ⁾ + b - y⁽ⁱ⁾))
• Le calcul du gradient pour la régression linéaire est ∂J(a,b)/∂b = (1/m) * Σ(ax⁽ⁱ⁾ + b - y⁽ⁱ⁾)

Conclusion

• Le jeu de données est utilisé pour entraîner le modèle
• La fonction coût mesure l'erreur entre les prédictions du modèle et les valeurs réelles
• Les gradients permettent de calculer l'amélioration des paramètres du modèle pour minimiser la fonction coût.
• L'algorithme est utilisé pour ajuster les paramètres du modèle pour atteindre un minimum de la fonction coût à travers une technique itérative.

Ce quiz traite des concepts fondamentaux du Gradient Descent, incluant la régression linéaire et la fonction coût. Il explore l'analogie de la montagne pour comprendre l'optimisation. Préparez-vous à tester vos connaissances sur ces méthodes d'apprentissage automatique.