Deep Learning: Concepts et Avantages

Deep Learning Cours

• Le cours porte sur le Deep Learning
• Le plan du cours est divisé en plusieurs parties :
  • Introduction au Deep Learning (applications au traitement d'images et vidéos, principes généraux et histoire du connexionnisme)
  • Perceptrons multi-couches (exemples en 2 dimensions)
  • Apprentissage par descente du gradient
  • Réseaux à convolutions
  • Réseaux récurrents

Pourquoi le deep learning?

• Les algorithmes ML existants fonctionnent bien pour de nombreuses tâches, mais ont échoué à résoudre des problèmes majeurs d'IA, comme la reconnaissance vocale et la reconnaissance d'objets.
• Le développement du deep learning a été motivé en partie par l'échec des méthodes traditionnelles dans ces domaines.
• L'explosion du Big Data et les progrès des puissances de calcul ont permis de comprendre le potentiel du deep learning.

Autre différence avec les algorithmes de ML traditionnelles

• L'extraction de caractéristiques était, auparavant, effectuée manuellement, étant une étape fastidieuse et demandant un spécialiste du domaine.
• Le deep learning effectue l'extraction de caractéristiques automatiquement.

Introduction au Deep Learning

• Les méthodes d'apprentissage de réseaux de neurones artificiels sont devenues très populaires, au point qu'elles sont confondues avec l'intelligence artificielle.
• Ces méthodes sont très bien adaptées pour le traitement de signaux et d'images avec des quantités de données importantes.

Succès du Deep Learning

• Traduction automatique
• Reconnaissance de texte écrit
• Reconnaissance de la parole
• Lecture sur les lèvres
• Traitement d'images photographiques
• Synthèse d'images à partir de descriptions textuelles
• Véhicules autonomes
• Découvertes de nouvelles molécules en oncologie
• Apprentissage par un robot
• Joueur artificiel de jeux vidéos
• Lecture de lames d'anatomo-pathologie

Applications du Deep Learning - Traitement d'images / Vidéos

• Colorisation d'images en niveaux de gris en images couleur
• Super-résolution d'images basse résolution
• Estimation de la pose
• Synthèse de vidéos

Décrire des photos

• Décrire le contenu d'une image avec des mots ou des phrases.

Analyse de comportement, surveillance

• Analyser les comportements en temps réel.
• Détecter et suivre les mouvements

Traduire (sur des images)

• Détecter, traduire et remplacer le texte dans les images.

Lire sur les lèvres

• LipNet arrive à lire 93% des phrases, surpassant le taux atteint par les humains entrainés, dont le score est de 52%.

Peinture artistiques

• Générer des peintures selon un style à partir d'une photo

Véhicules autonomes

• Le deep learning est utilisé dans le domaine des véhicules autonomes.

Des progrès rapides et des performances impressionnantes

• Le deep learning a permis de résoudre des problèmes complexes, tels que la vision et les jeux de Go, qui étaient considérés auparavant comme difficiles à résoudre.
• Dans de nombreux cas, les systèmes artificiels ont atteint ou dépassé les performances des humains.

Composer des fonctions : réseau multicouche profond

• Un réseau multicouche profond est composé d'une succession de couches, chacune appliquant une fonction.
• Le réseau prend des données en entrée, les traite couche par couche jusqu'à obtenir une sortie.

Approches de l'apprentissage

• Différentes approches de l'apprentissage
• Apprentissage classique
• Apprentissage basé sur des règles
• Apprentissage profond

1957 : le perceptron

• Rosenblatt propose le perceptron pour la classification.
• Le perceptron est un classificateur linéaire dans l'espace d'entrée.

Années 80 : perceptrons multi-couches

• Les perceptrons multi-couches (MLP) peuvent prendre des décision en fonction de plusieurs couches.
• On utilise des non linéarités entre les couches.

Années 90

• Avancées en théorie et applications de l'apprentissage statistique ( SVM, approches bayésiennes)
• Apparition des premières applications industrielles des réseaux de neurones (LeNet, codes postaux).

Années 2000-2019 : croissance de la taille des jeux de données

• Une augmentation significative de la taille des données utilisées pour l'apprentissage des réseaux de neurones profonds.

Années 2000-2019 : croissance de la puissance de calcul

• Amélioration significative des puissances de calcul.
• Apparition de nouveaux matériels (GPU, ASICS).

Quelques dates et quelques noms

• Dates clés et des personnalités importantes dans le domaine du deep learning.

2010 : Deep learning

• Date à laquelle le deep learning connait un renouveau.

Années 2010-2019 : nombreuses applications

• Les différentes applications actuelles associées au deep learning.
• Enjeux économiques et sociétaux

Inspiration biologique

• L'architecture inspiré du cerveau humain.

Qu'est-ce qu'un neurone ?

• Description d'un neurone biologique simplifiée.

Anatomie d'un réseau multicouche (MLP)

• Structure d'un réseau multicouche.
• Couches d'entrée, caches et de sortie

Perceptron multicouche (MLP)

• Des modèles puissants capables d'approximer n'importe quelle fonction d'un ensemble compact vers un autre aussi bien qu'on le désire avec un nombre suffisant de neurones sur la couche cachée et une sortie linéaire.

Types de réseaux de neurones profonds

• MLP
• CNN
• RNN

Neurone et fonction de transfert ReLU

• Fonction d'activation Rectified Linear Unit (ReLU).
• Calcul de l'état d'un neurone.

Exemples en 2 dimensions

• Démonstrations pratiques en 2D.

Apprentissage par descente du gradient

• Généralités sur l'optimisation, trouver les bons paramètres pour un modèle.
• Calcul d'un gradient, exemples d'optimisation.
• Mini batch training
• Batch training (Stochastic Gradient Descent)
• Fonction de coût: MSE (Mean Square Error)

Optimisation 1d

• Graphiques 1D et optimisation.

Exemple : optimisation MSE modèle linéaire

• Exemple d'implémentation d'un apprentissage par descente de gradient en 1D.
• Implementation de la fonction de coût MSE.

Rétropropagation du gradient

• Démonstration de la rétropropagation
• Comprendre les liens de causalités causés par une fonction composée.

Computational Graph

• Représentation graphique du calcul, afin de calculer le gradient d'une fonction composée.

Exercice

• Exemple pratique

Présentation PyTorch

• Utilisation et avantages du framework PyTorch.

Les tenseurs

• Explication de la structure tensorielle

Installation de PyTorch

Résumé

• Points importants sur le Deep Learning.

Plan du cours

• Architecture de reseau multicouche.
• Outils logiciel
• Outils de calcul

Couches complètement connectées

• Les différentes couches associées à un réseau multicouche

Réseau de neurones convolutif

• Le deep learning en reconnaissance d'images et de vidéos.
• Convolution mathématique.
• Couche à convolution, convolution 2D, exemples

Couches de pooling

• Processus de réduction de taille des données dans un réseau convolutif.
• Moyenne et maximum pooling

Couche ReLU (rappel)

• Fonction d'activation

Fonctions d'activations (Rappel)

• Définir différentes fonctions d'activation.

Couche de pooling

• Comprendre et définir les différentes couches incluses dans un réseau convolutif.

Architecture multicouche

• Architecture d'un réseau multicouche incluant les couches de convolutions, de pooling ainsi que la couche de classification.

Couche entièrement connectée

• La description de la couche entièrement connectée associée au réseau multicouche.

Exemple : GoogleLeNet

• Architecture d'un réseau de neurones convolutif GoogleLeNet

Exemple de réseau de neurones récurrents

• RNN