PyTorch : Fonctions d'activation et descente de gradient

Quelle est une fonction d'activation couramment utilisée dans les réseaux de neurones?

Un MLP a 3 neurones d'entrée, 4 neurones dans une couche cachée et 2 neurones dans la couche de sortie. Sans compter les biais, combien de paramètres ce réseau a-t-il?

Quelle est une fonction de coût typique pour les problèmes de régression?

Quelle fonction de coût est le plus souvent utilisée dans les problèmes de classification?

Comment s'appelle l'algorithme utilisé pour optimiser les paramètres dans un réseau de neurones afin de minimiser la fonction de coût?

Si les gradients divergent pendant l'entraînement, comment pouvez-vous le détecter et comment pouvez-vous atténuer ce problème en ajustant le taux d'apprentissage?

Comment s'appelle la variante de descente de gradient qui calcule le gradient et met à jour les paramètres pour chaque point de données unique?

Comment s'appelle l'algorithme utilisé pour calculer les gradients des poids d'un réseau de neurones?

Sur quelle règle mathématique la rétropropagation est-elle principalement basée?

Qu'est-il important de calculer avant d'effectuer la rétropropagation dans un réseau de neurones?

Quelle structure de données est couramment utilisée pour orchestrer à la fois les passes avant et arrière dans les réseaux de neurones?

Dans PyTorch, comment s'appelle la classe de base que vous devez étendre pour créer un réseau de neurones personnalisé?

Comment appelle-t-on une itération complète sur l'ensemble du jeu de données d'entraînement pendant la phase d'entraînement d'un réseau de neurones?

Quelle fonction d'activation est connue pour atténuer le problème de disparition des gradients dans les réseaux profonds?

Quelle technique peut être utilisée pour empêcher le surajustement dans un réseau de neurones?

Quel est le but des couches de convolution dans un CNN?

Quel type de réseau de neurones est particulièrement adapté au traitement des données séquentielles?

Quelle est la fonction d'une couche de mise en pool dans un réseau de neurones convolutif (CNN)?

Quelle technique est utilisée pour résoudre le problème de disparition du gradient dans les réseaux de neurones récurrents (RNN)?

Quelle méthode est utilisée pour régulariser un réseau de neurones en désactivant aléatoirement certains neurones pendant la phase d'entraînement?

Quelle fonction de perte est la plus appropriée pour les problèmes de classification à classes multiples où les classes s’excluent mutuellement?

Quelle méthode de descente de gradient utilise l’estimation du gradient basée sur un sous-ensemble aléatoire ou sur le lot de données?

Lors de l’entraînement des réseaux de neurones, quel est l’avantage de l’utilisation d’un taux d’apprentissage variable?

Quelle technique peut aider à résoudre le problème du surajustement en ajoutant du bruit à des données au cours des étapes de formation?

Dans les réseaux de neurones récurrents (RNN), à quoi sert la porte de réinitialisation dans une unité à mémoire à court terme longue (LSTM)?

Quelle des propositions suivantes n’est pas une fonction d’activation?

Quelle des propositions suivantes représente le plus précisément le rôle d’une fonction de perte?

Si un modèle d’apprentissage machine se surajuste à l’ensemble de formation, quelle stratégie pourrait servir à améliorer sa performance de généralisation?

Quel type de couche est couramment utilisé dans les réseaux de neurones convolutifs (CNN) pour réduire les dimensions spatiales des entrées tout en conservant les principales informations?

Quelle des propositions suivantes est une caractéristique de la descente de gradient stochastique (SGD)?

Dans les réseaux de neurones récurrents (RNN), quelle technique sert principalement à traiter des séquences de longueur variable?

Dans le cadre de la détection d’objets avec des réseaux de neurones convolutifs (CNN), quelle option décrit le mieux le rôle des boîtes d’ancrage?

Quelle des propositions suivantes décrit le mieux l’architecture du transformateur?

Parmi les stratégies suivantes, laquelle peut aider à atténuer le problème de l’explosion des gradients dans les réseaux de neurones?

Quelle des propositions suivantes décrit le mieux le rôle d’un réseau contradictoire génératif (GAN)?

Quelle des propositions suivantes décrit le mieux le rôle du mécanisme d’attention dans les transformateurs?

Quelle des propositions suivantes décrit le mieux l’objectif du réglage fin d’un modèle de langage préentraîné comme BERT ou GPT pour une tâche en aval particulière?

À quoi sert principalement la normalisation par lots dans les réseaux de neurones?