Untitled Quiz

Formation complémentaire : méthodologie de recherche

• Présentation de la méthodologie de recherche.
• But : analyse de données.
• Auteur : Oumayma BANOUAR du L2IS, FSTG, UCAM.

Analyse de données

• Les algorithmes d'apprentissage automatique sont basés sur des données.
• Ces données sont aussi appelées échantillons, observations ou exemples.
• Deux familles de jeux de données sont utilisées :
  • Les données étiquetées : chaque observation est associée à une étiquette.
  • Les données non étiquetées : aucune étiquette n'est associée.

Data Pipeline

• Processus d'analyse de données pour l'apprentissage automatique.
• Phases du pipeline :
  • Exploration et validation des données.
  • Nettoyage et transformation des données.
  • Entraînement du modèle.
  • Évaluation du modèle.
  • Optimisation et réglage du modèle.
  • Intégration et maintenance du modèle.

Collecte de données

• Acquisition de données pertinentes pour l'entraînement et l'évaluation du modèle.
• Exploration et prétraitement des données : analyse, nettoyage, normalisation, et transformation en format d'entraînement.
• Choix du modèle et entraînement : sélection d'un algorithme de machine learning et entraînement sur les données.
• Évaluation et validation du modèle : évaluation de la performance sur des données de validation ou de test.
• Optimisation du modèle : ajustement des hyperparamètres et des paramètres du modèle pour améliorer la performance.
• Déploiement et maintenance du modèle : intégration, suivi de la maintenance continue pour assurer la performance à long terme.

Collecte et préparation des données

• Collecte et préparation des données : nettoyage, transformation, augmentation/réduction et échantillonnage des données.
• Identification des attributs des données les plus pertinents.
• Visualisation des données
• Tests et interprétation.

Collecte des données

• Définition des objectifs : définition claire des objectifs de la recherche. Définition des questions de recherche et des hypothèses ainsi que les variables à étudier.
• Sélection de la méthode de collecte :
  • Enquêtes et questionnaires.
  • Entretiens.
  • Observations.
  • Sources secondaires.
  • Expériences.
• Conception des instruments de collecte : instruments pertinents et fiables.
• Questionnaires : questions claires et non biaisées
• Guides d'entretien : questions ouvertes pour des réponses détaillées
• Fiches d'observation : aspects à observer et comment les enregistrer
• Échantillonnage : techniques probabilistes ou non probabilistes (aléatoire, commodité, etc.)
• Collecte des données : organisation rigoureuse pour des données cohérentes et précises.

Préparation des données

• Exploration des données : analyse initiale pour comprendre structure, caractéristiques et tendances. Utilisation de statistiques descriptives (moyenne, médiane, écart-type) et de visualisations.
• Nettoyage des données : identification et correction des erreurs, valeurs manquantes, incohérences.
  • Suppression de valeurs aberrantes
  • Imputation de valeurs manquantes.
  • Normalisation des données
• Transformation des données : conversion en format plus approprié pour l'entraînement des modèles
  • Transformation des données catégorielles en numériques
  • Encodage des variables catégorielles
  • Création de nouvelles caractéristiques à partir des existantes
  • Réduction de la dimensionnalité
  • Augmentation des données pour plus de robustesse

Préparation des données : données manquantes

• Types de données manquantes (MCAR, MAR, NMAR)
  • MCAR: (missing completely at random): la valeur est manquante de façon aléatoire.
  • MAR: (missing at random): La probabilité de la valeur manquante est corrélée à une autre variable explicative connue.
  • NMAR:(not missing at random): La probabilité de valeur manquante dépend d'une autre variable qui n'est pas observée

Préparation des données : Méthodes pour traiter les données manquantes

• Suppression des observations
• Imputation de valeurs artificielles
• Imputation par la moyenne/mode
• Imputation par régression

Modèles machine learning non supervisé : Clustering Kmeans

• K-Means est un algorithme de clustering largement utilisé en apprentissage automatique non supervisé.
• Objectif : regrouper un ensemble de données en un certain nombre de groupes (clusters).
• Entrée : Nombre de clusters k et données d'entrée à clusteriser.
• Étape 1 : Initialisation aléatoire de k points comme centres de clusters initiaux.
• Étape 2 : Affectation des points aux clusters, calculer la distance entre le point et chaque centroïde, assigner au cluster celui le plus proche.
• Étape 3 : Mise à jour des centroïdes, calculer le nouveau centroïde comme la moyenne des points attribués à ce cluster.
• Étape 4 : Répéter les étapes 2 et 3 jusqu'à convergence.
• Sortie : Affectations de cluster pour chaque point et centroïdes finaux pour chaque cluster.

Données non équilibrées

• Le déséquilibre de classes peut entraîner des modèles biaisés.
• Techniques d'oversampling/undersampling
  • Oversampling : augmentation de la classe minoritaire.
  • Undersampling : réduction de la classe majoritaire.

Validation et évaluation du modèle

• Test fractionné : l'ensemble de données est divisé en ensemble d'entraînement et test.
• Validation Croisée ou k-fold validation : L'ensemble de données est divisé en k ensembles, le modèle est entraîné, et chaque ensemble une fois en jeu pour l'évaluation.

Modèles de classification supervisés: Matrice de confusion

• Précision : proportion des items pertinents parmi les items proposés
• Rappel : proportion des items pertinents parmi l'ensemble des items pertinents

Validation et évaluation du modèle : Cas de classification binaire

• Courbe ROC: représente la performance du modèle à différents seuils de classification pour sélectionner le seuil optimal.

Analyse par régression, régression logistique

• Détecter la variable cible et les variables explicatives.
• Calculer la corrélation entre variables.
• Normaliser les données.
• Appliquer la régression (multiple/logistique)
• Sélectionner les variables les plus impactantes.
• Valider le modèle (mesures en fonction de la régression).

Modèles machine learning supervisé

• Régression logistique : utilisé pour la classification binaire.
• Fonction sigmoid(z) : retourne 1 / (1 + exp(-z))
• Fonction entraîner_regression_logistique(X, y, taux_apprentissage, nombre_iterations) : initialise les coefficients, calcule la prédiction, calcule l'erreur, met à jour les coefficients et retourne les coefficients appris.
• Fonction prédire_regression_logistique(X, β) : calcule la prédiction, classe l'observation et retourne les prédictions.

Préparation des données : Réduction de dimensionnalité

• Utilisation de l'analyse fonctionnelle : ACP (Analyse en Composantes Principales)
• Résumer le tableau pour identifier les variables ou combinaisons de variables.
• Identifier les composantes principales (CP) qui déterminent la différence entre individus.
• Examiner la position des individus le long des CP
• Étudier les relations des variables le long des CP.

Choix des tests statistiques

• Chaque question de recherche correspond à un ou des tests.
• Description (effectifs, moyen, écart-type, pourcentage, médiane)
• Association (corrélation de Pearson et de Spearman)
• Comparaison (t test, ANOVA, Chi-2).
• Prédiction (Régression linéaire, régression logistique).

Variables à étudier

• Variables qualitatives :
  • Nominales: couleur des yeux, sexe, type de BAC, code postal, groupes sanguins, état matrimonial.
  • Ordinales : mention du BAC, satisfaction, stade d'une maladie
• Variables quantitatives :
  • Continues : poids, taille, distance, salaire, vitesse.
  • Discrètes : note, nombre d'enfants, nombre de pièces par maison.

Données indépendantes/appariées

• Données indépendantes : les observations sont indépendantes les unes des autres, ex: résultats scolaires filles et garçons, dosage d’un produit chez différents groupes.
• Données appariées : individus soumis à des mesures successives d’une même variable, ex: notes de copies, dosage d'un produit avant/après traitement.

Tests statistiques les plus couramment utilisés

• Tests paramétriques : nécessitent une distribution normale des données (ex: Test t de Student, Test ANOVA, coefficient de corrélation - test de Pearson).
• Tests non-paramétriques : ne nécessitent pas de distribution normale (ex: Test de Wilcoxon, Test de Mann–Whitney, Test de Kruskal-Wallis, Test de corrélation de Spearman).

Stratégie globale pour le choix des tests statistiques (diagramme)

• Dépend de la normalité et de l'égalité des variances
• Test de Student dans cas où la normalité et l'égalité des variances sont vérifiées, etc.

Tests de normalité de distribution

• Ex: Vérifier si une variable numérique est normalement distribuée dans une population.
• Méthode : Test de Kolmogorov-Smirnov.

Test de Dixon

• Pour déterminer si une valeur est aberrante.
• Calculer le rapport entre la différence entre une valeur et sa voisine et l'étendue globale des mesures.

Conclusion, résumé et annexes

• Décrire de façon concise les points importants.
• Rester clair dans la conclusion.
• Résumé : doit donner une idée global sur le travail.
• Annexes : doc détaillées, questionnaires, etc.

Bibliographie

• Permettre aux lecteurs de trouver les sources utilisées dans la recherche.
• Citations récentes et pertinentes.
• Adhésion à la norme du journal.

Quelques consignes générales

• Langue, style, etc.
• Éviter de reprendre les informations d'autres auteurs sans les citer, utiliser les citations appropriées et les références bibliographiques.