Processus ECD et Apprentissage Supervisé

Aperçu Général sur le Processus ECD

• Le processus ECD est composé de trois phases principales : préparation des données, Data Mining (DM) et interprétation & validation des modèles.
• Le DM constitue la phase centrale du processus ECD.

Phase II : Data Mining

• Le DM prédictif utilise l'apprentissage supervisé pour extrapoler de nouvelles informations à partir des données existantes.
• L'apprentissage supervisé permet de prédire la classe de nouvelles données observées via des méthodes de classification et de régression.

Apprentissage Supervisé

• La classification prédit des valeurs discrètes, tandis que la régression prédit des valeurs continues.
• Les techniques les plus couramment utilisées en apprentissage supervisé incluent :
  • Arbres de décision
  • Réseaux de neurones
  • Régression logistique/linéaire
  • Support Vector Machine (SVM)
  • Gradient Boosting/XGBoost/CatBoost
  • Random Forest

Phase III : Validation

• La validation des modèles est essentielle car les modèles extraits ne peuvent pas être utilisés directement en toute fiabilité.
• La validation consiste à évaluer la performance et la fiabilité des modèles prédictifs.

Identification des Valeurs Manquantes NaN

• La fonction df.isnull().sum() identifie le nombre total de valeurs manquantes dans un DataFrame.
• La fonction df.isnull().sum().sum() donne le nombre total de valeurs manquantes dans tout le DataFrame.

Nettoyage des Données : Traitement des NaN

• Il existe deux méthodes pour traiter les NaN: suppression des instances/colonnes ou remplissage des valeurs manquantes.
• La méthode de suppression utilise la fonction dropna pour supprimer les lignes/colonnes contenant des NaN.
• La méthode de remplissage utilise la fonction fillna pour remplacer les NaN par une valeur fictive ou par l'élément le plus fréquent/moyenne/médiane.
• La fonction SimpleImputer peut également être utilisée pour remplir les valeurs manquantes.

Traitement des NaN : Remplissage (1/2)

• Le remplissage des valeurs manquantes par une valeur fictive est une méthode simple permettant de compléter le jeu de données.

Nettoyage des Données : Traitement des Outliers

• Les outliers sont des valeurs aberrantes qui peuvent fausser l'analyse et l'interprétation des données.
• La méthode de la boîte à moustaches (sns.boxplot()) peut être utilisée pour visualiser les outliers.
• Des calculs de quantiles et d'IQR (Interquartile Range) permettent de définir des limites pour identifier et traiter les outliers.

Règles d’Association

• Les règles d’association visent à identifier des relations fréquentes entre des items dans un ensemble de données.
• Les règles d’association sont généralement représentées sous la forme "X → Y" où X est l’antécédent et Y est la conséquence.
• Lift: Mesure la force d’une association entre deux items
  • Lift R > 𝟏 : association positive
  • Lift R < 𝟏 : association négative
  • Lift R = 𝟏 : indépendance
• Conf: La confiance d’une règle mesure la probabilité que l’antécédent soit pertinent pour la conséquence.

Activité 2

• Exemple d’application des règles d’association avec le calcul du support, de la confiance et du lift pour une règle donnée.

Quiz

• Questions sur les règles d’association permettant de tester la compréhension des concepts et des mesures clés.

Leverage

• Le leverage mesure la différence entre la fréquence réelle d’apparition conjointe de deux items et la fréquence attendue si ces items étaient indépendants.
  • leverage R > 𝟎 : association forte
  • leverage R < 𝟎 : association faible
  • leverage R = 𝟎 : aucun lien

Conviction

• La conviction mesure la force d’une relation entre deux items en prenant en compte la probabilité que la conséquence soit absente lorsque l’antécédent est présent.
  • conviction R > 𝟏 : Règle fiable
  • conviction R < 𝟏 : Règle non fiable
  • conviction R = 𝟏 : Règle non fiable

Zhang_metric

• La métrique de Zhang mesure la force ou la dépendance entre des items dans une règle d’association.
  • Zhang_metric R > 𝟎 : association positive
  • Zhang_metric R < 𝟎 : association négative
  • Zhang_metric(R) = 𝟎: pas de dépendance

Inconvénients des Règles d’Association

• Coût élevé de la méthode en termes de temps de calcul.
• Difficulté à fixer le bon niveau de support pour les articles.
• Risque de produire des règles triviales ou inutiles.

Mlextend

• Le package Mlextend fournit des fonctions pour l'analyse des règles d'association.
• apriori permet d'identifier les items fréquents.
• association_rules permet de générer des règles d'association à partir des items fréquents.

Ce quiz couvre le processus ECD, en se concentrant sur les phases de Data Mining et d'apprentissage supervisé. Vous découvrirez les techniques de classification et de régression, ainsi que leur application dans l'extrapolation d'informations à partir de données existantes. Testez vos connaissances sur les outils et les méthodes utilisés dans ces phases.