Statistiques et Analyse de Données

Fonction permettant d'afficher les premières valeurs d'un vecteur. Le nombre de valeurs à afficher est spécifié en deuxième argument.

Fonction permettant d'afficher les dernières valeurs d'un vecteur. Le nombre de valeurs à afficher est spécifié en deuxième argument.

Opérateur permettant d'accéder à une variable dans un tableau de données.

Création d'une nouvelle variable dans un tableau de données.

Variable de type numérique qui peut prendre un grand nombre de valeurs. Exemples : âge, revenu, pourcentage.

Variable de type catégoriel qui peut prendre un nombre limité de valeurs. Exemples : sexe, profession, diplôme.

Indicateurs permettant de décrire la manière dont les valeurs d'une variable quantitative se répartissent.

Indicateurs permettant de décrire la dispersion des valeurs d'une variable quantitative.

Un diagramme en barres permet de visualiser la distribution d'une variable qualitative en représentant la fréquence de chaque catégorie par la hauteur d'une barre.

La fonction table() permet de créer un tableau de fréquences pour une variable qualitative.

La fonction barplot() permet de créer un diagramme en barres à partir d'un tableau de fréquences.

La fonction lprop() permet de calculer les proportions en lignes d'un tableau croisé.

La fonction cprop() permet de calculer les proportions en colonnes d'un tableau croisé.

Un histogramme est un outil visuel qui représente la distribution d'une variable quantitative en regroupant les valeurs en classes et en affichant la fréquence de chaque classe sous forme de barres.

Le nombre optimal de classes pour un histogramme dépend de la nature des données.Trop peu de classes conduisent à un manque de précision, tandis que trop de classes créent un effet de granularité excessive.

L'argument "breaks" dans la fonction hist() permet de contrôler le nombre de classes de l'histogramme. Plus le nombre de classes est élevé, plus l'histogramme sera détaillé.

La fonction hist() permet de modifier l'apparence de l'histogramme, notamment en changeant la couleur des barres, le titre du graphique, et les étiquettes des axes.

La fonction hist() est une fonction de base de R permettant de représenter graphiquement la distribution d'une variable quantitative.

Le tidyverse est un ensemble de packages R qui facilitent l'analyse et la visualisation de données. ggplot2 est un package du tidyverse qui permet de créer des graphiques complexes.

La fonction hist() permet de réaliser une analyse univariée, c'est-à-dire l'analyse d'une seule variable.

Mesure qui permet de comparer la proportion d'individus appartenant à une catégorie donnée pour chaque valeur d'une autre variable. Exemple : comparer le pourcentage d'hommes et de femmes dans chaque profession.

Mesure qui permet de comparer la proportion d'individus appartenant à une catégorie donnée pour chaque valeur d'une autre variable. Exemple : comparer le pourcentage d'ouvriers spécialisés dans chaque sexe.

Variable qui influence la variable dépendante et permet de la comprendre. Dans un tableau croisé, la variable indépendante se trouve généralement en colonne.

Variable qui est influencée par la variable indépendante et que l'on cherche à comprendre. Dans un tableau croisé, la variable dépendante se trouve généralement en ligne.

Tableau qui présente la distribution conjointe de deux variables qualitatives. Il est possible de calculer des pourcentages ligne ou colonne pour en extraire les informations pertinentes.

Dans un tableau croisé, il faut privilégier les pourcentages calculés sur la variable indépendante pour faciliter l'interprétation et la comparaison des catégories.

Un tableau croisé est symétrique, la permutation des variables ne change pas l'information. Cependant, il est conseillé de choisir un ordre de lecture qui reflète la relation cause-effet (variable indépendante, variable dépendante) et de calculer les pourcentages en conséquence.

Mesure de l'écart entre les fréquences observées dans un tableau de contingence et les fréquences attendues sous l'hypothèse d'indépendance.

Un résidu inférieur à -2 indique une sous-représentation significative dans une case du tableau de contingence.

Un résidu supérieur à 2 indique une sur-représentation significative dans une case du tableau de contingence.

Un résidu compris entre -2 et 2 suggère qu'il n'y a pas d'écart significatif à l'indépendance pour la case.

Représentation graphique d'un tableau de contingence qui met en évidence les relations entre les variables et les associations.

Fonction R qui permet de créer un diagramme en mosaïque.

Paramètre de la fonction mosaicplot() qui colore les cases du diagramme en fonction des résidus du test du Chi-deux.

Paramètre de la fonction mosaicplot() qui oriente verticalement les étiquettes de colonnes du diagramme.

Test statistique permettant de comparer les moyennes de deux groupes pour vérifier si elles sont significativement différentes.

Valeur calculée lors d'un test statistique, indépendamment de l'hypothèse nulle, qui mesure la force de l'évidence contre l'hypothèse nulle.

Valeur généralement fixée à 0,05, qui représente la probabilité d'accepter une hypothèse erronée.

Hypothèse initiale proposant qu'il n'existe pas de différence significative entre les groupes étudiés.

L'hypothèse qui est acceptée si l'hypothèse nulle est rejetée. Elle affirme généralement qu'il existe une différence significative entre les groupes étudiés.

Intervalle de valeurs qui, avec une certaine probabilité (par exemple, 95 %), contient la vraie valeur de la caractéristique étudiée (par exemple, la différence entre les moyennes).

L'hypothèse nulle est rejetée si la p-value est inférieure à 0.05.

Une distribution normale est représentée par une courbe en forme de cloche symétrique où la plupart des valeurs sont concentrées autour de la moyenne.

Méthode de clustering hiérarchique qui consiste à fusionner les deux clusters les plus proches à chaque étape, en utilisant la distance maximale entre les points de chaque cluster pour déterminer la distance entre les clusters.

Méthode de clustering hiérarchique qui consiste à fusionner les deux clusters les plus proches à chaque étape, en utilisant la distance minimale entre les points de chaque cluster pour déterminer la distance entre les clusters.

Méthode de clustering hiérarchique qui utilise la moyenne des distances entre toutes les paires de points de deux clusters pour déterminer la distance entre les clusters.

Méthode de clustering hiérarchique qui utilise la distance entre les centroïdes (points centraux) de deux clusters pour déterminer la distance entre les clusters.

Méthode de clustering hiérarchique qui minimise la variance totale des clusters à chaque fusion. Elle privilégie les clusters compacts et homogènes.

Le dendrogramme est un diagramme qui représente les étapes successives de la fusion des clusters en CAH. Il permet de visualiser la hiérarchie des clusters.

La hauteur des branches du dendrogramme correspond à la dissimilarité (distance) entre les clusters. Plus la hauteur est grande, plus la dissimilarité est importante.

La décision du nombre optimal de clusters en CAH se fait en regardant le dendrogramme et en cherchant le niveau de hauteur où les branches sont les plus longues. Ce niveau correspond à un bon compromis entre la similarité des clusters et le nombre de clusters.

Fonction R utilisée pour effectuer un clustering hiérarchique. Elle prend en entrée un jeu de données et une méthode de liaison.

Mesure de la force des clusters dans un clustering hiérarchique. Une valeur proche de 1 signifie que les clusters sont très bien séparés.

Méthode de liaison utilisée en clustering hiérarchique qui minimise la variance des clusters à chaque fusion. Elle est généralement la méthode qui produit les meilleurs clusters.

Visualisation d'un clustering hiérarchique qui représente les clusters sous forme de branches d'un arbre. Les branches les plus basses représentent les observations individuelles et les branches les plus hautes représentent les groupes les plus larges.

Métrique utilisée pour déterminer le nombre optimal de clusters dans un clustering hiérarchique. Elle compare la variation totale intra-cluster pour différentes valeurs de k avec leurs valeurs attendues pour une distribution sans clustering.

Ensemble de données intégré à R qui contient le nombre d'arrestations pour 100 000 habitants dans chaque État américain en 1973 pour meurtre, agression et viol, ainsi que le pourcentage de la population de chaque État vivant dans des zones urbaines.

Processus d'ajustement des valeurs d'une variable pour qu'elles aient une moyenne de 0 et un écart type de 1. Cela permet de donner le même poids à chaque variable lors de l'analyse.

Méthode de clustering qui consiste à regrouper les observations les plus similaires en clusters. Les clusters sont ensuite fusionnés de manière hiérarchique jusqu'à ce qu'il ne reste qu'un seul cluster.

La méthode k-means est un algorithme de clustering partitionnel qui vise à partitionner les données en k clusters. L'objectif est d'avoir des k groupes dans lesquels les observations à l'intérieur de chaque groupe sont assez similaires les unes aux autres tandis que les observations dans différents groupes sont très différentes les unes des autres.

L'objectif de l'analyse de cluster est de diviser un ensemble de données en groupes (clusters) tels que les observations au sein d'un cluster soient similaires les unes aux autres et les observations de différents clusters soient différentes les unes des autres.

La méthode cutree() permet de découper le dendrogramme obtenu en CAH pour obtenir des clusters de taille définie. Le résultat est un vecteur de labels qui indique l'identité du cluster pour chaque observation.

Ensemble de points qui sont considérés comme étant les plus similaires, et qui sont regroupés ensemble.

La fonction aggregate() permet de calculer des statistiques (moyenne, somme, etc.) pour chaque cluster en utilisant les labels attribués aux observations.

La méthode du coude est une méthode visuelle pour déterminer le nombre optimal de clusters dans une analyse de clustering k-means. Elle consiste à représenter l'inertie du modèle en fonction du nombre de clusters, et à observer le point de coude de la courbe, qui correspond généralement au nombre optimal de clusters.

L'inertie d'un modèle de clustering k-means représente la somme des distances quadratiques entre chaque point de données et le centre de son cluster. Plus l'inertie est faible, meilleure est la qualité du clustering, car les points de données sont mieux regroupés autour de leur centre de cluster respectif.

L'algorithme k-means est un algorithme de clustering qui partitionne un ensemble de données en k clusters, où k est un nombre entier spécifié. L'algorithme attribue chaque point de données au cluster le plus proche, en minimisant la somme des distances quadratiques entre chaque point et le centre de son cluster.

La fonction fviz_gap_stat() est une fonction du package factoextra utilisée pour créer un graphique de la statistique d'écart en fonction du nombre de clusters. Le graphique permet d'identifier le nombre optimal de clusters en observant le point de la courbe où la statistique d'écart est la plus élevée.

La distance euclidienne mesure la distance entre deux points dans un espace multidimensionnel. Elle est calculée comme la racine carrée de la somme des carrés des différences entre les coordonnées correspondantes des deux points.

La fonction kmeans() permet de réaliser un clustering k-moyennes en R. Elle prend en entrée le jeu de données, le nombre de clusters (k) et le nombre de configurations initiales (nstart).

Le nombre optimal de clusters correspond au nombre de groupes qui maximisent la cohésion au sein des clusters et minimisent la variabilité entre les clusters.

La somme des carrés (TSS) mesure la dispersion totale des données. Elle est calculée en additionnant les carrés des distances de chaque point de données à la moyenne globale. Le graphique du nombre de clusters par rapport au TSS peut aider à identifier un coude, qui suggère le nombre optimal de clusters.

La méthode de mise à l'échelle consiste à standardiser les variables d'un jeu de données en les transformant de sorte qu'elles aient une moyenne de 0 et un écart type de 1.

L'ensemble de données USArrests est un jeu de données intégré à R qui contient des informations sur les taux d'arrestations pour quatre crimes violents dans les États-Unis.

L'algorithme k-moyennes utilise un processus itératif pour trouver les centroïdes (points centraux) des clusters et attribuer chaque point de données au cluster dont le centroïde est le plus proche.

La régression logistique est un modèle statistique utilisé pour prédire la probabilité d'un événement binaire (0 ou 1) en fonction d'une ou plusieurs variables prédictives. Elle utilise une fonction logistique qui transforme une combinaison linéaire de variables prédictives en une probabilité comprise entre 0 et 1.

L'estimation du maximum de vraisemblance est une méthode utilisée pour trouver les valeurs des paramètres d'un modèle qui maximisent la probabilité d'observer les données. En régression logistique, elle est utilisée pour estimer les coefficients de l'équation logistique.

Les coefficients de l'équation logistique représentent l'impact de chaque variable prédictive sur la probabilité de l'événement. Un coefficient positif indique une relation positive entre la variable et la probabilité, tandis qu'un coefficient négatif indique une relation négative.

Le seuil de probabilité est une valeur utilisée pour classer une observation comme appartenant à une classe ou à l'autre. En régression logistique, on utilise généralement un seuil de 0,5, ce qui signifie que les observations avec une probabilité supérieure à 0,5 sont classées comme 1, et les autres comme 0.

Un ensemble d'entraînement est utilisé pour entraîner le modèle de régression logistique en ajustant ses paramètres. Un ensemble de test est utilisé pour évaluer la performance du modèle entraîné sur des données inédites.

La division d'un ensemble de données en ensembles d'entraînement et de test est essentielle pour éviter le surapprentissage. Le surapprentissage se produit lorsque le modèle apprend les détails spécifiques des données d'entraînement et ne généralise pas bien à de nouvelles données.

Les coefficients dans un modèle de régression logistique représentent la variation moyenne du logarithme des chances de l'événement cible pour une unité de changement dans la variable indépendante.

Une valeur p est une probabilité qui indique la force de l'évidence contre l'hypothèse nulle. Dans le contexte de la régression logistique, une faible valeur p indique que la variable indépendante est un prédicteur significatif de l'événement cible.

Le seuil de probabilité optimal est la valeur de probabilité qui maximise la précision du modèle prédictif. En régression logistique, il détermine le point de coupure entre les prédictions positives et négatives.

L'ensemble de données de test est utilisé pour évaluer les performances d'un modèle prédictif après son entraînement sur l'ensemble de données d'apprentissage.

Le diagnostic du modèle permet d'évaluer la qualité et la fiabilité d'un modèle de régression logistique. Il permet de détecter les problèmes potentiels tels que la sur-adaptation ou la sous-adaptation.

La sur-adaptation se produit lorsqu'un modèle de régression logistique est trop ajusté aux données d'apprentissage et ne peut pas généraliser à de nouvelles données.

La sous-adaptation se produit lorsqu'un modèle de régression logistique n'est pas suffisamment ajusté aux données d'apprentissage et ne peut pas capturer les relations complexes entre les variables.

La sensibilité, aussi appelée taux de vrais positifs, mesure la proportion des cas positifs correctement identifiés par le modèle.

La spécificité, également appelée taux de vrais négatifs, mesure la proportion des cas négatifs correctement identifiés par le modèle.

La courbe ROC (Receiver Operating Characteristic) représente la performance d'un modèle de classification en fonction de différents seuils de probabilité.

L'AUC, ou aire sous la courbe, représente l'aire sous la courbe ROC. Plus l'AUC est élevée, plus le modèle est capable de prédire avec précision les résultats.

Les arbres de classification et de régression (CART) sont un algorithme d'apprentissage supervisé utilisé pour construire des arbres de décision qui prédisent la valeur d'une variable de réponse.

Un arbre de régression utilise des variables prédictives pour prédire une variable de réponse continue.

Un arbre de classification utilise des variables prédictives pour prédire une variable de réponse catégorielle.

C'est un paramètre qui contrôle la taille de l'arbre de décision. Une petite valeur de 'cp' permet de construire un arbre plus grand et plus complexe, tandis qu'une grande valeur de 'cp' permet de construire un arbre plus petit et plus simple.

C'est le processus qui consiste à supprimer des branches d'un arbre de décision, afin d'améliorer sa capacité à généraliser à de nouvelles données. Il permet de réduire le sur-apprentissage.

La taille de l'arbre de décision est déterminée par le nombre de noeuds terminaux. Chaque noeud terminal représente une décision finale et permet de classer un individu dans une catégorie spécifique.

C'est la capacité d'un modèle de prédiction à généraliser à de nouvelles données. Un modèle qui est capable de prédire avec précision de nouvelles données est considéré comme ayant une bonne capacité de généralisation.

La probabilité de survie est calculée en divisant le nombre de passagers ayant survécu par le nombre total de passagers dans un noeud terminal donné.

L'arbre de régression initial est créé avec un petit paramètre de complexité (cp) qui permet de construire un arbre grand et détaillé. Plus la valeur de cp est petite, plus l'arbre sera complexe.

L'élagage consiste à simplifier l'arbre de régression en éliminant les branches non significatives pour améliorer la performance du modèle sur de nouvelles données. La valeur optimale de cp correspond à la plus faible erreur de test (xerror).

L'erreur de test (xerror) correspond à l'erreur du modèle sur les données de validation croisée. Elle permet d'évaluer la performance du modèle sur des données inédites. Plus l'erreur est faible, meilleure est la performance du modèle.

La fonction printcp() affiche les résultats de l'arbre de régression, notamment l'erreur de test (xerror) pour chaque valeur de cp. Elle permet d'évaluer la performance du modèle pour différents niveaux de complexité de l'arbre.

Un nœud terminal d'un arbre de régression représente une prédiction pour un groupe d'observations ayant des caractéristiques similaires. Chaque nœud terminal affiche la prédiction et le nombre d'observations appartenant à ce groupe.

L'ensemble de données ptitanic contient des informations sur les passagers du Titanic. Il est utilisé pour illustrer la construction d'un arbre de classification.

Les variables prédictives utilisées pour construire un arbre de classification (comme la classe, le sexe et l'âge) sont utilisées pour déterminer la classe d'une observation. Des règles de décision sont établies en fonction de ces variables.