Introduction à la psychométrie – Cours 2 PDF

Introduction à la psychométrie PSY2003 1 Cours 2 Modèle de la cible et usage anticipé Lauzon, adapté de Trudeau et Guilbert Capsule Boîte à outils La technique Pomodoro  Truc de...

Introduction à la psychométrie PSY2003 1 Cours 2 Modèle de la cible et usage anticipé Lauzon, adapté de Trudeau et Guilbert Capsule Boîte à outils La technique Pomodoro  Truc de pro! Le faire avec autrui (aspect motivant et crée un Technique Pomodoro engagement à travailler) Séances organisées par Thèsez-vous? 1. Décider de la tâche à effectuer 2. Régler le pomodoro (minuteur) pour une période donnée (25 ou 50 minutes) 3. Travailler sur la tâche jusqu'à ce que le minuteur sonne 4. Prendre une courte pause (5-10 minutes) 5. Recommencer! (prendre une pause plus longue après quelques cycles) https://pomofocus.io/ Technique développée par Francesco Cirillo Lauzon  PETIT MOT SUR LE TRAVAIL Retour sur la formation des groupes de travail Groupes attribués à un des deux auxiliaires Laurianne Rioux William Mayer [email protected] [email protected] Groupes 01, 02, 03, 04, 05, Groupes 13, 14, 15, 16, 06, 07, 08, 09, 10, 11, 12 17, 18, 19, 20, 21 Lauzon 4 Méthode qualitative ou méthode quantitative? 1. Méthode utilisée pour effectuer l’analyse d’une entrevue 2. Méthode permettant de capturer plus de nuance et de richesse 3. Méthode démontrant le plus de rigueur scientifique Lauzon Seuls les chercheurs en psychologie utilisent la psychomértrie. A. Vrai B. Faux Lauzon Aujourd’hui… PLAN DE LA SÉANCE 1 Présentation du modèle de la cible 2 Étape 1 : usage anticipé 3 Exercice #1 4 Jalon 7 LE MODÈLE DE LA CIBLE (Chiocchio, 1996) Un processus qui décrit: Comment construire/modifier un instrument psychométrique. Comment vérifier les qualités psychométriques d’un instrument. Lauzon, adapté de Trudeau et Guilbert 8 LE MODÈLE DE LA CIBLE Utilité Validité Fiabilité (fidélité) Lauzon, adapté de Trudeau et Guilbert 9  TROIS CONCEPTS Fidélité ou Fiabilité Quel niveau d’erreur de mesure l’instrument contient-il? Validité À quel point l’instrument mesure-t-il ce qu’il est censé mesurer? Utilité Est-ce que l’instrument sert à quelque chose? Lauzon, adapté de Trudeau et Guilbert 10 DEUX PHASES Préparation Vérification 11 22 33 4 45 65 6 Les 6 étapes du Modèle Lauzon, adapté de Trudeau et Guilbert 11  SIX ÉTAPES 1.Usage anticipé 2.Conceptualisation 3.Élaboration 4.Stabilité 1 2 3 4 5.Congruence 5 6 6.Usage recommandé Lauzon, adapté de Trudeau et Guilbert 12 DEUX TÂCHES Objectifs Moyens Lauzon, adapté de Trudeau et Guilbert 13  VUE D’ENSEMBLE 1.Usage anticipé 2.Conceptualisation 3.Élaboration 4.Stabilité 1 2 3 4 5.Congruence 5 6 6.Usage recommandé Lauzon, adapté de Trudeau et Guilbert 14  Parmi la fiabilité, la validité et l’utilité, quel concept fait référence au niveau d’erreur de mesure de l’instrument? A. Fidélité B. Validité C. Utilité Lauzon, adapté de Trudeau et Guilbert 15 Quelle étape du modèle de la cible correspond à la phase de vérification de l’utilité de l’instrument? A. Usage recommandé B. Usage anticipé 1 2 3 4 C. Stabilité 5 6 D. Élaboration ÉTAPE 1 : L’USAGE ANTICIPÉ Objectifs – Buts de l'instrument – Population visée – Contexte d'utilisation Moyens – Analyse d'instruments – Lectures – Consultations Lauzon, adapté de Trudeau et Guilbert 17 ÉTAPE 1 : L’USAGE ANTICIPÉ Exemple: Scholastic Aptitude Test (SAT) Version pré- 2005 Instrument utilisé dans le système scolaire américain Ne s’intéresse qu’à ce qui a été appris au secondaire et ne prétend pas mesurer l’intelligence BUT : prédire le succès scolaire d’élèves du secondaire une fois à l’université POPULATION : étudiants au secondaire CONTEXTE : en classe, supervisé Moyen : constat qu’il n’y avait pas de testetutilisé Lauzon, adapté de Trudeau Guilbert de manière généralisée 18 ÉTAPE 2 : LA CONCEPTUALISATION Objectifs – Définir, catégoriser et organiser les composantes des phénomènes à mesurer – Positionnement avec d’autres concepts Moyens – Synthèse des aspects conceptuels des instruments – Lectures théoriques – Lectures empiriques – Consultations Lauzon, adapté de Trudeau et Guilbert 19 ÉTAPE 2: LA CONCEPTUALISATION Exemple: Scholastic Aptitude Test (SAT) Les aptitudes sont de deux types: Verbales (SAT-V) Antonymes Analogies Compléter phrases Compréhension de lecture Mathématiques (SAT-M) Questions numériques Comparaisons de quantités Lauzon, adapté de Trudeau et Guilbert 20 ÉTAPE 3 : L’ÉLABORATION Objectifs Prévoir les sources d'erreur de manière à les minimiser Choix du format de l’instrument Construire les items Choisir la méthode de correction Version préliminaire des consignes de passation Moyens Lectures « psychométriques » Inventaire des stratégies déjà employées Lauzon, adapté de Trudeau et Guilbert 21 ÉTAPE 3 : L’ÉLABORATION Exemple: Scholastic Aptitude Test (SAT) Questions à choix multiples élaborées par des professeurs de « high-school » et de « college » et des psychométriciens SAT-V : 85 questions de simple à difficile Antonymes (5 choix) Analogies (5 choix) Compléter phrases (5 choix) Compréhension de lecture (5 choix) SAT-M : 60 questions de simple à difficile Questions numériques (5 choix) Comparaisons de quantités (4 choix) Lauzon, adapté de Trudeau et Guilbert 22 ÉTAPE 3: L’ÉLABORATION Exemple: Scholastic Aptitude Test (SAT) Durée = deux heures Passation en groupe Le score est déterminé par des points accumulés pour les bonnes réponses et des points retranchés pour les mauvaises réponses (correction pour avoir deviné) Le score varie de 200 à 800, la moyenne est ajustée à 500 et l’écart-type est ajusté à 100 Une vingtaine de versions parallèles sont administrées simultanément Lauzon, adapté de Trudeau et Guilbert 23 Étude de validation Un échantillo n de convenan ce passe notre test Lauzon, adapté de Trudeau et Guilbert 24 ÉTAPE 4 : LA STABILITÉ Objectifs Vérifier la nature et l'ampleur de l'erreur Établir la stabilité interne et temporelle Moyens Approche hypothético- déductive Erreur-type de mesure Analyses d'items Analyses corrélationnelles Accord inter-juges Lauzon, adapté de Trudeau et Guilbert 25 ÉTAPE 4 : LA STABILITÉ Exemple: Scholastic Aptitude Test (SAT) Erreur-type de mesure SAT-V : 31 SAT-M : 33 Consistance interne SAT-V : Alpha de Cronbach de α = 0,92 SAT-M : Alpha de Cronbach de α = 0,91 Stabilité temporelle (intervalle de 7 mois) SAT-V Lauzon, adapté de : corrélation Trudeau et Guilbert test-retest r = 0,88 26 ÉTAPE 5 : LA CONGRUENCE Objectifs Vérifier les quantifications et/ou l'organisation des concepts Moyens Approche hypothético-déductive Analyses corrélationnelles Analyses factorielles Équations structurelles Lauzon, adapté de Trudeau et Guilbert 27 ÉTAPE 5 : LA CONGRUENCE Ce que je Ce que je veux CONGRUENCE mesure mesurer vraiment Lauzon, adapté de Trudeau et Guilbert 28 ÉTAPE 5 : LA CONGRUENCE Exemple: Scholastic Aptitude Test (SAT) Validité de contenu Les questions posées représentent les domaines enseignés au « high-school » Validité prédictive (résultats partiels – les meilleurs élèves seulement) Corrélation entre le SAT-V et les notes au « college » : r = 0,54 Corrélation entre le SAT-M et les notes au « college » : r = 0,48 Corrélation entre les notes au « high-school » et les notes au « college » : r = 0,67 Lauzon, adapté de Trudeau et Guilbert 29 ÉTAPE 6 : L’USAGE RECOMMANDÉ Objectifs Préciser buts, population visée, circonstances d'utilisation/de passation Guider l'interprétation Moyens Article scientifique Normes Lauzon, adapté de Trudeau et Guilbert 30 ÉTAPE 6 : L’USAGE RECOMMANDÉ Exemple: Scholastic Aptitude Test (SAT) BUT : prédire le succès scolaire d’élèves du secondaire une fois à l’université Population: Tous les types de populations d’élèves de « high school » décrits Semble pouvoir atteindre ce but, mais la mesure n’est pas parfaite Manuels et beaucoup de recherches Lauzon, adapté de Trudeau et Guilbert 31 PROCESSUS DÉCISIONNEL Lors de la construction et de la validation d’un instrument psychométrique, il faut : détecter les problèmes ; apporter les correctifs requis. Le modèle de la cible rend ces tâches plus faciles. Lauzon, adapté de Trudeau et Guilbert 32  PROCESSUS DÉCISIONNEL Préparation Vérification Si tout va bien : Contrôle Lauzon, Lauzon,adapté adaptéde deTrudeau TrudeauetetGuilbert Guilbert 33  PROCESSUS DÉCISIONNEL Préparation Vérification Ordre des étapes si j’ai un problème de fiabilité Lauzon, Lauzon,adapté adaptéde deTrudeau TrudeauetetGuilbert Guilbert 34  PROCESSUS DÉCISIONNEL Préparation Vérification Ordre des étapes si j’ai un problème de fiabilité Je dois déterminer où est le problème... Lauzon, Lauzon,adapté adaptéde deTrudeau TrudeauetetGuilbert Guilbert 35  PROCESSUS DÉCISIONNEL Préparation Vérification Ordre des étapes si j’ai un problème de fiabilité … et une fois réglé… Lauzon, Lauzon,adapté adaptéde deTrudeau TrudeauetetGuilbert Guilbert 36  PROCESSUS DÉCISIONNEL Préparation Vérification Ordre des étapes si j’ai un problème de fiabilité … je peux reprendre! Contrôle Lauzon, Lauzon,adapté adaptéde deTrudeau TrudeauetetGuilbert Guilbert 37  PRINCIPE GÉNÉRAL Si un problème est détecté dans la phase de vérification, il faut retourner à l’étape correspondant à ce concept dans la phase de la préparation : Problème détecté à l’étape de la stabilité : Retour à l’étape de l’élaboration (concept 1 2 3 4 de la fiabilité) 5 6 Problème détecté à l’étape de la congruence : Retour à l’étape de la conceptualisation (concept de la validité) Problème détecté à l’étape de l’usage recommandé : Lauzon, adapté de Trudeau et Guilbert Retour à l’étape de l’usage anticipé 38 PROBLÉMATIQUES AUXQUELLES LE MODÈLE DE LA CIBLE AIDE À RÉPONDRE 1. Mauvaise connaissance des autres instruments 2. Utilisation d’instruments désuets 3. Concepts mal définis 4. Type de mesure peu approprié à la situation 5. Techniques statistiques mal utilisées 6. Mauvaise interprétation des indices statistiques Lauzon, adapté de Trudeau et Guilbert 39 Aujourd’hui… PLAN DE LA SÉANCE 1 Présentation du modèle de la cible 2 Étape 1 : usage anticipé 3 Exercice #1 4 Jalon 40  ÉTAPE 1 : L’USAGE ANTICIPÉ Objectifs Déterminer ce que mesurera l’instrument (1. construit) et à quoi serviront les résultats qui en émaneront (buts fondamental et psychométrique) Déterminer qui seront les bénéficiaires (2. population), les utilisateurs et les administrateurs (acteurs à identifier) Déterminer le contexte d’utilisation (3. contexte) Moyens Survol analytique des instruments Lieu dans le Modèle de la cible Concept de l’Utilité (en rouge) existants et lecture des articles de Phase de Préparation (à gauche de la ligne verticale) recherches sur le domaine Consultations avec des experts Lauzon, adapté de Trudeau et Guilbert 41  CONCEPTS DE BASE Les résultats d’un 1.du construit instrument doivent 2.de la population obligatoirement 3.du contexte être interprétés en fonction : Lauzon, adapté de Trudeau et Guilbert 42  1. LE CONSTRUIT C’est le concept qu’on va mesurer avec notre instrument (ex: dépression, engagement, etc.) EXEMPLES La dépression (avec le BDI) ne doit pas être utilisée pour mesurer l’anxiété (il faudrait utiliser le BAI) ou l’épuisement professionnel. L’identification à l’organisation ne doit pas être utilisée pour mesurer l’engagement affectif envers l’organisation. Lauzon, adapté de Trudeau et Guilbert 43  2. LA POPULATION Ce sont les gens qui vont passer le test (ex: enfants, adultes canadiens, travailleurs du milieu de la santé, etc.) EXEMPLE Binet (1905) BUT : Identifier les enfants à assigner à des classes spéciales Stanford-Binet (1916) BUT : Adapter le Binet aux besoins des États-Unis Développer plus d’épreuves « à la Binet » Démontrer l’utilité auprès d’un plus grand groupe normatif Wechsler Adult Intelligence Scale (WAIS) (1939) BUT : Évaluer l’intelligence des adultes Le Binet n’était pas adéquat pour le besoin de Wechsler L’obtention d’un seul score pour décrire l’intelligence Les items étaient infantiles, Lauzon, adapté de Trudeau et Guilbert simplets 44  3. LE CONTEXTE Ce sont les conditions dans lesquelles les participants vont passer le test EXEMPLES Temps de passation Connaissances préalables Modalités de passation (ex : en ligne) Lauzon, adapté de Trudeau et Guilbert 45  LES BUTS DE L’INSTRUMENT But fondamental : « Qu’est-ce qu’on évalue et pourquoi? » Quel est le problème que l’instrument entend contribuer à régler? À quoi les résultats serviront-ils? Voulez-vous discriminer entre deux groupes de personnes? Voulez-vous effectuer un diagnostic? Voulez-vous établir un profil des caractéristiques d’une personne? But psychométrique : Quelle est la valeur ajoutée de l’instrument par rapport aux autres instruments existants? Pourquoi créer/modifier cet instrument? Lauzon, adapté de Trudeau et Guilbert 46  POURQUOI CRÉER UN NOUVEL INSTRUMENT? Exemples de buts psychométriques courants Procéder à une Afin de réduire la durée de l’évaluation, évaluation plus de réduire la fatigue liée à l’évaluation courte ou afin de réduire les coûts de celle-ci. Pour mieux répondre aux besoins d’une population cible donnée; pour répondre Changer la à un changement de contexte modalité (Ex.: passer d’une entrevue à un d’évaluation questionnaire afin d’évaluer un plus grand nombre de personnes). Traduire avec ou Parce qu’un bon instrument existe déjà sans adaptation dans une autre langue ou culture. culturelle Lauzon, adapté de Trudeau et Guilbert 47  POURQUOI CRÉER UN NOUVEL INSTRUMENT? Exemples de buts psychométriques courants Pour mieux correspondre aux avancées théoriques et cliniques et répondre aux besoins Préciser le construit d’une population cible (Ex.: la dépression « générale » se subdivise-t-elle en types de dépression?) Cibler plus Pour mieux répondre aux besoins d’une précisément un pan de population donnée. (Ex.: la dépression « en générale » VS la dépression de femmes la population enceintes et monoparentales.) Créer une version Pour s’assurer que les réponses d’un test ne parallèle d’un test soient pas divulguées Lauzon, adapté de Trudeau et Guilbert 48  LES ACTEURS À IDENTIFIER Mandataires Correcteurs Administra- Concepteur teur La personne qui La personne qui crée l’instrument procède à la mesure Bénéficiaire Utilisateur La personne qui La personne qui se fait évalue les évaluer à l’aide de bénéficiaires à l’instrument l’aide des résultats de Lauzon, adapté de Trudeau et Guilbert l’instrument 49  ATTENTION! Acteurs À l’usage impliqué Acteurs anticipé, ce sont Ne pas confondre les s impliqués ces acteurs que acteurs impliqués dans la dans validation du test avec dans nous identifions ! ceux impliqués dans l’étude l’utilisatio l’utilisation du test, une de n du test, fois ce dernier validé! validatio une fois n validé (échantill on de validation ) Lauzon, adapté de Trudeau et Guilbert 50 ÉTAPE 1 : L’USAGE ANTICIPÉ Exemple: Scholastic Aptitude Test (SAT) Version pré- 2005 Instrument utilisé dans le système scolaire américain Ne s’intéresse qu’à ce qui a été appris au secondaire et ne prétend pas mesurer l’intelligence BUT : prédire le succès scolaire d’élèves du secondaire une fois à l’université POPULATION : étudiants au secondaire CONTEXTE : en classe, supervisé Moyen : constat qu’il n’y avait pas de testetutilisé Lauzon, adapté de Trudeau Guilbert de manière généralisée 51 Aujourd’hui… PLAN DE LA SÉANCE 1 Présentation du modèle de la cible 2 Étape 1 : usage anticipé 3 Exercice #1 4 Jalon 52  EXERCICE : USAGE ANTICIPÉ Vous avez été engagé pour réaliser une étude sur la santé psychologique d’étudiant.e.s d’une université québécoise d’environ 40 000 étudiant.e.s. Vous pensez créer un instrument de mesure afin de remplir votre mandat. Quel pourrait être l’usage anticipé de celui-ci? Lauzon, adapté de Trudeau et Guilbert 53  EXERCICE : USAGE ANTICIPÉ But fondamental: faire un portrait des niv d'anxiété des étudiants. Voir ou se situent les besoins. But psychométrique: adapter les items Correction en grand pr correspondre au contexte. Pr adapter au temps de l'époque groupe Concepteurs: nous-meme Bénéficiaires: ceux qui répondent aux tests (les étudiants) Administrateurs: les bénéficiaires (auto- administerés) Utilisateurs: l'université Lauzon, adapté de Trudeau et Guilbert 54 Aujourd’hui… PLAN DE LA SÉANCE 1 Présentation du modèle de la cible 2 Étape 1 : usage anticipé 3 Exercice #1 4 Jalon 55  JALON 1. a) Parmi la liste suivante, veuillez choisir une facette de personnalité. Traduction Traduction Traduction Facette Facette Facette française française française Conscience Excitement- Recherche de Self-consciousness Compliance Soumission de soi seeking sensations Autorité, Émotions Tender- Assertiveness Affirmation de Cheerfulness Sensibilité positives, jovialité mindedness soi Chaleur, Adventurous- Warmth Trust Confiance Témérité cordialité ness Gregariousness Grégarisme Altruism Altruisme Orderliness Ordre Lauzon, adapté de Trudeau et Guilbert 56  JALON 1. b) Veuillez décrire l’usage anticipé de votre instrument. (Environ 0,75 page) But fondamental (1. construit) But psychométrique Bénéficiaires (2. population) Administrateurs Concepteurs Utilisateurs Contexte d’utilisation de l’instrument (3. contexte) Lauzon, adapté de Trudeau et Guilbert 57  À FAIRE CETTE SEMAINE Exercice #1 Travail d’équipe Modèle de la cible Manuel Faire la Relire le document sur Chapitre 1 p.4-14 Question 1 StudiUM (facultatif) (a et b) Prochain cours : Étape 2 – Conceptualisation Lauzon, adapté de Trudeau et Guilbert 58  Sur StudiUM Générez des questions d’examen ici Transmettez de la rétroaction sur le cours de manière anonyme ici