Mesure, Évaluation et Déontologie Cours 01 2024 PDF

Mesure, Évaluation et Déontologie Marcos Balbinotti, Ph.D. Département de psychologie Les sujets à traiter aujourd’hui Plan de cours et organisation du trimestre; Quelques mots d’introduction (y inclus les règles du jeu!) ; Rendant compréhensible les notions complexes :...

Mesure, Évaluation et Déontologie Marcos Balbinotti, Ph.D. Département de psychologie Les sujets à traiter aujourd’hui Plan de cours et organisation du trimestre; Quelques mots d’introduction (y inclus les règles du jeu!) ; Rendant compréhensible les notions complexes : Concepts de base en psychométrie; Concepts de base en statistiques; Petite introduction aux aspects déontologiques et éthiques. Présentation du plan de cours et organisation du trimestre Présentation du plan de cours et organisation du trimestre Les règles du jeu, pour ma part: Je rendrai compréhensibles les notions complexes; Je donnerai des exemples concrets des théories enseignées; Je poserai quelques questions pour vérifier votre compréhension; Je ferai ressortir les points importants de la matière enseignée; Je répondrai le plus clairement possible à vos questions; Je vous offrirai un encadrement très satisfaisant en dehors des heures de cours; Je susciterai votre attention (visant un apprentissage plus actif); Je donnerai la matière de manière intéressante;  Présentation du plan de cours et organisation du trimestre Les règles du jeu, pour ma part: Dès la première rencontre, tous les éléments du plan de cours seront bien expliqués, y compris les exigences de l'évaluation; Les stratégies pédagogiques utilisées (cours magistraux, discussions, PowerPoint, etc.) faciliteront votre compréhension des contenus; Le matériel du cours (notes de cours, documents divers, etc.) facilitera vos apprentissages; Présentation du plan de cours et organisation du trimestre Les règles du jeu, pour ma part: Je connais assez bien la langue d’enseignement; L'évaluation (travaux, examens, etc.) portera sur la matière enseignée; Les critères d'évaluation sont clairs (voir le plan de cours); Je respecterai les délais de correction prévus; Je vous présenterai les plus récents développements dans le domaine; Concepts de base en psychométrie Validité: La validité d'un test psychométrique fait référence à la mesure dans laquelle le test mesure ce qu'il est censé mesurer. Selon Balbinotti (2005, 2024), on pourrait détailler un peu plus ce concept en indiquant que la validité fait référence à l’accumulation de preuves dans un but ultime de prouver que le teste mesure, bel et bien, ce qu’il est censé mesurer! Balbinotti (2005, 2024) ; Cooper (2023) ; Furr (2021) ; Kline (2023) ; Lovett (2023) ; Mari, Wilson & Maul (2023) ; van der Ark, Emons, Meijer (2023). Concepts de base en psychométrie Types de Validité: Basée sur le contenu: se réfère à la mesure dans laquelle les items d'un test couvrent l'ensemble du domaine de contenu qu'il est censé mesurer. Balbinotti (2005, 2024) ; Cooper (2023) ; Furr (2021) ; Kline (2023) ; Lovett (2023) ; Mari, Wilson & Maul (2023) ; van der Ark, Emons, Meijer (2023). Concepts de base en psychométrie Types de Validité: Basée sur le processus de réponse: se réfère aux processus cognitifs ou comportementaux requis par les items du test (sont-ils cohérents avec les processus que le test est censé évaluer ?). Concepts de base en psychométrie Types de Validité: Basée sur la structure interne: se réfère à la mesure dans laquelle les relations entre les items d'un test sont cohérentes avec la structure théorique du construit mesuré. Suffisant pour démontrer que les choses marchent Corrélation entre les items Concepts de base en psychométrie Types de Validité: Basée sur les relations avec d'autres variables: concerne la mesure dans laquelle les scores du test sont associés à d'autres variables, comme des critères externes ou d'autres tests (ou dimensions de tests) mesurant des concepts similaires. Concepts de base en psychométrie Types de Validité: Basée sur les conséquences de l'utilisation des tests: examine les effets potentiels (positifs ou négatifs) de l'utilisation des scores de test dans des contextes pratiques. Concepts de base en psychométrie Fidélité: fait référence à la cohérence des résultats obtenus avec un test psychométrique (précision de la mesure). Niveau de précision de la mesure Concepts de base en psychométrie Types fondamentaux de fidélité: Test-retest: évalue la stabilité temporelle des résultats d'un test. Attend à voir les mêmes résultats Concepts de base en psychométrie Types fondamentaux de fidélité: Cohérence interne: mesure la consistance des items d'un test. Pas basé seulement sur des corrélations, plus complexe que la corrélation, Concepts de base en psychométrie Sensibilité et spécificité: La sensibilité se réfère à la capacité d'un test à identifier correctement les individus ayant une condition particulière; test est tu capable de déterminer si qqun a la dépression? La spécificité se réfère à la capacité d'un test à identifier correctement les individus qui n'ont pas la condition. Mon test est t’il capable de déterminer que qqun a pas la dépression? Concepts de base en psychométrie Mesure: Erreur de la mesure Erreur de la mesure processus de transformation des attributs psychologiques en valeurs quantitatives, ce qui permet leur analyse et interprétation. La distinction entre mesures réflectives et formatives n'est pas une simple réflexion sur la nature des construits. Cette distinction à des conséquences sur les modèles statistiques utilisés. Balbinotti (2005, 2024) ; Borsboom et cols. (2003, 2004) ; Cooper (2023) ; Furr (2021) ; Kline (2023) ; Lovett (2023) ; Mari, Wilson & Maul (2023) ; van Concepts de base en statistique Moyenne : mesure de tendance centrale qui résume un ensemble de valeurs en un seul nombre représentatif; Concepts de base en statistique Médiane : mesure de tendance centrale qui indique la valeur qui sépare la moitié supérieure de la moitié inférieure d'un ensemble de données; Corrélation polychorique : basé sur la médiane Concepts de base en statistique Mode : mesure de tendance centrale qui représente la valeur la plus fréquente dans un ensemble de données; Corrélation tétrachorique (fondamentale) Concepts de base en statistique Corrélation : mesure statistique qui permet d'évaluer la relation entre deux variables. Elle ne prouve pas la causalité, mais montre dans quelle mesure les deux variables varient ensemble.; Concepts de base en statistique Régression : méthode statistique qui permet de modéliser la relation entre une variable dépendante et une ou plusieurs variables indépendantes. Elle est souvent utilisée pour prédire la valeur de la variable dépendante en fonction des valeurs des variables indépendantes. Concepts de base en statistique Analyse factorielle : technique statistique utilisée pour réduire les données et identifier des relations latentes entre des variables observées. Elle permet de regrouper les variables en facteurs communs, facilitant l'interprétation des données complexes. Introduction aux aspects déontologiques et éthiques Principes éthiques en psychométrie: Respect de la dignité humaine: Consentement éclairé Confidentialité Compétence des praticiens: Formation et qualifications Supervision et consultation (chercher des conseils)  Introduction aux aspects déontologiques et éthiques Principes éthiques en psychométrie: Utilisation équitable des tests: Équité (les tests doivent être conçus et validés pour une utilisation avec les groupes pour lesquels ils sont destinés); Évitement des biais (les praticiens doivent être conscients des biais culturels, linguistiques et socio- économiques qui peuvent affecter les résultats des tests). Ajuster les instruments afin de respecter l’autre, s’adapter Variance d’erreur: partie de la variance qui n’est pas expliqué. Tous ce qui n’est pas expliqué est une erreur  Introduction aux aspects déontologiques et éthiques Responsabilité sociale: Impact des tests sur les individus: Évaluation des conséquences; touche la philosophie sociale Responsabilité envers les personnes testées. Contribution au bien-être public: Recherche éthique (respecter les principes éthiques); Amélioration continue des pratiques.  Introduction aux aspects déontologiques et éthiques Défis éthiques contemporains en psychométrie: Tests en ligne et automatisation: Sécurité des données; Validité des tests en ligne. Intelligence artificielle et éthique: Transparence des algorithmes (transparence des algorithmes); Responsabilité humaine (rester entre les mains des praticiens). Introduction aux aspects déontologiques et éthiques Codes de déontologie: Codes de déontologie professionnelle: Code de déontologie des psychologues du Québec ; Introduction aux aspects déontologiques et éthiques Application des codes dans la pratique psychométrique: Formation continue; Supervision et feedback (pour assurer que leur pratique reste conforme aux normes éthiques). Introduction aux aspects déontologiques et éthiques Déontologie (appliqué à la mesure et l’évaluation): Gestion des droits et responsabilités des divers acteurs concernés: au client Droit à un service de qualité; Droit au consentement libre et éclairé; Droit à l'information; Droit à la confidentialité; Droit à un service objectif et neutre; Droit à un service fiable et sans équivoque. Balbinotti (2005, 2024) ; Mendes et collaborateurs (2013) ; Bonfá-Araújo et collaborateurs (2020)  Introduction aux aspects déontologiques et éthiques Déontologie (appliqué à la psychométrie): Gestion des droits et responsabilités des divers acteurs concernés: Élaborateur : responsabilité avec tous les éléments associés à la construction et validation (appliqué directement à théorie de la mesure) d’un test. Balbinotti (2005, 2024) ; Mendes et collaborateurs (2013) ; Bonfá-Araújo et collaborateurs (2020)  Introduction aux aspects déontologiques et éthiques Déontologie (appliqué à la psychométrie): Gestion des droits et responsabilités des divers acteurs concernés: Distributeur : responsabilité avec tous les éléments associés à la vérification par des paires, l’impression et la divulgation du teste ainsi que sa distribution. Balbinotti (2005, 2024) ; Mendes et collaborateurs (2013) ; Bonfá-Araújo et collaborateurs (2020)  Introduction aux aspects déontologiques et éthiques Déontologie (appliqué à la psychométrie): Gestion des droits et responsabilités des divers acteurs concernés: Vendeur : responsabilité avec tous les éléments associés aux ventes (il faut suivre exactement l’exigence de l’ordre des psychologues). Balbinotti (2005, 2024) ; Mendes et collaborateurs (2013) ; Bonfá-Araújo et collaborateurs (2020)  Introduction aux aspects déontologiques et éthiques Déontologie (appliqué à la psychométrie): Gestion des droits et responsabilités des divers acteurs concernés: Client (le psychologue): responsabilité avec tous les éléments associés aux choix et à la passation des instruments. Balbinotti (2005, 2024) ; Mendes et collaborateurs (2013) ; Bonfá-Araújo et collaborateurs (2020)  Introduction aux aspects déontologiques et éthiques Déontologie (appliqué à la psychométrie): Gestion des droits et responsabilités des divers acteurs concernés: Client (le répondant): responsabilité avec tous les éléments associés à la manifestation personnelle liée à la compréhension du contenu et du respect associé à la précision de la réponse. Balbinotti (2005, 2024) ; Mendes et collaborateurs (2013) ; Bonfá-Araújo et collaborateurs (2020)  Introduction aux aspects déontologiques et éthiques Le terme « déontologie » a été créé par le philosophe anglais Jeremy Bentham (1748- 1832) signifiant « obligation » ou « devoir ». Ce terme considère que chaque action humaine doit être jugée selon certains principes moraux (c’est l’éthique du comportement - Philosophie Morale). Dans le sens de la philosophie morale : éthique du comportement humain Furr (2021); Ayala (2022); Balbinotti (2005, 2023); Hogan (2017). Groth-Marnat & Wright (2016). Urbina (2014); Wu, Tam & Jen (2017). Anastasi, A. (1994).  Conclusion En conclusion, les concepts fondamentaux de la psychométrie et l'importance des aspects éthiques et déontologiques abordés aujourd'hui sont essentiels pour une pratique responsable et efficace de l'évaluation psychologique. L'utilisation correcte et éclairée des instruments psychométriques améliore non seulement la précision des évaluations, mais garantit également le respect des droits des individus évalués. Je vous remercie tous pour votre attention et votre participation Furr (2021); Ayala (2022); Balbinotti (2005, 2023, 2024); Hogan (2017). Groth-Marnat & Wright (2016). Urbina (2014); Wu, Tam & Jen  Références American Educational Research Association, Psychological Association, & National Council on Measurement in Education. (1999). Standards for Educational and Psychological Testing. Washington, DC: American Educational Research Association. Ayala, R. J. (2022). The Theory and Practice of Item Response Theory. Guilford Publications; 2nd ed. Edition. 643 p. Andries van der Ark, L., Emons, W. H. M., Meijer, R. R. (2023). Essays on Contemporary Psychometrics. NY: Springer Nature. Anastasi, A. (1994). Introduction à la psychométrie. Traduit de l’anglais par F. Gagné. Montréal : Guérin Universitaire. Ark, L. A., Bolt, D. M., Wang, W-C., Douglas, J. D., & Wiberg, M. (2016). Quantitative Psychology Research. New York: Springer Proceedings in Mathematics & Statistics (Book 167). Balbinotti, Marcos (2005). Para avaliar o que se espera: reflexões acerca da validade dos testes psicológicos. Aletheia [en linea] (21), 43-52 [Consulta 10 de Agosto de 2022]. ISSN: 1413-0394. Disponible en: https://www.redalyc.org/articulo.oa?id=115013476005 Balbinotti, Marcos (2023). How to develop a new psychometric instrument: recente reflections about construction of a new psychological test. I Researchers Meeting in Gerontopsychometry (May 22-24, 2023). Escola de Enfermagem da USP (Universidade São Paulo, Brazil). Balbinotti, Marcos (2024). Important Elements of Contemporary Psychometrics: Reflections on Psychological Instruments. II Researchers Meeting in Gerontopsychometry (August 9-11, 2024). Escola de Enfermagem da USP (Universidade São Paulo, Brazil). Bonfá-Araujo, Bruno; Farias, Eliana & Chnaider, Janaina (2020). Avaliação Psicológica: Definição de aspectos psicométricos segundo alunos de graduação em psicologia. Interação em Psicologia. 24. 111-118. 10.5380/psi.v24i2.65877. Borsboom, D., Mellenbergh, G. J., & van Heerden, J. (2003). The theoretical status of latent variables. Psychological Review, 110(2), 203–219. doi : 10.1037/0033-295X.110.2.203 Borsboom, D., Mellenbergh, G. J., & van Heerden, J. (2004). The Concept of Validity. Psychological Review, 111(4), 1061–1071. doi : 10.1037/0033- 295X.111.4.1061 Cooper, C. (2023). An Introduction to Psychometrics and Psychological Assessment: Using, Interpreting and Developing Tests. NY: Routledge. Dehn, M. J.; Kaufman, N. L.; Kaufman A. S. (2022). Essentials of Processing Assessment. Wiley; 3rd edition. 384 p. DeVellis, R. F. (2016). Scale Development: Theory and Applications. Los Angeles: Sage Publications. Finch, H., French, B, & Immekus, J. (2016). Applied Psychometrics Using SPSS and Amos. Louisville: Information Age Publishing. Furr, R. M. (2021). Psychometrics: An Introduction. 4e Edition. Los Angeles: Sage Publications. 704 p. Groth-Marnat, G., & Wright, A. J. (2016). Handbook of Psychological Assessment. New York: John Wiley & Sons Publishing Company. Hogan, T. P. (2017). Introduction à la psychométrie. 2 e édition. Montréal: Chenelière Éducation. Irwing, P., Booth, T., & Hughes, D. J. (2018). The Wiley Handbook of Psychometric Testing: A Multidisciplinary Reference on Survey, Scale and Test Development. New Jersey: Wiley-Blackwell Lovett, B. J. (2023). Practical Psychometrics: A Guide for Test Users. Los Angeles: Guilford Publications. Mari, L., Wilson, M., & Maul, A. (2023). Measurement Across the Sciences: Developing a Shared Concept System for Measurement. NY: Springer Nature. Mandes, L. S.; Nakano, T. C.; Silva, I. B.; Sampaio, M. H. L. (2013). Concepts of psychological assessment: knowledge of students and professionals. Psicol. cienc. prof. 33 (2). https://doi.org/10.1590/S1414-98932013000200013. Kline, P. (2015). A Handbook of Test Construction (Psychology Revivals): Introduction to Psychometric Design. London: Routledge Publisher. Urbina, S. (2014). Essentials of Psychological Testing. New York: Wiley publications. Young, Hugh D; Freedman, Roger A. (2012). University Physics (13 ed.). Pearson Education Inc. ISBN 978-0-321-69686-1. Wilson, J. H., & Joye, S. W. (2016). Research Methods and Statistics: An Integrated Approach. Los Angeles: Sage Publications.