PSE-2202 Psychométrie et évaluation normative PDF Hiver 2025

PSE–2202 Psychométrie et évaluation normative Prof: Julien Morizot Hiver 2025, Semaine 1  2 Plan pour aujourd’hui Présentation du plan de cours et des modalités d’évaluation Importance de l’évaluation en ps...

PSE–2202 Psychométrie et évaluation normative Prof: Julien Morizot Hiver 2025, Semaine 1  2 Plan pour aujourd’hui Présentation du plan de cours et des modalités d’évaluation Importance de l’évaluation en psychoéducation: Un acte professionnel acte réservé transmet un message comme : voici ma compétence Introduction à l’évaluation selon une approche scientifique comme un discipline scientifique - - clinique  3 Citations célèbres "Le caractère qui conditionne notre conduite est un “quelque chose” de défini, et donc, il est raisonnable de le mesurer." – Francis Galton, Scientifique britannique (1822- 1911) "Une expérience est une question que la science pose à la nature et une mesure est un enregistrement de la réponse de la nature." – Max Planck, Physicien allemand (1858-1947) "Les observations impliquent toujours la théorie." – Edwin Hubble, Astronome américain (1924-1953)  4 Citations célèbres "Je crois en l’évidence (les faits). Je crois en l’observation, la mesure et le raisonnement confirmés par des observateurs indépendants. Je croirai en n’importe quelle idée, peu importe qu’elle soit folle ou ridicule, s’il y a évidence pour la confirmer. Par contre, plus cette idée est folle et ridicule, plus l’évidence devra être solide et convaincante." – Isaac Asimov, Scientifique et écrivain (1920- 1992)  5 Ce cours dans la formation D’abord cours Observation (PSE-1207) Ensuite cours Évaluation psychoéducative (PSE-2203) … et Psychométrie et évaluation normative (PSE-2202) En 3e année, un stage et des travaux pratiques dans certains cours qui incluent l’utilisation d’instruments de mesure Il faut donc comprendre ce cours comme un morceau du casse-tête, une étape de la trajectoire : « gravir la montagne avant d’accéder à la belle vue au sommet » Acquisition de connaissances + développer l’esprit critique  6 L’évaluation, c’est quoi ? Selon le Petit Robert (2006) Évaluation (nom) est « l’action d’évaluer, de déterminer la valeur ou l’importance (d’une chose) » (syn., appréciation) Évaluer (verbe) est « porter un jugement sur la valeur (d’une chose) » (syn., estimer) En psychoéducation, ceci est lourd de conséquence puisque vous portez un jugement sur une personne, ses limites et ses forces, son potentiel adaptatif, son avenir possible, sa famille, etc.  7 L’évaluation: Un acte professionnel Évaluation occupe une place centrale dans toutes les sciences humaines et sociales, incluant en psychoéducation Pour plusieurs experts.es, l’évaluation est indissociable de l’intervention En fait, c’est un problème éthique / déontologique de ne pas faire une évaluation avant d’intervenir Des sondages auprès de psychologues révèlent qu’en réalité Peu de temps est dévoué à l’évaluation Peu de cliniciens.nes évaluent systématiquement les effets de leurs psychothérapies / interventions  8 Un acte professionnel – suite Des études ont montré qu’en psychologie, où la formation à l’évaluation est aussi obligatoire, les psychologues ne se servent pas suffisamment des données disponibles et basent leurs pratiques sur leur « sens clinique » de ce que le.la client.e a besoin ou de ses progrès En psychoéducation au Québec, il y a amélioration, mais encore trop peu d’évaluation et en plus, ou surtout, elle demeure trop souvent effectuée de façon un peu négligée (i.e., instruments non validés au Québec, pas de normes québécoises, non respect du protocole d’administration, etc.) …  9 Un acte professionnel – suite Le rapport d’évaluation psychoéducative est l’exemple parfait de l’importance de l’évaluation Il reste associé à vous pour la postérité ! ↳ associé à nous toute notre carrière , Un rapport d’évaluation daté et signé – qu’il s’agisse d’une œuvre géniale ou d’un travail bâclé presque honteux – est un acte professionnel qui vous sera attribué pour toute votre carrière Peut dans certains cas avoir des implications légales En faisant partie d’un ordre professionnel, vous pourriez même être poursuivi.e pour le contenu d’un rapport d’évaluation … et ça arrive* possibilité pour ce qui de se faire poursuivre est dit dans le rapport  10 Évaluation en psychoéducation L’acte d’évaluer est au cœur même de la définition de la profession :on s'attends a ce que les membres possèdent ses compétences « L’exercice de la psychoéducation consiste à évaluer les difficultés d’adaptation et les capacités adaptatives, à déterminer un plan d’intervention, à en assurer la mise en œuvre, à rétablir, à développer les capacités adaptatives de la personne et à contribuer au développement des conditions du milieu dans le but de favoriser l’adaptation optimale de l’être humain en interaction avec son environnement » (Gouvernement du Québec, 2005)  11 Évaluation en psychoéducation – suite Selon l’OPPQ (2024; p. 4) : pour nous aider à prendre les recommandations doivent venir des decisions directement de l'évaluation « L’évaluation consiste la description, l’analyse et l’interprétation d’une situation ou d’un phénomène en vue de fournir des données utiles à la prise de décision concernant la poursuite d’un objectif ou d’un but » L’évaluation exige donc que le.la professionnel.le pose un jugement sur la situation d’une personne à partir des informations dont il ou elle dispose  12 Évaluation en psychoéducation – suite Selon l’OPPQ (2024), elle implique a) une étape de collecte de données visant à décrire et à comprendre la situation problématique -> la au sens personne large ; , la famille b) une étape d’analyse des données dans le but de dresser un bilan clinique obligatoire ↓ c) une étape de communication, qui inclut généralement la rédaction d’un rapport et / ou un exposé dans une équipe ↳ multidisciplinaire n'est pas obligatoire Mais la communication l'est C’est ce que vous ferez comme travail de session ! (sauf a)  13 Évaluation basée sur l’évidence empirique (Hunsley & Mash, 2007) Les professionnels.les de l’intervention psychosociale adoptent de plus en plus une pratique basée sur l’évidence empirique, ou basée sur des données probantes, ou fondée sur des preuves, etc. minimalement qu'il n'y di pas d'effet iatrogènes en anglais, « evidence-based practice », « empirically-supported treatment », « blueprint », etc. (voir la politique de l’APA, 2006) Bien que ceci ait surtout été recommandé pour l’intervention, Hunsley et Mash rappellent qu’on doit aussi appliquer ces principes au processus d’évaluation  14 Évaluation basée sur l’évidence – suite Pour être prise au sérieux comme discipline, la psychoéducation doit adopter une approche basée sur l’évidence empirique qui tente de résoudre les problèmes de Sélection des méthodes d’évaluation e.g., encore utilisation des mesures projectives pour déterminer la garde légale d’un enfant ? Valeur scientifique des instruments d’évaluation employés (i.e., propriétés psychométriques) Interprétation rigoureuse des données cliniques  15 Évaluation basée sur l’évidence – suite L’évaluation basée sur l’évidence empirique sous-tend différents principes, dont deux principes très importants (Hunsley et al., 2004; Mash & Hunsley, 2005) 1. Les théories du développement normal et de psychopathologie développementale ainsi que les recherches scientifiques doivent guider la sélection des concepts/construits à être évalués ainsi que les méthodes d’évaluation à utiliser ~ Acceptable au minimum 2. Des instruments avec de bonnes propriétés il est souvent malgré néglige sont importance/pertinence psychométriques démontrées doivent être utilisées &  16 Évaluation basée sur l’évidence – suite L’évaluation basée sur l’évidence s’applique aux sept grands objectifs de l’évaluation (Hunsley et al., 2004; Mash & Hunsley, 2005) 1. Faire du dépistage dépends du milieu 2. Établir un diagnostic D 3. Établir un pronostic en psychologie ~ 4. Faire une conceptualisation de cas (en psychoéducation, on utilise plutôt le terme « évaluation fonctionnelle ») ↳ ne pas confondre 5. Évaluation des effets d’une intervention A rigueur avec de nos le terme conclusion en TCC 6. Évaluation de la mise en œuvre d’une intervention évaluer comment en place... on a mis 7. Développement de programmes d’intervention  17 Théorie et évaluation La théorie guide (ou devrait guider) l’intervention Suggère les facteurs qui devraient être changés ou modifiés, les mécanismes de changement (médiateurs), etc. La théorie devrait aussi guider l’évaluation Propose les concepts/construits qui devraient être évalués Par exemple, la théorie à la base de la psychoéducation classique (i.e., Gendreau, 2001) Intervention en groupe (jeunes en difficulté, intervenants.es, processus de groupe) Activités de réadaptation (e.g., entrainement aux habiletés sociales, régulation de la colère, autonomie, etc.)  18 Théorie et évaluation – suite En conséquence, dans la pratique psychoéducative « classique », nous devrions disposer d’instruments pour l’évaluation de Comportements, émotions/affects et cognitions des individus en difficulté : il en existe plusieurs, même probablement trop propriétés psychométriques Processus de groupe : il en existe quelques uns, mais somme toute peu Nature et qualité de l’intervention : il en existe très peu  19 Évaluation en psychoéducation Selon Gendreau (2001) et Renou (2005), l’évaluation est une opération professionnelle qui accompagne le processus d’intervention tout au long de sa séquence Une évaluation doit toujours précéder une intervention, sinon Comment savoir sur quoi intervenir ? Comment savoir si les choses ont réellement changées, donc si notre intervention est efficace ? Si elle a des effets iatrogènes ? On doit donc disposer de méthodes et d’instruments d’évaluation rigoureux  20 Évaluation en psychoéducation – suite Au Québec, les instruments d’évaluation qui étaient traditionnellement utilisés en psychoéducation étaient Consultation des rapports existants et des observations directes dans le milieu Grilles d’observation « maison » (e.g., cahier de bord, etc.) « Vécu partagé » et discussions de cas entre intervenants.es, informelles ou en équipe Les choses n’ont pas beaucoup changé au Québec pendant environ 30 ans, mais on constate une grande amélioration récemment, surtout suite au PL 21  21 Évaluation en psychoéducation – suite Depuis les 20 dernières années Davantage d’instruments d’évaluation ont été développés dans le cadre de recherches évaluatives Exigences déontologiques plus strictes ont vues le jour suite à la mise en place de l’OCCOPPQ, maintenant l’OPPQ Exigences liées aux développements législatifs (e.g., PL 21) On constate une reconnaissance accrue de l’importance d’évaluer la nature et l’efficacité de nos interventions Tout cela a mené à des efforts accrus de traduction et d’adaptation d’instruments d’évaluation en français  22 Évaluation en psychoéducation – suite La question de l'évaluation des jeunes en difficulté revient régulièrement à l'ordre du jour des réflexions des gestionnaires et des praticiens.nes à l'occasion de comités consultatifs, de tables de concertation et de colloques professionnels Les commissions gouvernementales recommandent constamment, depuis au moins 45 ans, la nécessité de faire de l’évaluation Rapports Batshaw (1975), Charbonneau (1982), Harvey (1988), Jasmin (1992), Cliche (1998), Gendreau-Tardif (1999) et plus récemment Commission Laurent (2021) formulent tous des recommandations plus ou moins spécifiques concernant l'évaluation des enfants et des adolescents en difficulté  23 Évaluation en psychoéducation – suite Les deux lois relatives à la jeunesse en difficulté (LPJ, LSJPA) sont plutôt évasives concernant l’évaluation Les Centres jeunesse au Québec ne proposent généralement pas aux intervenants.es des protocoles d‘évaluation standardisés à utiliser de façon systématique Plusieurs intervenants.es disposent donc seulement de leur « protocole d’évaluation personnel », qu’ils ou elles appliquent plus ou moins systématiquement Une des raisons est que nous manquons encore d’instruments d’évaluation en français développés et validés selon des critères scientifiques rigoureux  24 Évaluation en psychoéducation – suite Les psychoéducatrices font néanmoins beaucoup d’évaluation dans certains milieux particuliers Milieu scolaire Milieux hospitaliers et psychiatriques Milieu carcéral et forensique-psycholégal  25 Quelques éléments historiques à propos de l’évaluation Même si on parle de sa nécessité encore aujourd’hui, les questionnements reliés à l’évaluation des individus et la prédiction des comportements ne sont pas nouveaux Fonctionnaires de l’empire chinois (1er Empire Chin) évaluaient certaines caractéristiques personnelles et sociales des individus pour sélectionner les dirigeants militaires et ceux qui travailleraient pour l’empereur Philosophes de l’Antiquité et de la Renaissance tentaient de prédire le comportement futur à partir du « tempérament »  26 Éléments historiques – suite De façon plus contemporaine, l’évaluation dite « standardisée » a débutée à la fin du 19e et au début du 20e siècle par l’évaluation de l’intelligence (capacités cognitives) Travaux pionniers d’Alfred Binet pour identifier les enfants « déficients mentaux » Travaux de Galton et Cattell pour évaluer différents aspects de l’intelligence et les traits de personnalité, etc. Plus tard, l’évaluation de la personnalité pour les recrues et les hauts gradés des forces armées américaines, mais aussi dans les organisations de travail (Woodworth, Cattell)  27 Évaluation: Une approche scientifique Avec la naissance des différents ordres professionnels, les citoyens.nes et, en réaction, les décideurs.euses politiques qui imposent des critères déontologiques et surveillent les ordres professionnels s’attendent à ce que les méthodes d’intervention utilisées avec les individus en difficulté aient une certaine rigueur scientifique 1. Leur efficacité doit être démontrée empiriquement 2. L’absence d’effet délétères (ou iatrogènes) doit aussi être démontrée (« primum non nocere »)  28 Évaluation et approche scientifique – suite Pour qu’un phénomène, ou concept, ou construit soit dit « scientifique », il doit pouvoir être mis à l’épreuve par la méthode scientifique, et donc, doit être mesurable, vérifiable et reproductible Les sciences humaines, sociales et psychologiques sont largement basées sur des « construits » Un construit est une « entité abstraite, hypothétique, qui est inférée à partir d’un ensemble de choses directement observées (e.g., émotions, affects, comportements) » (Raykov & Marcoulides, 2011)  29 Évaluation et approche scientifique – suite Les construits sont des entités ou phénomènes dont on croit à l’existence dans la nature (i.e., on croit que ça existe vraiment), mais que généralement, on ne peut pas mesurer directement C’est pour cette raison qu’on parle aussi souvent de « construit Latent: quelque chose qui est présent latent », « dimension latente », « trait latent », etc. mais que nous ne voyons pas: aussitôt qu’il y a un déclencheurs nous pouvons le voir, nous n’y avons pas accès e.g., On croit à l’existence de la dépression, mais on ne peut pas la mesurer directement (c’est latent), il faut poser des questions sur l’humeur, le sommeil, l’alimentation, les pensées suicidaires, etc. – des aspects observés plus directement - exiètes vous depressive ? ) est-ce que la question est ↳ valide ?  30 Évaluation et approche scientifique – suite Les construits, qu’ils soient dans les sciences physiques (présumées plus « dures ») ou humaines et psychologiques (présumées plus « molles »), sont souvent basés sur une théorie de ce qu’on pense de la nature ou de l’univers dans lequel on vit e.g., en astrophysique, où les chercheurs.euses font des prédictions largement plus précises qu’en psychologie ou même qu’en médecine, on étudie les supernovas, les trous noirs, etc. …  31 Évaluation et approche scientifique – suite Les construits qui sont utilisés en sciences sociales, humaines et psychologiques sont souvent basés sur une théorie implicite ou explicite Trouble de dépression majeure selon DSM-5 Trouble de déficit d’attention / hyperactivité selon DSM-5 Psychopathie selon Hare Attachement désorganisé selon Bowlby Est-ce que ces construits sont plus « mous » que les construits étudiés en astrophysique mentionnés avant ??  32 Exemple de construit latent : Problèmes extériorisés à l’enfance Problèmes extériorisés Inattention Hyperactivité Opposition Agressivité Prise de risque  33 Évaluation et approche scientifique – suite Lorsqu’on a recours aux construits latents, on doit de facto accepter deux postulats Postulat théorique : On postule que le construit existe – sinon quel serait l’intérêt de l’utiliser dans notre discipline ? Postulat de mesure : On postule que même si on ne peut le mesurer directement, on peut le faire indirectement avec un échantillon représentatif d’indicateurs observables, valides et fiables  34 Évaluation et approche scientifique – suite Si on veut que les construits importants que nous utilisons soient dits « scientifiques », il faut donc Pouvoir les mesurer adéquatement (validité) et de façon précise (fidélité) Pouvoir les mettre à l’épreuve empiriquement (i.e., ils doivent être falsifiables) de façon répétée – implique donc une grande rigueur