Psychologische Diagnostik: Gütekriterien (PDF)

Gütekriterien revised Psycholog. Diagnostik 31.10.2024 (version 3.0.0) Prof. Dr. Ulrich Schroeders Gliederung 1. Was ist Psychometrie? 2. Reliabilität revised 3. Validität 4. Forschung zur Kurzskalenentwicklung Folie 2...

Gütekriterien revised Psycholog. Diagnostik 31.10.2024 (version 3.0.0) Prof. Dr. Ulrich Schroeders Gliederung 1. Was ist Psychometrie? 2. Reliabilität revised 3. Validität 4. Forschung zur Kurzskalenentwicklung Folie 2 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 Psychometrie beschäftigt sich mit Theorie und Methoden der Psychologischen Diagnostik 1. Konstruktion und Validierung von psychologisch-diagnostischen Messinstrumenten wie Fragebögen, Tests, Beurteilungen, Persönlichkeitstests, etc. 2. Methodisch-statistische Forschung der Messtheorie (Item-Response- Theorie, formative und reflektive Messmodelle, etc.) Folie 3 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 Psychometrie To the psychologist, to question what it means to measure a psychological attribute may seem somewhat odd. Many are under the impression that there exists considerable consensus among methodologists on how psychological measurement should be conceptualized, or even that there is only one theory of psychological measurement. One reason for this is that textbooks on research methods tend to propagate such a harmonious picture. However, this picture is inaccurate. Several distinct theories have been proposed for psychological measurement, and these sometimes differ radically in the way they conceptualize the measurement process. In order to make an informed judgment on the merits of psychological testing, it is critical to understand and evaluate these models. Reference. Borsboom, D. (2009). Measuring the Mind: Conceptual Issues in Contemporary Psychometrics (1. Aufl.). Cambridge: Cambridge University Press. Folie 4 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 Latente Variablenmodellierung 1. Wissenschaftliche Modelle sind erdacht/konstruiert 2. Sie sind theoretisch, hypothetisch, fuzzy, und i.d.R. nicht direkt messbar: Psychologische Konstrukte: Intelligenz, Motivation, Leseverstehen… Soziologische Konstrukte: Kulturelle Zugehörigkeit, Gruppenbezogene Feindschaft… Politische Konstrukte: Bürokratie, Demokratie… 3. Theorien sollen getestet und zurückgewiesen werden (Falsifizierbarkeit nach Popper) Folie 5 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 Reflektive Modelle "Ich möchte Ihnen ein Beispiel geben. Nehmen wir an, wir wollen die Auswirkungen von Nährstoffen auf den Artenreichtum von Kieselalgen in einem Fluss messen. Sie machen sich insbesondere über Stickstoff Gedanken. Sie können jedoch keine Wasserproben mit ins Labor nehmen, also verlassen Sie sich auf einige mäßig genaue Stickstoff-Farbstreifen, die Biomasse der Algen (mehr Algen = mehr Stickstoff!) und Ihren Labortechniker Stu, der behauptet, Stickstoff im Wasser schmecken zu können (und der sich in der Vergangenheit als verblüffend genau erwiesen hat). In diesem Fall handelt es sich um eine latente Variable. Der wahre Stickstoffgehalt des Wassers verursacht die Messwerte dieser drei verschiedenen Indikatoren." Source. http://www.r-bloggers.com/ecological-sems-and-composite-variables-what-why-and-how/ Folie 6 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 Formative Modelle (= Compositive-formative models) "Eine Composite-Variable (= zusammengesetzte Variable) ist ein ganz anderes Biest. Nehmen wir an, wir haben das gleiche Szenario. Aber jetzt haben Sie wirklich gute Messungen von Stickstoff. In der Tat haben Sie gute Messungen von Ammonium (NH4) und Nitrat (NO3). Sie möchten einen "Stickstoff- Effekt" abschätzen, wissen aber, dass die beiden verschiedenen Formen von Stickstoff auf leicht unterschiedliche Weise zu diesem Effekt beitragen. Sie könnten einfach ein Modell konstruieren, bei dem die Effekte von NO3 und NH4 direkt auf den Artenreichtum gehen. Wenn Sie jedoch den gesamten "Stickstoff-Effekt" in Ihrem Modell darstellen und die Auswirkungen der einzelnen Stickstoffformen auf den Gesamteffekt bewerten wollen, müssen Sie ein zusammengesetztes Modell erstellen." Source. http://www.r-bloggers.com/ecological-sems-and-composite-variables-what-why-and-how/ Folie 7 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 Modellierung der Welt δ1 δ2 δ3 Item 1 Item 2 Item 3 Item 1 Item 2 Item 3 Latent Composite variable variable 0 Relevant Relevant outcome outcome ε ε Psychologische Konstrukte: Intelligenz, Motivation, Leseverstehen… Soziologische Konstrukte: Kulturelle Zugehörigkeit, Gruppenbezogene Feindschaft… Politische Konstrukte: Bürokratie, Demokratie… Folie 8 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25  1) Reliabilität ist eine Eigenschaft des Tests? 2) Cronbach Alpha misst Eindimensionalität? 3) Cut-Off-Wert für Cronbach Alpha? 4) Reliabilität = Cronbach Alpha? 5) Je höher die Reliabilität desto höher die Validität? Fehlvorstellungen über Reliabilität Folie 9 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 1 – Reliabilität ist eine Eigenschaft des Tests? Abstract. We evaluated the validity, reliability, and potential responsiveness of the Beck Depression Inventory (BDI) in patients with Parkinson’s disease (PD). In part 1 of the study, 92 patients with PD underwent a structured clinical interview for DSM major depression and based on this patients were considered depressed (PD-D) or non-depressed (PD-ND). Subsequently, patients filled in the BDI. In part 2, a postal survey consisting the BDI was performed in 185 PD patients and 112 controls. Test–retest reliability was assessed in 60 PD patients. The factor analysis revealed a cognitive–affective and a somatic factor. Cronbach’s for the BDI was 0.88. Mean BDI indicated significant differences (P < 0.001) between the PD and control group, between the PD-ND and PD-D group, and between PD-ND and control group. In part 1, the receiver operating characteristic curves showed that the area under the curve for the total BDI was 0.88. A cutoff was calculated for the BDI (14/15) that had the highest sum of sensitivity (0.71) and specificity (0.90). In part 2, the test–retest reliability for the BDI total score was 0.89 (intra-class correlation coefficient). The smallest real difference was 3.3 for the total BDI. The BDI is a valid, reliable, and potential responsive instrument to assess the severity of depression in PD. However, an adjusted cutoff is recommended. Reference. Visser, M., Leentjens, A. F. G., Marinus, J., Stiggelbout, A. M., & van Hilten, J. J. (2006). Reliability and validity of the Beck depression inventory in patients with Parkinson’s disease. Movement Disorders, 21, 668–672. http://doi.org/10.1002/mds.20792 Folie 10 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 2 – Cronbachs Alpha misst Eindimensionalität? Cronbach-alpha-Koeffizient ist kein Homogenitätsindex (im Sinne der Eindimensionalität), sondern lediglich ein kombinierter Index, der die mittleren Itembeziehungen (Korrelationen) und gleichzeitig die Itemanzahl berücksichtigt; Interne Konsistenz vs. Homogenität Gelegentlich wird die Annahme vertreten, dass bei hohem Cronbach-alpha- Koeffizienten Items eindimensional sind  das stimmt nicht Reference. Schmitt, N. (1996). Uses and abuses of coefficient alpha. Psychological Assessment, 8, 350–353. https://doi.org/10.1037/10 40-3590.8.4.350 Alpha lässt keine Aussage über die Dimensionalität zu. Alle Fragen, die die dimensionale Struktur psy. Messinstrumente betreffen, werden mit Hilfe von Faktorenanalyse (exploratorischen o. konfirmatorischen) beantwortet Folie 11 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 Ab wann spricht man von einer akzeptablen Reliabilität? Folie 12 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 3 – Cut-Off-Wert für Cronbach Alpha? Reliability of.70 or Higher (rxx′ >.70) Is Acceptable Sure! Jum Nunnally (1978) said this, right? Many authors have seemed to think so. […] Here, Nunnally stated (in part) that what a satisfactory level of reliability is depends on how a measure is being used. In the early stages of research... one saves time and energy by working with instruments that have only modest reliability, for which purpose reliabilities of.70 or higher will suffice.... In contrast to the standards in basic research, in many applied settings a reliability of.80 is not nearly high enough. In basic research, the concern is with the size of correlations and with the differences in means for different experimental treatments, for which purposes a reliability of.80 for the different measures is adequate. In many applied problems, a great deal hinges on the exact score made by a person on a test.... In such instances it is frightening to think that any measurement error is permitted. Even with a reliability of.90, the standard error of measurement is almost one-third as large as the standard deviation of the test scores. In those applied settings where important decisions are made with respect to specific test scores, a reliability of.90 is the minimum that should be tolerated, and a reliability of.95 should be considered the desirable standard. Reference. Lance, C. E. (2006). The Sources of Four Commonly Reported Cutoff Criteria: What Did They Really Say? Organizational Research Methods, 9, 202–220. http://doi.org/10.1177/1094428105284919 Folie 13 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 3 – Cut-Off-Wert für Cronbach Alpha? Der Cronbach-alpha-Koeffizient fällt mit größerer Itemanzahl höher aus gilt nur für Items, die positiv mit den anderen Items korrelieren. Items, die mit anderen Items negativ korrelieren, reduzieren das Cronbach- alpha. Der Cronbach-alpha-Koeffizient gibt also in Abhängigkeit von der Itemanzahl die Höhe der mittleren Itemzusammenhänge an. Bei unterschiedlichen Itemtrennschärfen oder unterschiedlich hohen Faktorladungen stellt Cronbach-alpha eine Mindestschätzung der Reliabilität dar! Folie 14 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 3 – Cut-Off-Wert für Cronbach Alpha? Reference. Schmitt, N. (1996). Uses and abuses of coefficient alpha. Psychological Assessment, 8, 350–353. https://doi.org/10.1037/1040-3590.8.4.350 Folie 15 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 Cronbach-alpha – Definition Höhe des Koeffizienten hängt vom Verhältnis der Summe der einzelnen Itemvarianzen (Si²) zur Gesamtvarianz (Sx²) des Tests ab  j 2  Si2 = Varianz der Testitems / Testteile c  ∑  Si  c = Anzahl der Testitems / Testteile α= ⋅ 1 − i =1 2  Sx2 = Varianz der Gesamtrohwerte c −1  Sx      Dabei ist zu beachten, dass die Items zumindest essentiell τ-äquivalent sein müssen Latente Variable λ= λ= λ Mess- Item- Item1 Item2 Item3 fehler- varianz varianz σ²E ≠ σ²E ≠ σ²E Folie 16 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 Parameter im regressionsanalytischen Modell τi τ3 τ2 𝜏𝜏𝑖𝑖 = 𝛼𝛼𝑖𝑖 + 𝜆𝜆𝑖𝑖 𝜂𝜂 τ1 6 mit λi = 1 5 4 yi = τi + εi = αi + λi · η + εi 3 2 α1 1 η 1 2 3 4 5 6 Griechisches Symbol Beschreibung η Eta Latente Variable (z.B. Intelligenz) τ Tau Wahre Wert eines Indikators α Alpha Intercept (Abzissenabschnitt) λ Lambda Steigung oder Faktorladung ε Epsilon Residual- oder Fehlerterm Folie 17 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 Parameter im faktoranalytischen Modell η 𝜏𝜏𝑖𝑖 = 𝛼𝛼𝑖𝑖 + 𝜆𝜆𝑖𝑖 𝜂𝜂 1 1 1 mit λi = 1 y1 y2 y3 yi = τi + εi = αi + λi · η + εi ε1 ε2 ε3 Griechisches Symbol Beschreibung η Eta Latente Variable (z.B. Intelligenz) τ Tau Wahre Wert eines Indikators α Alpha Intercept (Abzissenabschnitt) λ Lambda Steigung oder Faktorladung ε Epsilon Residual- oder Fehlerterm Folie 18 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 4 – Reliabilität = Cronbach Alpha? τ-kongenerisch 2 τ i = αi + λ i · η McDonald's ω essenziell τ-äquivalent 1 τ i = αi + η τ-äquivalent Cronbach's α essenziell τ-parallel τ i = αi + η 3 τ i = αi + η α i = αj Var(εi) = Var(εj) r in Spearman- Brown-Formel τ-parallel τ i = αi + η j αi = α j Var(εi) = Var(εj) Folie 19 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 The attack of the psychometricians But It’s Not in SPSS! The reason that, say, Cronbach’s alpha and principal components analysis are so popular in psychology is not that these techniques are appropriate to answer psychological research questions, or that they represent an optimal way to conduct analyses of measurement instruments. The reason for their popularity is that they are default options in certain mouse-click sequences of certain popular statistics programs. Since psychologists are monogamous in their use of such software (most in my department are wedded to SPSS) there is little chance of convincing them to use a model—any model—that is not "clickable" in the menus of major statistical programs. For reasons that defy my understanding, psychometric models are not well represented in such software. In fact, for a long time the psychometric modeler was typing in obscure commands next to a command prompt on a black and white screen. Considerable improvement on this point has been made (e.g., Muthén & Muthén, 2001), but this improvement is of a relatively recent date. Folie 20 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 5 – Je höher Reliabilität, desto höher Validität Reference. Borsboom, D., & Mellenbergh, G. J. (2002). True scores, latent variables, and constructs: A comment on Schmidt and Hunter. Intelligence, 30, 505–514. https://doi.org/10.1016/S0160-2896(02)00082-X Classical test theory does […] not assume that there is a construct underlying the measurements at all. From the point of view of classical test theory, literally every test has a true score associated with it. For example, suppose we constructed a test consisting of the items “I would like to be a military leader,” “0.10/ 0.05 0.05” and “I am over six feet tall.” After arbitrary—but consistent—scoring of a person’s item responses and adding them up, we multiply the resulting number by the number of letters in the person’s name, which gives the total score on the test. This total score has an expectation over a hypothetical long run of independent observations, and so the person has a true score on the test. The test will probably even be highly reliable in the test–retest sense, because, in the general population, the variation in true scores will be large relative to the variation in random error (see also Mellenbergh, 1996). The true score on this test, however, presumably does not reflect an attribute of interest. Folie 21 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 Was ist Validität überhaupt? “catch-all category for a range of challenging psychometric problems” Kelley (1927, p. 14): A test is valid to the degree that it “really measures what it purports to measure” Cronbach & Meehl (1955, p- 282): A “construct validation takes place when an investigator believes that his instrument reflects a particular construct, to which are attached certain meanings”. This is usually examined by embedding a measure into a nomological network. Loevinger (1957) Three components of construct validity (substantive = Inhaltsvalidität, structural = Faktorielle Validität und external = Kriteriumsval.) Messick (1989) fokussiert auf die Interpretationen von Testergebnissen und verbindet sich mit ethischen und sozialen Konsequenzen. Borsboom et al. (2004) gibt eine simple, reduktionistische Konzeptualisierung. Ein Test ist valide, wenn er a) ein Merkmal misst, das existiert und b) Variationen des Merkmals kausal Variation im Messergebnis verursachen. Folie 22 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 Validität Reference. Borsboom, D., Mellenbergh, G. J., & Van Heerden, J. (2004). The concept of validity. Psychological Review, 111, 1061– 1071. https://doi.org/10.1037/0033- 295X.111.4.1061 Abstract This article advances a simple conception of test validity: A test is valid for measuring an attribute if (a) the attribute exists and (b) variations in the attribute causally produce variation in the measurement outcomes. This conception is shown to diverge from current validity theory in several respects. In particular, the emphasis in the proposed conception is on ontology, reference, and causality, whereas current validity theory focuses on epistemology, meaning, and correlation. It is argued that the proposed conception is not only simpler but also theoretically superior to the position taken in the existing literature. Further, it has clear theoretical and practical implications for validation research. Most important, validation research must not be directed at the relation between the measured attribute and other attributes but at the processes that convey the effect of the measured attribute on the test scores. Folie 23 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25  5 – Je höher die Reliabilität desto höher die Validität? Forschungsbeispiel zu Metaheuristiken Folie 24 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 Definition Metaheuristiken Metaheuristiken werden in der Informatik Algorithmen genannt, die Optimierungsprobleme näherungsweise lösen Klassen von Optimierungsprobleme 1. Zuordnungsproblem, z.B. Stundenpläne 2. Reihenfolgeproblem, z.B. Problem des Handelsreisenden 3. Gruppierungsproblem, z.B. Dimensionalitätsfragen 4. Auswahlproblem, z.B. Rucksackproblem Metaheuristiken sind häufig aus der Biologie entlehnt: Genetischer Algorithmus, Bienenschwarmalgorithmus, Ameisenstaatenalgo., etc. Kollektive Intelligenz oder Schwarmintelligenz als emergentes Phänomen Folie 25 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 Metaheuristiken "Klassisches Beispiel ist der Ameisenstaat. Eine einzelne Ameise hat ein sehr begrenztes, aber auch sehr funktionelles Verhaltens- und Reaktionsrepertoire. Im selbstorganisierenden Zusammenspiel ergeben sich jedoch Verhaltensmuster, Abläufe und Resultate, die aus menschlicher Sicht „intelligent“ genannt werden können. Bestimmte Aspekte der „Intelligenz“ (besser „Funktionalität“) einer solchen Ameisenkolonie – zum Beispiel Abläufe der Nahrungssuche – können in Regeln erfasst und mit Computerprogrammen simuliert werden." wikipedia Folie 26 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 Ant Colony Optimization (ACO) Geht auf Beobachtungen und math. Beschreibung der Argentinischen Ameise zurück (Deneubourgh et al., 1983, Goss et al., 1989) Folie 27 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 Ant Colony Optimization (ACO) Optimierungsaufgabe Suche das Model mit 5 aus 8 Items, das den besten CFI aufweist. X1 X2 X3 X4 X5 X6 X7 X8 Pheromone 1 1 1 1 1 1 1 1 1. Virtuelle Ameisen (= 5-Item-Modelle) werden losgeschickt. X1 X2 X3 X4 X5 X6 X7 X8 CFI Ant 1 X X 0 0 X X 0 X.956 Ant 2 0 X X X 0 0 X X.934 Ant 3 X 0 X X X 0 0 X.948 2. Ergebnisse werden verglichen und Pheromone für „beste“ Items erhöht. X1 X2 X3 X4 X5 X6 X7 X8 Pheromone 2 2 1 1 2 2 1 2 Folie 28 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 29 Wieso Optimierung? 𝑛𝑛 𝑛𝑛! = 𝑘𝑘 𝑘𝑘! 𝑛𝑛 − 𝑘𝑘 ! 4 aus 8: 70 10 aus 20: 184.756 20 aus 40: 137.846.528.820 32 aus 64: 1.832.624.140.942.592.256 Folie 30 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 Erstellen von Kurzskalen Schroeders, U., Wilhelm, O., & Olaru, G. (2016). Meta-heuristics in short scale construction: Ant Colony Optimization and Genetic Algorithm. PLOS ONE, 11(11), e0167110. https://doi.org/10.1371/journal.pone.0167110 Schlüsselkonzepte psychologischer Tests 1. Faktorstruktur, Dimensionalität  Model Fit eindim. Messmodell 2. Reliabilität und Messpräzision  Verteilung/Höhe der Faktorladungen 3. Diskriminierung über das Fähigkeitsspektrum  Verteilung/Höhe der Itemschwierigkeiten 4. Validität  Korrelative Zusammenhänge mit Drittvariablen Folie 32 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 Beispielitem PPVT Der Peabody Picture Vocabulary Tests - 4. Ausgabe (PPVT-4; Dunn & Dunn, 2007) ist ein international eingesetztes Standardinstrument bei Untersuchungen zur Wortschatzent- wicklung. Die deutsche Fassung des PPVT-4 ist so eng wie möglich an die Originalfassung angelehnt und misst den rezeptiven (Hör-) Wortschatz von Kindern im Alter von 3 Jahren 0 Monaten bis 16 Jahren 11 Monaten. […] Er enthält 228 Items, die jeweils aus einem gesprochenen Wort und einem zugehörigen Set aus vier farbigen Bildern bestehen. Die Aufgabe der Testperson besteht darin, dasjenige Bild auszuwählen, welches am besten zum vom Testleiter vorgesprochenen Wort passt. https://www.psychometrica.de/ppvt4.html PPVT-NEPS hat 89 (andere) Items , aber dasselbe Aufgabenformat Folie 33 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 Vergleich SCOFA vs. ACO SCOFA = Stepwise Confirmatory Factor Analysis Entfernt iterativ das Item mit der geringsten Faktorladung Entspricht dem Standardvorgehen bei der Konstruktion von Testkurformen (AKA Trennschärfe-basierte Itemselektion) Folie 34 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 Vergleich SCOFA vs. ACO ACO = Ant Colony Optimization Ziehen vieler Itemsamples aus der Itemgesamtheit Iterativer Prozess, effektiver als die vollständige Lösung Optimierung kann hinsichtlich verschiedener Kriterien simultan erfolgen (bspw. Reliabilität und Validität) Folie 35 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 Ergebnisse: Reliabilität Folie 36 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 Ergebnisse: Validität Folie 37 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25 Zusammenfassung Erstellung von reliablen, validen Kurzskalen funktioniert ausgezeichnet: 16 anstatt 89 Items reichen, entspricht 18% der ursprünglichen Items Bei den SCOFA Modellen stellt sich ein Attenuationsparadox ein: Trotz ansteigender Iteminterkorrelationen (= höhere interne Konsistenz), steigt die Konstruktvalididät nicht an, sondern fällt sogar ab. Scheint "klassischen" Prinzipien der Testkonstruktion zu widersprechen, aber aus einer Informationsperspektive nachzuvollziehen: Hoch korrelierte Items sind ebenfalls redundant. Hinzunahme weiterer homogener Items hat keinen Nutzen. Effekt wird durch die Auswahl extrem leichter Items durch SCOFA noch verstärkt (Loevinger, 1954, 1965) Folie 38 Psychologische Diagnostik (Vl-MSc) | WiSe 24/25