Psychometrie Grundlagen

Gliederung

• Die Präsentation behandelt die Themen Psychometrie, Reliabilität, Validität und Forschung zur Kurzskalenentwicklung.
• Am 31.10.2024 wird eine überarbeitete Version der Gütekriterien in der psychologischen Diagnostik vorgestellt (Version 3.0.0).

Psychometrie

• Die Psychometrie befasst sich mit der Theorie und den Methoden der psychologischen Diagnostik.
• Dazu gehört die Konstruktion und Validierung von Messinstrumenten wie Fragebögen, Tests und Beurteilungen.
• Ebenfalls umfasst sie die methodisch-statistische Forschung der Messtheorie, wie die Item-Response-Theorie.
• Es gibt unterschiedliche Theorien zur psychologischen Messung, die sich in ihrer Konzeptualisierung des Messprozesses radikal unterscheiden können.

Latente Variablenmodellierung

• Wissenschaftliche Modelle sind erdacht bzw. konstruiert.
• Modelle sind theoretisch, hypothetisch, schwer greifbar und i.d.R. nicht direkt messbar.
• Psychologische Konstrukte: Intelligenz, Motivation, Leseverständnis.
• Soziologische Konstrukte: Kulturelle Zugehörigkeit, Gruppenbezogene Feindschaft.
• Politische Konstrukte: Bürokratie, Demokratie.
• Theorien sollten getestet und zurückgewiesen werden können (Falsifizierbarkeit nach Popper).

Reflektive Modelle

• Latente Variable verursacht die Messwerte der Indikatoren.
• Ein Beispiel ist der Stickstoffgehalt im Wasser, der die Messwerte von Stickstoff-Farbstreifen, Biomasse der Algen und dem Geschmack beeinflusst.

Formative Modelle

• Die Messwerte der Indikatoren tragen zu einer zusammengesetzten Variable bei.
• Ein Beispiel ist, dass Ammonium (NH4) und Nitrat (NO3) verschiedene Formen von Stickstoff sind, die auf unterschiedliche Weise zu einem Stickstoff-Effekt beitragen.

Modellierung der Welt

• Grafische Darstellung von reflektiven und formativen Modellen, die latente Variablen und Composite Variablen nutzen, um relevante Ergebnisse zu modellieren.
• Psychologische Konstrukte: Intelligenz, Motivation, Leseverstehen.
• Soziologische Konstrukte: Kulturelle Zugehörigkeit, Gruppenbezogene Feindschaft.
• Politische Konstrukte: Bürokratie, Demokratie.

Fehlvorstellungen über Reliabilität

• Reliabilität ist keine Eigenschaft des Tests.
• Cronbach Alpha misst nicht die Eindimensionalität.
• Es gibt keinen allgemeingültigen Cut-Off-Wert für Cronbach Alpha.
• Reliabilität ist nicht gleich Cronbach Alpha.
• Höhere Reliabilität bedeutet nicht automatisch höhere Validität.

Reliabilität ist eine Eigenschaft des Tests?

• Reliabilität, Validität und potenzielle Responsivität des Beck Depression Inventory (BDI) wurden bei Patienten mit Parkinson-Krankheit (PD) evaluiert.
• Cronbachs für den BDI lag bei 0.88.
• Der BDI ist ein valides, zuverlässiges und potenziell responsives Instrument zur Beurteilung des Schweregrads der Depression bei PD.

Cronbachs Alpha misst Eindimensionalität?

• Cronbach-alpha-Koeffizient ist kein Homogenitätsindex, sondern ein kombinierter Index, der mittlere Itembeziehungen und Itemanzahl berücksichtigt.
• Aussage über die Dimensionalität ist nicht möglich.
• Fragen zur dimensionalen Struktur werden mit Faktorenanalyse beantwortet.

Cut-Off-Wert für Cronbach Alpha?

• Ein Wert von .70 oder höher ist akzeptabel.
• Ein zufriedenstellendes Maß hängt davon ab, wie eine Messung verwendet wird.
• In frühen Forschungsphasen reichen Reliabilitäten von .70 aus.
• In angewandten Bereichen ist eine Reliabilität von .80 nicht hoch genug.
• Bei wichtigen Entscheidungen sind Reliabilitäten von .90 oder .95 wünschenswert.
• Der Cronbach-alpha-Koeffizient fällt mit größerer Itemanzahl höher aus.

Cut-Off-Wert für Cronbach Alpha?

• Der Koeffizient gilt nur für Items, die positiv mit anderen Items korrelieren.
• Negative Korrelationen reduzieren Cronbach-alpha.
• Die Höhe gibt in Abhängigkeit von Itemanzahl die Höhe der mittleren Itemzusammenhänge an.
• Bei unterschiedlichen Itemtrennschärfen stellt es eine Mindestschätzung der Reliabilität dar.

Cronbach-alpha – Definition

• Die Höhe des Koeffizienten hängt vom Verhältnis der Summe der einzelnen Itemvarianzen zur Gesamtvarianz des Tests ab.
• Die Items müssen zumindest essentiell τ-äquivalent sein.

Parameter im regressionsanalytischen Modell

• τi = αi + λi * η (mit λi = 1), wobei η die latente Variable, τ der wahre Wert eines Indikators, α der Intercept und λ die Steigung oder Faktorladung ist.
• ε steht für den Fehlerterm.

Reliabilität = Cronbach Alpha?

• Darstellung verschiedener Formen der Reliabilität: τ-kongenerisch (McDonald's ω), essentiell τ-äquivalent (Cronbach's α), τ-parallel und essentiell τ-parallel.

Je höher Reliabilität, desto höher Validität

• Die klassische Testtheorie geht nicht davon aus, dass den Messungen ein Konstrukt zugrunde liegt.
• Jeder Test hat einen wahren Wert, aber dieser muss kein Attribut von Interesse widerspiegeln.

Was ist Validität überhaupt?

• Validität ist eine "catch-all category for a range of challenging psychometric problems" (umfassende Kategorie für eine Reihe von anspruchsvollen psychometrischen Problemen).
• Ein Test ist valide, wenn er wirklich das misst, was er zu messen vorgibt (Kelley, 1927).
• Eine Konstruktvalidierung findet statt, wenn ein Forscher glaubt, dass sein Instrument ein bestimmtes Konstrukt widerspiegelt (Cronbach & Meehl, 1955).
• Loevinger (1957) unterscheidet drei Komponenten der Konstruktvalidität: Inhaltsvalidität, Faktorielle Validität und Kriteriumsval.
• Borsboom et al. (2004) definieren Validität reduktionistisch: Ein Test ist valide, wenn er ein existierendes Merkmal misst und Variationen des Merkmals kausal Variation im Messergebnis verursachen.

Validität

• Ein Test ist valide für die Messung eines Attributs, wenn (a) das Attribut existiert und (b) Variationen in dem Attribut kausal Variationen in den Messergebnissen verursachen.
• Schwerpunkt liegt auf Ontologie, Referenz und Kausalität statt auf Epistemologie, Bedeutung und Korrelation.
• Validierungsforschung sollte sich auf die Prozesse konzentrieren, die den Effekt des gemessenen Attributs auf die Testergebnisse übertragen und nicht auf die Beziehung zwischen Attributen.

Definition Metaheuristiken

– Algorithmen in der Informatik, die Optimierungsprobleme näherungsweise lösen.

• Klassen von Optimierungsproblemen sind Zuordnungs-, Reihenfolge-, Gruppierungs- und Auswahlprobleme.
• Oft aus der Biologie entlehnt: Genetischer Algorithmus, Bienenschwarmalgorithmus, Ameisenstaatenalgo.
• Kollektive Intelligenz oder Schwarmintelligenz als emergentes Phänomen.

Metaheuristiken

• Ein Ameisenstaat ist ein klassisches Beispiel.
• Die Intelligenz/Funktionalität einer Ameisenkolonie kann in Regeln erfasst und mit Computerprogrammen simuliert werden.

Ant Colony Optimization (ACO)

• Basiert auf Beobachtungen und mathematischen Beschreibungen der Argentinischen Ameise.

Ant Colony Optimization (ACO)

• Optimierungsaufgabe: Suche das Modell mit 5 aus 8 Items, das den besten CFI aufweist.
• Virtuelle Ameisen (5-Item-Modelle) werden losgeschickt.
• Ergebnisse werden verglichen und Pheromone für "beste" Items erhöht.

Erstellen von Kurzskalen

• Schlüsselkonzepte psychologischer Tests sind: Faktorstruktur/Dimensionalität, Reliabilität/Messpräzision, Diskriminierung und Validität.
• Es gibt Meta-Heuristiken in der Kurzskalenkonstruktion wie z.B. Ant Colony Optimization

Beispielitem PPVT

• Der Peabody Picture Vocabulary Test - 4. Ausgabe (PPVT-4; Dunn & Dunn, 2007) misst den rezeptiven (Hör-)Wortschatz von Kindern.
• Umfasst 228 Items mit gesprochenen Wörtern und zugehörigen farbigen Bildern oder 89 (andere) Items im PPVT-NEPS.

Vergleich SCOFA vs. ACO

• SCOFA (Stepwise Confirmatory Factor Analysis): Entfernt iterativ das Item mit der geringsten Faktorladung (Trennschärfe-basierte Itemselektion).
• ACO (Ant Colony Optimization): Zieht viele Itemsamples, ist ein iterativer Prozess und optimiert simultan verschiedene Kriterien.

Ergebnisse: Reliabilität

• Ergebnisse der Reliabilitätsanalyse für verschiedene Kurzskalen.

Ergebnisse: Validität

• Ergebnisse der Validitätsanalyse für verschiedene Kurzskalen.

Zusammenfassung

• Die Erstellung von reliablen, validen Kurzskalen funktioniert mit 16 statt 89 Items ausgezeichnet.
• Bei SCOFA tritt ein Attenuationsparadox auf: Trotz steigender Iteminterkorrelationen steigt Konstruktvalidität nicht, sondern fällt ab.
• Dies scheint klassischen Prinzipien zu widersprechen, ist aber aus Informationsperspektive nachvollziehbar: Hoch korrelierte Items sind redundant.
• Der Effekt wird durch die Auswahl extrem leichter Items durch SCOFA verstärkt.

Dieses Quiz untersucht die Grundlagen der Psychometrie, einschließlich latenter Variablen und der Beurteilung psychologischer Tests. Es werden auch reflektive Modelle, wissenschaftliche Modelle und zusammengesetzte Modelle behandelt. Wichtige psychologische Konstrukte werden ebenfalls thematisiert.