DiF I -VL5

Grundlagen der Diagnostik: Reliabilität von Messinstrumenten

• Zu den Hauptgütekriterien diagnostischer Verfahren gehören:
  • Objektivität
  • Reliabilität (Zuverlässigkeit)
  • Validität (Gültigkeit).
• Nebengütekriterien umfassen:
  • Normierung
  • Ökonomie
  • Zumutbarkeit
  • Fairness
  • Akzeptanz.

Definition der Reliabilität

• Reliabilität stammt von dem englischen Wort "reliable", was zuverlässig bedeutet.
• Reliabilität oder Zuverlässigkeit eines Verfahrens bezieht sich auf den Grad der Genauigkeit, mit dem ein bestimmtes Persönlichkeits- oder Verhaltensmerkmal gemessen werden kann, unabhängig davon, was das Verfahren zu messen vorgibt.
• Sie wird durch den Reliabilitätskoeffizienten rtt angegeben.
• rtt kann Werte zwischen 0 und 1 annehmen, wobei höhere Werte eine bessere Reliabilität anzeigen.
• Ein rtt von 1 bedeutet, dass der Test absolut messfehlerfei ist.
• Ein rtt von 0 bedeutet, dass die Testergebnisse ausschließlich durch Messfehler bestimmt werden.

Exkurs: Korrelation

• Die Höhe der Korrelation gibt an, wie eng der Zusammenhang zwischen zwei Variablen ist.
• Negative Reliabilitäten deuten auf Probleme wie falsche Berechnungen hin, können aber grundsätzlich herauskommen.
• Mögliche Werte für r:
  • r = 1: perfekter positiver Zusammenhang
  • r = 0: kein Zusammenhang
  • r = -1: perfekter negativer Zusammenhang
• Korrelationen erlauben keine Aussage über Kausalität.
• In der psychologischen Diagnostik gibt es in der Regel keine perfekten Zusammenhänge.

Reliabilität und Messfehler

• Reliabilität ist der Grad der Übereinstimmung der Messergebnisse (z. B. Testwerte) für eine Gruppe von Merkmalsträgern bei wiederholter Messung mit einem Verfahren.
• Es wird angenommen, dass unter denselben Bedingungen die mehrfache Messung eines Merkmals (theoretisch) zu denselben Ergebnissen bei den Merkmalsträgern führen sollte.
• Inkonsistenzen werden als unsystematische, zufällige Messfehler aufgefasst.
• Jede Messung ist messfehlerbehaftet.
• Bei wiederholter Messung weichen die Messwerte mehr oder weniger stark voneinander ab.
• Je geringer die Abweichungen der Messwerte bei wiederholter Nessung sind, desto weniger wird die Messung durch Messfehler beeinflusst.

Beobachteter Wert vs. wahrer Wert

• Der beobachtete Wert entspricht nicht dem wahren Wert, sondern wird durch den Messfehler beeinflusst.
• Reliabilität ist das Verhältnis von "Wahrem" Anteil (z. B. Fähigkeit) zu "Wahrem" Anteil (z. B. Fähigkeit) + Fehleranteil (z. B. Tagesform, Messfehler etc.).
• Je größer der Fehleranteil (je niedriger die Reliabilität), desto ungenauer ist das Messergebnis.

Quellen für Messfehler

• Systematische Messfehlerquellen: Die Abweichungen durch den Messfehler haben immer die gleiche Richtung.
• Durch standardisierte Bedingungen versucht man, systematische Messfehlerquellen zu kontrollieren.
• Unsystematische Messfehlerquellen: Die Abweichungen erfolgen nach oben und unten, wobei die Ursache unbekannt bzw. nicht kontrollierbar ist (z. B. Schlaf, Müdigkeit, Konzentration)
• Beispiele für unsystematische Messfehler: Psychische Dispositionen des Probanden (Emotionen, Motivation, Ermüdung), Merkmale des Untersuchers (Alter, Geschlecht, Auftreten), Durchführungsbedingungen (Testinstruktionen, Testraum, Störungen).

Klassische Testtherorie

• Das klassische Konzept der Reliabilität basiert auf der Klassischen Testtheorie (KTT).
• KTT umfasst mehrere Annahmen, die es ermöglichen, die Reliabilität über den Zusammenhang mehrerer Messungen desselben Merkmals bei einer Gruppe von Personen zu schätzen.
• Zentrale Idee der Messwiederholung: beobachtete Werte = wahre Werte + Messfehler
• Zwei zentrale Annahmen der KTT:
  • Ein beobachteter Messwert (Y) einer Person in einem Test setzt sich additiv zusammen aus einem wahren Wert (T) und einem Messfehler (E): Y = T + E.
  • Der Mittelwert (Erwartungswert: Erw) der Messfehler über unendlich viele Messungen desselben Merkmals bei einer Person ist null: Erw (E) = Erw(Y-T) = 0 → Erw(Y)= T (d.h. die Messfehler sind zufällig, d.h. frei von systematischen Unterscheiden zwischen den Messungen).

Verfahren zur Reliabilitätsbestimmung

• Es gibt verschiedene Verfahren zur Reliabilitätsbestimmung:
  • Testwiederholung (Test-Retest-Reliabilität)
  • Mehrfache Kodierung (Interrater-Reliabilität)
  • Paralleltestung (Paralleltestreliabilität)
  • Testteilung (Splitt-Half-Reliabilität oder Interne Konsistenz)

Testwiederholung (Test-Retest-Reliabilität)

• Derselbe Test wird den Versuchspersonen zu verschiedenen Zeitpunkten dargeboten. Die Ergebnisse der ersten und zweiten Messung werden korreliert.
• Gleichheit bzw. Ähnlichkeit der Messergebnisse bei Anwendung zu unterschiedlichen Zeitpunkten.
• Betrachtet den (zeitlichen) Stabilitätsaspekt bei Messwiederholungen.
• Die Retestreliabilität ist abhängig von der relativen Stabilität eines Merkmals und dem Zeitintervall zwischen den Testungen.
• Sie drückt die relative (nicht die absolute) Stabilität des Tests aus.

Stabilität (Absolut and Relativ)

• Absolute Stabilität: Das Merkmal bleibt konstant (z. B. Werte von 90 bis 100).
• Relative Stabilität: Rangfolge zwischen beiden Personen bleibt gleich (z. B. Werte von 80 bis 90).

Interrater-Reliabilität

• Mehrere Rater bewerten dasselbe Material oder Objekt. Sie bewerte die Konsistenz bzw. Vergleichbarkeit der Urteile von mehreren Bewertern.

Paralleltest-Reliabilität

• Es liegen mehrere vergleichbare Tests vor. Die Mittelwerte und weitere statistische Kenngrößen sollten für beide Tests sehr ähnlich sein.
• Die Reliabilität wird über die Korrelation zwischen den beiden Tests bestimmt
• Betrachtet den Äquivalenzaspekt, wenn echte Paralleltests vorliegen.

Splitt-Half-Reliabilität

• Es liegt nur ein Test vor: der Test wird in zwei Hälften unterteilt, jede Hälfte ist ein „Paralleltest" zur anderen Hälfte
• Betrachtet den Konsistenzaspekt
• Die Mittelwerte und weitere statistische Kenngrößen sollten für beide Hälften ähnlich sein.
• Die Reliabilität wird bestimmt über die Korrelation zwischen den beiden Hälften.
• Kor(YA,YB) unterschätzt die tatsächliche Reliabilität und muss daher korrigiert werden, Spearman-Brown-Formel verwenden.

Interne Konsistenz

• Die Weiterführung der Idee von Splitt-Half-Reliabilität (Zerlegung des Tests in mehr als 2 Teile)
• Ein Maß dafür, wie die Items einer Skala miteinander zusammenhängen.
• Sie wird häufig berechnet durch Cronbachs Alpha: α = (N * r) / (1 + (N-1) * r
  • N: Anzahl der Items pro Skala
  • r: durchschnitttliche Inter-Item-Korrelation

Beurteilungen der Reliabilität

• Paralleltest - bzw. Retestreliabilität von Intelligenz - und Leistungstests
  • .75 < rtt < .80 → gut
  • .80 < rtt < .85 → sehr gut
  • rtt > .85 → exzellent
  • Referenz: Rost, 2007, S. 157
• Testhalbierungsreliabilität und Interne Konsistenz von Intelligenz- und Leistungstests
  • rtt <. 80 → niedrig
  • .80 < rtt <. 90 → mittel
  • rtt > .90 → hoch
  • Referenz: Fisseni, 1997, S. 124

COTAN System

• Beurteilung der Reliabilität
  • Niveau 1: unzureichend <.80; ausreichend .80-.90; gut >.90
  • Niveau 2: unzureichend <.70; ausreichend .70-.80; gut >.80
  • Niveau 3: unzureichend <.60; ausreichend .60-.70; gut >.70

Objektivität und Reliabilität

• Voraussetzung für eine hohe Reliabilität ist die Objektivität des Tests.
• Nur ein objektiver Test kann eine hohe Reliabilität erreichen.
• Die Objektivität des Tests ist eine notwendige, aber keine hinreichende Voraussetzung für eine hohe Reliabilität!

Reliabilität von Schulnoten

• Studie von Eells, 1930:
  • 61 Lehrkräfte bewerteten Schülerantworten auf Frage aus den Bereichen Geographie und Geschichte, erneute Bewertung nach 11 Wochen.
  • Korrelation zwischen den Bewertungen: r = 0.25 bis r = 0.51
• Bei Untersuchungen einzelner Arbeiten ist die Reliabilität schlecht.
• Die Notendurchschnitte (Zeugnisnoten) weisen über die Schulzeit hinweg jedoch ine hohe Stabilität auf.
• Schulleistungen korrelieren von Jahr zu Jahr bei rtt = .80.
• Im Sekundarbereich sinkt der Zusammenhang etwas, aber im reliv hohen Bereich (rtt = 0.70).

Standardmessfehler

• Der Standardmessfehler bestimmt das Ausmaß der Konfidenzintervals, in dem sich der „wahre Wert“ mit Wahrscheinlichkeit befindet.
• Er ist ist abhängig von der Standardabweichung (sₜ) und Reliabilität (rₜ) des Tests.
• SM = sₜ√1 - rₜ
• Die Formeln zur Berechnung des Konfidenzintervalls sind:
  • 95%-Konfidenzintervall: KI₉₅% = X ± 1.96 • SM
  • 99%-Konfidenzintervall: KI₉₉% = X ± 2.58 • SM
  • 68%-Konfidenzintervall: KI₆₈% = X ± 1 • SM