Testkonstruktion und -administration

Kapitel 2: Testgütekriterien - Haupt- und Nebengütekriterien

• Testgütekriterien sind ein Instrument zur Qualitätsbeurteilung psychologisch-diagnostischer Tests.
• Das Manual (Handbuch) eines Tests muss aufzeigen, wie die Testgütekriterien erfüllt sind.
• Es gibt 10 Testgütekriterien.

2.1 Objektivität

• Ein Test ist objektiv, wenn das gemessene Merkmal unabhängig von Testleiter, Auswerter und der Interpretation der Ergebnisse gemessen wird.
• Objektivität wird in drei Aspekte unterteilt: Durchführungsobjektivität, Auswertungsobjektivität, Interpretationsobjektivität.

2.2 Reliabilität

• Reliabilität betrifft die Messgenauigkeit des Tests.
• Ein reliabler Test misst exakt, ohne Messfehler.
• Der Reliabilitätskoeffizient gibt das Ausmaß der Reliabilität an (0 bis 1). Ein Wert von 1 bedeutet keine Messfehler, 0 zeigt an, dass das Testergebnis alleine durch Messfehler zustandekam.
• Hohe Reliabilität hängt von hoher Objektivität ab.
• Es gibt vier Verfahren zur Bestimmung der Reliabilität: Retest-Reliabilität, Paralleltest-Reliabilität, Testhalbierungs-Reliabilität und Innere Konsistenz.

2.2.1 Retest-Reliabilität

• Eine wiederholte Messung an derselben Gruppe soll identische Ergebnisse liefern.
• Geeignet für zeitstabile Merkmale (z.B. nach einer Woche).
• Vorsicht: Erinnerungs- und Lerneffekte.

2.2.2 Paralleltest-Reliabilität

• Entwicklung gleich schwerer Parallelformen (z.B. Form A und Form B).
• Hohe Korrelation zwischen den Parallelformen ist notwendig.

2.2.3 Testhalbierungs-Reliabilität

• Zufällige Aufteilung der Items auf zwei Hälften.
• Hohe Korrelation zwischen den Ergebnissen der beiden Hälften.

2.2.4 Innere Konsistenz

• Jedes Item wird als Einzeltest betrachtet.
• Korrelation zwischen allen Items wird berechnet.
• Cronbachs Alpha (α) ist das wichtigste Reliabilitätsmaß.
• Homogenität

2.3 Validität

• Validität befasst sich mit der Übereinstimmung zwischen dem gewünschten und tatsächlich gemessenen Merkmal.
• Ein Test gilt als valide (gültig), wenn er das gewünschte Merkmal und nicht ein anderes misst.
• Validität hat vier Aspekte: Inhaltsvalidität, Augenscheinvalidität, Konstruktvalidität und Kriteriumsvalidität.
• 2.3.1 Inhaltsvalidität: Ein Test oder ein Testteil misst das Merkmal repräsentativ.
• 2.3.2 Augenscheinvalidität: Die Plausibilität und Überzeugungskraft eines Tests.
• 2.3.3 Konstruktvalidität: Der Rückschluss vom Verhalten auf zugrundeliegende Merkmale ist wissenschaftlich fundiert.
• Es gibt verschiedene Ansätze zur Bestimmung der Konstruktvalidität (z.B. Faktorenanalyse).
• 2.3.4 Kriteriumsvalidität: Der Zusammenhang zwischen der Testleistung und einem oder mehreren Kriterien (z.B. Schulnoten).

2.4 Skalierung

• Das Gütekriterium Skalierung betrifft bei Leistungstests die Forderung, dass höhere Leistungen höhere Testwerte erhalten.
• Die Relation der Leistungsfähigkeit sollte in den Testwerten widergespiegelt werden.
• Skalierung bezieht sich auf interindividuelle und intraindividuelle Differenzen.
• Das Skalenniveau (Nominalskala, Ordinalskala, Intervallskala, Verhältnisskala) beeinflusst die Umsetzbarkeit des Kriteriums.

2.5 Normierung (Eichung)

• Normierung (Eichung) eines Tests dient zur Erstellung eines Bezugssystems.
• Es ermöglicht, Testwerte im Vergleich zu anderen Personen einzustufen.
• Die Eichstichprobe sollte repräsentativ für die Zielgruppe sein.
• Testergebnisse werden in Normtabellen dokumentiert.

2.6 Testökonomie

• Ökonomie bezeichnet die Wirtschaftlichkeit eines Tests.
• Kostenfaktor bei der Testung.

2.7 Nützlichkeit

• Ein Test ist nützlich, wenn er praktische Relevanz hat und die auf ihm basierenden Entscheidungen mehr Nutzen als Schaden bringen.

2.8 Zumutbarkeit

• Psychologische Tests müssen bezüglich Zeit- und Aufwand geschont werden.
• Die Zumutbarkeit betrifft die Testperson.
• Testökonomie ist ein relevantes Kriterium.

2.9 Unverfälschbarkeit

• Ein Test ist unverfälschbar, wenn die getestete Person ihr Testergebnis nicht oder nur unwesentlich beeinflussen kann.
• Persönlichkeitsfragebögen können durch soziale Erwünschtheit beeinflusst werden.

2.10 Fairness

• Ein fairer Test führt nicht zu systematischer Diskriminierung aufgrund ethnischer, soziokultureller oder geschlechtsspezifischer Merkmale.

Kapitel 3: Planung und Entwicklung von Tests und Fragebögen

• 3.1 Testplanung: Entscheidung über das zu untersuchende Merkmal, die Testpersonen, den Geltungsbereich, den Aufbau des Tests und die Testadministration.
• Quantitative vs. qualitative Merkmale, unidimensionale vs. multidimensionale, zeitstabile vs. zeitveränderbare Merkmale.
• 3.2 Konstruktionsstrategien: intuitiv, rational, extern und intern. (intuitiv: basierend auf Erfahrung und Wissen, rational: theoriegeleitet, extern: basierend auf beobachtbaren Kriterien, intern: Faktorenanalyse)
• 3.3 Aufgabentypen und Antwortformate: frei, gebunden, atypisch.
• Entscheidungshilfen zur Auswahl des Aufgabentyps.

Kapitel 4: Deskriptive Statistik

• 4.1 Einleitung: Analyse der Itemschwierigkeit, Bestimmung der Itemvarianzen, Trennschärfeanalyse, Itemselektion, Testwertermittlung und Normalisierung.
• 4.2 Schwierigkeitanalyse: Schwierigkeitsindex (P-Wert), welcher Prozentsatz der Probanden die Aufgabe richtig gelöst hat. Absolut schwer (<20), mittel (20-80), niedrig (>80 oder < 20) und absolut leicht (100).
• 4.3 Differenzierungsfähigkeit eines Items: Varianz des Items.
• 4.4 Trennschärfeanalyse: Korrelative Zusammenhänge zwischen dem Item und den Gesamttestwerten.
• 4.7 Testwertverteilung: Mittelwert, Median, Modalwert, Varianz, Standardabweichung (Range). Form (links- oder rechtsschief) und Wölbung (Normalverteilung oder nicht).

Kapitel 5: Axiome der Klassischen Testtheorie

• 5.2 Axiome: X=T+E (beobachteter Wert = wahrer Wert + Messfehler)
• Mittelwert des Messfehlers über alle Testwerte ist gleich Null.
• Es gibt keinen systematischen Zusammenhang zwischen Messfehler und wahrem Wert.

Kapitel 10: Exploratorische und konfirmatorische Faktorenanalyse

• 10.1 Exploratorische Faktorenanalyse (EFA): Ermittlung der Anzahl zugrundeliegender Faktoren. Keine a-priori Hypothesen über Variablenzuordnung zu Faktoren.
• 10.2 Konfirmatorische Faktorenanalyse (KFA): Hypothesengestützte Bestimmung der Anzahl der Faktoren und ihrer Beziehungen zu den Variablen. Theorienbasierte Zuordnung der Variablen zu den Faktoren.
• 10.2 Abbruchkriterien bei der EFA: Kaiser-Kriterium, Scree-Test, Parallelanalyse / Minimum Average Partial Test.

Kapitel 8: Interpretation von Testresultaten und Testeichung

• 8.1 Testwertbildung und Testwertinterpretation: normorientiert, kriteriumsorientiert.
• 8.2 Normorientierte Interpretation: Prozentrangnormen (welche Prozentsatz der Bezugspopulation ein niedrigeres oder gleich hohen Wert erreicht hat.), z-Transformation (Mittelwert als 0 und Standardabweichung als 1).
• 8.3 Kriteriumsorientierte Interpretation: Bestimmen eines Kriteriums für die Interpretation, Bestimmung eines Schwellenwertes. ROC Kurve.