Testen und Entscheiden - Fairness

Vorlesung: Testen und Entscheiden - Fairness

• Die Vorlesung befasst sich mit dem Thema Fairness in der Testdiagnostik.
• Die Fairness ist ein Nebengütekriterium neben Objektivität, Reliabilität und Validität.

Testgütekriterien in der Diagnostik

• Objektivität: Ein Test ist objektiv, wenn die Ergebnisse unabhängig vom Untersucher sind.
• Reliabilität: Ein Test ist reliabel, wenn die Ergebnisse zuverlässig und wiederholbar sind.
• Validität: Ein Test ist valide, wenn er tatsächlich misst, was er messen soll.
• Fairness: Die Fairness eines Tests bezieht sich auf die Vermeidung von systematischen Benachteiligungen bestimmter Personengruppen aufgrund von Merkmalen wie Geschlecht, Ethnizität oder soziokulturellem Hintergrund.

Beispiel: Gericht verbietet "Jungs-Quote" für Gymnasium (DLF 20.10.2017)

• Das Oberverwaltungsgericht Berlin-Brandenburg entschied, dass ein Gymnasium keine Mindestquote für Jungen einführen darf.
• Die Richter argumentierten, dass eine solche Quote gegen den Gleichheitsgrundsatz verstößt.
• Ein Schüler hatte geklagt, weil das Gymnasium überwiegend Mädchen besseren Leistungen besser Noten bewertete.
• Das Gericht hob das Urteil eines Verwaltungsgerichts auf, dass das Gymnasium ein Drittel der Schulplätze für Jungen reservieren musste.
• Die Entscheidung orientierte sich am Gleichheitsgrundsatz und einem Anspruch auf gleiche Behandlung von Jungen und Mädchen im Schulunterricht.

Beispiel: Aufnahmetest fürs Medizinstudium an der Universität Wien

• Es gab Kritik an der "Gender Gap" beim Eignungstest Medizinstudium in Österreich.
• Weibliche Teilnehmer schneiden mit 0,4 Standardabweichungen schlechter als männliche Teilnehmer ab, während der Unterschied in der Schweiz und Deutschland geringer ausfällt (ca. 0,1).
• Die Erfassung der Leistung findet über verschiedene Untertests zu Wissen und Fähigkeiten im Zusammenhang mit Medizin (Biologie, Chemie, Physik, Mathematik) sowie Verständnis von Texten und Diagrammen statt.
• Es gab Kritik an der Schaffung von "Quotenfrauen" durch die Hochschulgruppe und Klagen abgewiesener Bewerber.
• Das Verfahren wurde im Folgejahr geändert.

Leitfrage: Wann ist ein Auswahlverfahren fair?

• Die Frage stellt sich nach der Fairness von Auswahlverfahren im Kontext unterschiedlicher Zielsetzungen und Handlungsrichtlinien.

Testbias

• Ein Test ist nicht fair, wenn die Ergebnisse durch systematische Diskriminierung bestimmter Personengruppen verzerrt werden.
• Computererfahrene Testteilnehmer haben bei einer Testung am PC einen Vorteil.
• Unerfahrenheit mit einem Computer (PC) kann kognitive Ressourcen für die Bedienung binden, was Leistung unterschätzt.
• Mögliche Unterschiede im Leistungsniveau zwischen der Paper/Pencil-Testdurchführung und der computergestützten Durchführung verschwinden allmählich.

Geschlechtsunterschiede beim Studenten-PISA-Test von Spiegel Online

• Es gab signifikante Geschlechtsunterschiede in den Ergebnissen des PISA-Tests.
  • Männliche Teilnehmer erzielten in allen Bereichen bessere Ergebnisse (je nach Fachgebiet deutlich).

Mangelnde (Geschlechts-)Fairness von Items

• Differenzialer Itemfunktion (DIF) zeigt, wie die Lösung eines Items von den Fähigkeiten einer Personengruppe (Geschlecht) abhängig oder beeinflusst wird.
• Im Beispiel für die Items "Hangar" und "Arnika" war das Lösungs-Ergebnis von der Geschlechtszugehörigkeit der Teilnehmer beeinflusst.

Geschlechtsfairness der 9 Items des dritten Wirtschafts-Itemsets im SPIEGEL Studenten-PISA

• Es gab Unterschiede in der Geschlechtsfairness der 9 Wirtschafts-Items.
• Es gab einen Vorteil für Männer und für Frauen.
  • Die genauen Bereiche sind in der Tabelle aufgeführt.

Modell der proportionalen Repräsentation (Quotenmodell/Identitätskonzept)

• Die Stichprobe der ausgewählten Teilnehmer sollte der Ausgangspopulation proportional entsprechen.
  • Das idealerweise der Fall ist, wenn es in Wirklichkeit keine Unterschiede in den Fähigkeiten dieser Teilgruppen gibt.
• Die Realisierung ist methodisch fragwürdig, da es in der Praxis schwierig ist, Unterschiede zwischen den Gruppen festzustellen.

Das Regressionsmodell (Cleary, 1968)

• Ein Selektionsverfahren ist fair, wenn die Regressionsgeraden für die verschiedenen Gruppen identisch sind (gleiche Steigung und Ordinatenabschnitt).
• Unterschiede in den Regressionsgeraden zeigen, dass der Test für bestimmte Gruppen nicht gleichwertig funktioniert. Dies wird als differentielle Validität bezeichnet.

Testbias - Allgemeine Hinweise

• Unterschiede im Kriteriumsscore zeigen einen möglichen Testbias.
• Tests sollten auf Signifikanz der Unterschiede der Steigungen untersucht werden.
• Tests mit differentiellen Validitäten sind zu vermeiden.
• Methodisch sorgfältig durchgeführte Studien erkennen typischerweise keine differentiellen Validitäten.

Kein Testbias nach dem Regressionsmodell von Cleary (1968)

• Wenn die Regressionsgeraden identisch sind, deutet dies auf kein Testbias hin.
• Identische Regressionsgeraden zeigen, dass der Test für beide Gruppen gleich gut funktioniert.

Testbias - Case 3

• Unterschiedliche Achsenabschnitte zeigen einen Testbias.
• Die Leistung der Gruppe wird möglicherweise durch die Verwendung unterschiedlicher Testscores verzerrt dargestellt.

Länderunterschiede in der Benotungspraxis

• Leistungsunterschiede in Mathematik zwischen Hamburg und Bayern.
• Standardisierte Tests können helfen, Leistungsunterschiede zu messen.

Mathematische Testsituation

• Vergleich der Mathe-Testleistungen und Noten zwischen Hamburg und Bayern.
• Es zeigt Unterschiede zwischen den Schülerleistungen in ähnlichen Ausbildungseinrichtungen in unterschiedlichen Bundesländern.

Notwendigkeit standardisierter Testungen

• Mathematik-Leistung und Noten haben unterschiedliche Ursachen.

Lesekompetenz in der PISA-Studie

• Vergleich der Leseleistungen in verschiedenen Schulstufen.
• Verteilung der Lesekompetenz nach Schulgattung.

Das Geheimnis des Erfolges: Glück bei der Geburt

• Vergleich des Bildungsfortschritts von Akademiker- und Nicht-Akademikerkindern.

Ulgur Sahin

• Biographie von Ugur Sahin; Gründungsmitglied von Biontech.

Modell konstanter Verhältnisse (Thorndike)

• Der Anteil an ausgezeichneten Bewerbern sollte in allen Gruppen gleich sein.
• Die Erreichung des Maximums wird im Vergleich zu anderen Gruppen beeinträchtigt.
• In den USA (Supreme Court) wird ein abgeändertes Verfahren für Arbeitsprozesse verwendet.

Modell konstanter Verhältnisse

• Details zu den verwendeten Variablen bei der Abbildung.

Alternatives Fairnessmodell von Cole (1973)

• Forderung nach gleichen Verhältnissen bei der Auswahl (identische Proportionen).

Alternatives Fairnessmodell von Linn (1973)

• Forderung nach gleichen Wahrscheinlichkeiten für Erfolge im Kriterium.

Testfairness

• Testfairness kann nur im Bezug zu einem spezifischen Kriterium beurteilt werden.
• Es gibt verschiedene Kriterien, in Bezug darauf kann Testfairness bewertet werden.
• Es gibt gesellschaftlich vertretene Ziele, die eine Beurteilung von Fairness unterschiedlich beeinflussen.

The Chitling Intelligence Test

• Test zu sozialen Einflüssen auf die Beurteilung einer Intelligenz.

The Veil of Ignorance

• Ein Gedankenexperiment (John Rawls) um eine faire Gesellschaft zu beschreiben.

Allgemeine Zusammenfassung

• Dies ist eine Vorlesung, die sich mit dem Thema Testfairness auseinandersetzt.
• Der Fokus liegt auf der Vermeidung von systematischen Benachteiligungen in Auswahlverfahren.
• Verschiedene Modelle und Konzepte der Fairness werden dargelegt, zusammen mit Beispielen und kritischen Erörterungen.

Diese Vorlesung behandelt die Fairness in der Testdiagnostik und deren Bedeutung als Nebengütekriterium. Es werden Konzepte wie Objektivität, Reliabilität und Validität vorgestellt. Ein Beispiel aus dem Gerichtswesen verdeutlicht die praktische Relevanz von Fairness in Bildungssystemen.