DiF I - VL6

Grundlagen der Validität

• Validität gibt an, inwieweit ein Test das Merkmal erfasst, das er messen soll
• Validität ist Voraussetzung für zutreffende Schlussfolgerungen über Probanden auf Grundlage von Testergebnissen
• Validität kann auf verschiedene Arten nachgewiesen werden, wobei i.d.R. mehrere Belege erforderlich sind

Arten von Validitätsbelegen

• Validität unterteilt sich in Inhaltsvalidität, Kriteriumsbezogene Validität und Konstruktvalidität.
• Kriteriumsbezogene Validität wird weiter unterteilt in konkurrente und prognostische Validität
• Es ist nicht immer der Fall, dass alle drei Arten in der Praxis gemessen werden können

Inhaltliche Validität

• Gibt an, wie gut die Items eines Tests einen definierten Inhaltsbereich repräsentieren
• Aufgaben des Tests beinhalten das zu messende Merkmal
• Ermöglicht Repräsentationsschluss vom Testverhalten auf das Verhalten außerhalb der Testsituation
• Beispiel: Ein Diktat als Test für Rechtschreibfähigkeit sollte repräsentativ für die Rechtschreibanforderungen außerhalb des Tests sein
• Wird häufig durch Expertenbefragungen festgestellt

Curriculare Validität

• Curriculare Validität stellt eine Form der inhaltlichen dar
• Beschreibt die Übereinstimmung der Aufgaben eines Schulleistungstests mit dem Curriculum
• Aufgaben sollten für in einem Lehrplan aufgestellte Lernziele repräsentativ sein (z.B. bei Schulleistungstests)

Kriteriumsbezogene Validität

• Besteht im Nachweis eines Zusammenhangs zwischen der Leistung im Test und einem inhaltlich bzw. theoretisch relevanten Kriterium
• Beispiel: Zusammenhang zwischen Intelligenztest und Schulnoten
• Berechnung erfolgt über die Korrelation zwischen der Testleistung und dem Kriterium (Validitätskoeffizient)
• Unterscheidung zweier Arten der Validitätsbestimmung, abhängig vom zeitlichen Auftreten des Kriteriums: konkurrente und prognostische Validität

Konkurrente Validität

• Gibt Aufschluss über den Zusammenhang zwischen dem Test und einem gleichzeitig vorliegenden Kriterium
• Ein enger Zusammenhang deutet darauf hin, dass der Test die Eigenschaft erfasst, die er erfassen soll und sich im entsprechenden Kriterium manifestiert
• Als Beispiel wird die gleichzeitige Erhebung von Testergebnissen und Schulnoten genannt

Prognostische Validität

• Beschreibt den Zusammenhang zwischen dem Test und zukünftigem Verhalten
• Ein enger Zusammenhang zeigt, dass der Test eine Eigenschaft erfasst, die sich in Zukunft im Kriterium manifestiert
• Beispiele: Ergebnis in einem Depressionsfragebogen und Dauer eines psych. Klinikaufenthalts oder Intelligenztest und Berufserfolg

Bewertung von Korrelationen

• .1 → schwacher Zusammenhang
• .3 → mittlerer Zusammenhang
• .5 → hoher Zusammenhang

Konstruktvalidität

• Validitätsbestimmung durch den Nachweis, dass der Test mit der zugrunde liegenden Theorie übereinstimmt
• Gegeben, wenn die Ergebnisse des Tests mit den aus der Theorie abgeleiteten Vorhersagen übereinstimmen
• Beinhaltet theoretische Gültigkeit sowie konvergente und diskriminante Validität
• Im Falle hoher Zusammenhänge mit theoretisch ähnlichen Verfahren spricht man von konvergenter Validität
• Niedrige Zusammenhänge mit theoretisch unähnlichen Verfahren werden als diskriminante Validität bezeichnet

Multi-Trait-Multi-Method (MTMM)

• Ein Multi-Trait-Multi-Method Ansatz (MTMM) wird verwendet, um die Konstruktvalidität zu analysieren
• MH > 0 (konvergent)
• MH > HH (konvergent)
• MH > HM (diskriminant)

Verhältnis zwischen Reliabilität und Validität

• Reliabilität des Tests ist eine Voraussetzung für eine hohe Validität
• Die Reliabilität des Tests ist eine notwendige, aber keine hinreichende Voraussetzung für eine hohe Validität

Validität von Schulnoten

• Einzelne Noten sind nicht objektiv, im Durchschnitt jedoch aussagekräftiger
• Noten werden für fachspezifische, leistungsbezogene Verhaltensweisen im schulischen Kontext vergeben (hohe inhaltliche Validität)
• Wird von den meisten Personen wahrgenommen (hohe Augenscheinvalidität)

Konstruktvalidität von Schulnoten

• Noten lassen sich nach Fächern differenzieren: Noten in Sprachen (z. B. Französisch und Englisch) korrelieren höher als Noten in einer Sprache (z. B. Englisch) und Mathematik
• Noten lassen sich zu einer Gesamtnote zusammenfassen: Noten korrelieren alle (Ausnahme Sport, Kunst, Musik) positiv miteinander

Kriteriumsvalidität von Schulnoten

• Fachnoten weisen hohe Zusammenhänge mit fachspezifischen Leistungstests innerhalb einer Bezugsgruppe auf
• über Klassen hinweg jedoch geringer
• Eine hundertprozentige Übereinstimmung zwischen Noten und Leistungstestergebnissen ist auch innerhalb einer Klasse nicht zu erwarten
• Durchschnittliche Abschlussnoten gelten von allen Noten als die besten Prädiktoren für Ausbildungs- und Studienerfolg
• Die Durchschnittsnote hat höhere Vorhersagekraft für den Studienerfolg als Einzelnoten

Fazit zu Schulnoten

• Noten sind nicht so schlecht wie ihr Ruf
• Lehrkräfte können die Leistungen ihrer Schüler*innen relativ zueinander gut einschätzen, nicht jedoch die Leistung auf einem absoluten Maßstab angeben
• Durchschnittsnoten als Grundlage für Selektionsentscheidungen (z. B. Studienplatzvergabe) ist durch die gute prognostische Validität, z. B. für Studien- und Berufserfolg, zu rechtfertigen