Invarianz, CFA und Reliabilität

Konfirmatorische Faktorenanalyse (CFA III) - Psychologische Diagnostik (05.12.2024)

• Die Präsentation behandelt die konfirmatorische Faktorenanalyse (CFA).
• Die Version der Präsentation ist 3.0.0.
• Prof. Dr. Ulrich Schroeders ist der Verfasser.

Gliederung CFA II

• Folgende Themen werden in der Präsentation behandelt:
  • Definition und Anwendungsgebiete der CFA.
  • Modellparameter und Berechnung der Freiheitsgrade (df).
  • Interpretation der Ergebnisse.
  • Beurteilung der Modellpassung.
  • Möglichkeiten zur Modellverbesserung.
  • Modellvergleich mit RSES.
  • Anwendungsbeispiele, darunter:
    • Multidimensionales Selbstkonzept.
    • Modellierung von kognitiven Leistungen.
  • Schätzer.
  • Reliabilität.
  • Messinvarianz.
  • Degrees of freedom

Literatur zur Faktorenanalyse

• Es werden zwei Kapitel aus Fachbüchern empfohlen:
  • Kapitel zur Konfirmatorischen Faktorenanalyse von Gäde, Schermelleh-Engel & Brandt (2020).
  • Kapitel zu Modellbasierten Methoden der Reliabilitätsschätzung von Schermelleh-Engel & Gäde (2020).

Reliabilität und Messmodelle

• Bei Vorliegen mehrerer Messungen müssen die Messinstrumente gewisse Homogenitätsanforderungen erfüllen.
• Diese Anforderungen werden in Messmodellen formalisiert.
• Messmodelle trennen systematische wahre Unterschiede von unsystematischen messfehlerbedingten.
• Die Reliabilität wird definiert als das Verhältnis der Varianz der wahren Werte zur Varianz der beobachteten Werte und ist stichprobenabhängig.
• Die Reliabilität eines Tests sollte an einer repräsentativen Stichprobe ermittelt und im Einzelfall überprüft werden.

Genestete Struktur verschiedener Messmodelle

• Es werden verschiedene Messmodelle vorgestellt, die in einer hierarchischen Beziehung zueinander stehen:
  • τ-kongenerisch: Das allgemeinste Modell.
  • essentiell τ-äquivalent: Die τ-Werte unterscheiden sich höchstens durch eine additive Konstante.
  • τ-äquivalent: Alle $\lambda$-Werte sind fixiert.
  • essentiell τ-parallel.
  • τ-parallel: $\alpha_i=\alpha_j$ und $Var(\epsilon_i)=Var(\epsilon_j)$.

Indikatorreliabilität – essentiell $\tau$-äquivalentes Modell

• Unter der Annahme essentiell $\tau$-äquivalenter Variablen kann die Reliabilität einer beobachteten Y-Variable über die Kovarianzen der beobachteten Variablen berechnet werden.
• Die Formel lautet: $Rel(Y_i) = \frac{Var(\tau_i)}{Var(Y_i)} = \frac{Var(\eta)}{Var(Y_i)} = \frac{Cov(Y_i, Y_j)}{Var(Y_i)}$, wobei $i \neq j$.
• Die True-Score Variablen unterscheiden sich durch einen konstanten Term, was die Varianz unverändert lässt.

Berechnung von Skalenreliabilitäten

• Code zur Berechnung von Skalenreliabilitäten in R wird gezeigt.
• Es werden alpha, omega, omega2, omega3, und avevar berechnet.
• Eine Alpha von 0.928 und Omega von 0.927 werden berechnet.

Skalenreliabilität – essentiell τ-äquivalentes Modell

• Für Modelle mit essentiell τ-äquivalenten Variablen kann die Reliabilität der Skala mit Cronbach's α-Koeffizient (1951) geschätzt werden.
• Cronbachs Alpha Koeffizient ist:
  • $\alpha = {p \over {p-1}} \cdot (1 - {{\sum_{i=1}^p Var(Y_i)} \over {Var(S)}})$
  • p = Anzahl von Items/Subskalen; Var(S) = Varianz der Skala
• Cronbach α repräsentiert eine untere Grenze der Reliabilität, wahre Werte unterscheiden sich max. hinsichtlich ihrer Intercepts.

Skalenreliabilität – τ-kongenerisches Modell

• Die Reliabilität eines Modells mit kongenerischen Variablen kann anhand von McDonald's ω (1999) geschätzt werden.
• Die Varianz wird als die quadrierte Summe der Faktorladungen geteilt durch die quadrierte Summer der Faktorladungen plus die Summe der Residualvarianzen berechnet.
• Input sind die standardisierten Parameter, geschätzt durch summary (Fit,, standardized= TRUE) in lavaan.

Skalenreliabilität – McDonald's ω

• Die Reliabilität wird auf 0.928 geschätzt, wobei der verwendete Code zur Berechnung auch als Excel-Skript verwendet werden kann.
• Omega, Omega 2, und Omega 3 unterscheiden sich hinsichtlich des Nenners; bei Simple Structure sind Omega und Omega 2 identisch, bei Methoden-oder Cross-Loadings sind sie unterschiedlich.

Messinvarianz (MI)

• Bei MI geht es um die Vergleichbarkeit von Messinstrumenten oder Messungen in verschiedenen Gruppen oder Zeitpunkten.
• Beispielfragen sind die psychometrischen Eigenschaften des Beck Depressions-Inventars (BDI) über verschiedene Altersgruppen hinweg die gleichen?
• Weitere Fragen sind, ob Mathetests für Grundschulkinder und die Computerform eines Leseverständnistests das Konstrukt für Mädchen und Jungen gleich gut erfassen?

Messinvarianztestung CFA

• Das Modell ist $Y_{i,m,j} = \tau_{i,m} + \lambda_{i,m} \cdot \eta_{m,j} + \epsilon_{i,m, j}$.
• Y ist der beobachtete Wert einer Person auf dem Indikator i in Abhängigkeit seiner latenter Fähigkeit $\eta$
• Variable m steht für die Gruppe (in diesem Fall das Medium oder die Methode).

Messinvarianztestung CFA (2)

• Die Messinvarianz-Testung erfolgt in zunehmend restriktiveren Modellen mit Gleichheitsannahmen von Parametern über Gruppen.
• 4 Schritte sind:
  • Konfigurale Invarianz: Anzahl der Faktoren und Ladungsmuster gleich
  • Metrische Invarianz/schwache MI: Faktorladungen sind zwischen den Gruppen invariant.
  • Skalare Invarianz/starke MI: Faktorladungen und Intercepts sind zwischen den Gruppen invariant.
  • Strikte Invarianz: Faktorladungen, Intercepts und Fehlervarianzen sind zwischen den Gruppen invariant.

MI-Testung im Fall kontinuierlicher Variablen

• Es wird eine Tabelle mit den verschiedenen Invarianztypen gezeigt.
• Konfigurale Invarianz prüft, ob das Modell in beiden Gruppen gilt.
• Schwache Invarianz gleicht die Faktorladungen an.
• Starke Invarianz gleicht die Faktorladungen und Intercepts an.
• Strenge Invarianz gleicht die Faktorladungen, Intercepts und Fehlervarianzen an.

Multigroup Confirmatory Factor Analysis

• Multigroup Confirmatory Factor Analysis (MGCFA) wird betrachtet.

Konfigurale Invarianz (1) – Modell

• Die Modellstruktur ist zwischen den Gruppen gleich.
• Ladungen, Intercepts und Residuen werden frei geschätzt.
• Mittelwerte der latenten Variablen sind auf 0 fixiert.

Konfigurale Invarianz

• Im Vergleich zu Eingruppen-Modellen verändert sich die Modellspezifikation im Mehrgruppenfall nicht.
• Die Spezifikation erfolgt über die cfa() Funktion und dem Argument group.
• Das Einführen der Gruppenvariable signalisiert konfigurale Messinvarianz, eine weitere Spezifikation ist nicht nötig.

Konfigurale Invarianz (3) - Check

• Verschiedene Ladungen und Intercepts werden in den Gruppen gefunden.

Konfigurale Invarianz (4) – Check

• Verschiedene Residuen werden in den Gruppen gefunden.

Metrische Messinvarianz

• Die Ladungen werden zwischen den Gruppen gleichgesetzt.
• Intercepts und Residuen werden frei geschätzt.
• Die Mittelwerte der latenten Variablen werden auf O fixiert.

Metrische Invarianz (2) – Syntax

• Es werden die Gruppenvariablen im Argument group spezifiziert.
• Zusätzliche Parameterrestriktionen erfolgen mit dem Argument group.equal der cfa() -Funktion.
• Angabe von loadings im Argument group.equal, entspricht metrischer/schwacher Messinvarianz.

Metrische Invarianz (3) - Check

• Gleiche Faktorladungen und verschiedene Intercepts werden betrachtet.

Metrische Invarianz (4) – Check

• Verschiedene Residuen werden betrachtet.

Skalare Messinvarianz

• Ladungen und Intercepts werden zwischen den Gruppen gleichgesetzt.
• Residuen werden frei geschätzt.
• Mittelwerte der latenten Variablen in einer Gruppe auf 0 fixiert und in der anderen Gruppe frei geschätzt.

Skalare Invarianz

• Zusätzlich zu der Parameterrestriktion der metrischen Ml werden die Intercepts mit dem Argument group-equal gleichgesetzt.

Skalare Invarianz (3) – Check

• Gleiche Faktorladungen für und Intercepts.

Skalare Invarianz (4) – Check

• Verschiedene Residuen werden betrachtet.

Strenge Invarianz – Modell

• Ladungen, Intercepts und Residuen werden zwischen den Gruppen gleich-gesetzt.
• Mittelwerte der latenten Variablen werden in einer Gruppe auf 0 fixiert und in der anderen Gruppe frei geschätzt.

Modelltestung

• In der Regel werden die MI-Modelle der Reihe nach mit einem χ2-Differenzentest getestet.
• Im R Paket "semTools" ist eine Funktion measurementInvariance(), die das wichtigste MI Modell und die Vergleiche mit dem ML Differenzentest, RMSEA, und CFI automatisch berechnet.

Messinvarianztestung – Modellverschlechterung

• Evaluation der Modellverschlechterung erfolgt mittels ACFI < .01.

df

• Degrees of freedom ist ein weiteres Thema der Präsentation.

Testfragen zum Thema Invarianz, Konfirmatorische Faktorenanalyse (CFA) und Reliabilität. Beinhaltet Fragen zu Invarianzstufen, MI-Testung, Messmodellen und modellbasierten Methoden der Reliabilitätsschätzung. Geeignet zur Überprüfung des Wissensstandes.