MP3 Skript WiSe 21/22 – Markus Fürstenau PDF

MP3 Skript – WiSe 21/22 – Markus Fürstenau Thema 1: Partial- und Semipartialkorrelation 2 Thema 2a: Grundlagen der multiplen Regression 10 Thema 2b: Sequentielle (hierarchische) Regression 25 Thema 2c: Mediationsmodelle und Mediationsanalysen 27 Thema 2d: Mo...

MP3 Skript – WiSe 21/22 – Markus Fürstenau Thema 1: Partial- und Semipartialkorrelation 2 Thema 2a: Grundlagen der multiplen Regression 10 Thema 2b: Sequentielle (hierarchische) Regression 25 Thema 2c: Mediationsmodelle und Mediationsanalysen 27 Thema 2d: Moderierte Regression: Modelle und Analysen 36 Thema 2e: Voraussetzungen der (M)R und Regr.diagnostik 51 Thema 3: Mehrebenen-Regression – Teil 1 54 Thema 3: Mehrebenen-Regression – Teil 2 67 Thema 4: Pfadmodelle und Pfadanalysen – Teil 1 80 Thema 4: Pfadmodelle und Pfadanalysen – Teil 2 88 Thema 5: Messmodelle & konfirm. Faktorenanalyse (CFA) 100 Thema 6: Strukturgleichungsmodelle und -analysen 115 Thema 7: Exploratorische Faktorenanalyse 123  Markus Fürstenau Thema 1: Partial- und Semipartialkorrelation Psychologie als theoriegeleitete empirische Wissenschaft (1) Theoretisches (Kausal) Modell - Hier ein sehr einfaches Bei- spiel mit nur einer Hypothese und zwei Variablen… - Kann enthalten: UV(s), AV(s), Mediator(en), Moderator(en) (2) Empirische Untersuchung mit Forschungansatz - Experiment: Manipulation der angenommenen Ursache(n) mit geeigneter Randomisierung - Quasi-Experiment: Manipulation der angenommenen Ursa- che(n) ohne geeignete Randomisierung - Korrelationsstudie: Messung der angenommenen Ursache(n) 3. Statistische Analyse der Daten, z.B. bei Korrelationsstudie - Bivariate Korrelation oder einfache (bivariate) Regression - Auspartialisierung von Drittvariable(n) / Kovariate(n) durch Partialkorrelation oder multiple Regressionsanalyse (4) Interpretation der Ergebnisse Korrelationsanalyse - Zusammenhangshypothese (a priori): Je mehr … (X), desto mehr … (Y). - Kausalhypothese (a priori): Mehr … (X), führt zu mehr … (Y). - Wir testen die Stärke eines positiven/ negativen Zusammenhangs zwischen zwei (oder mehr) Variablen. - Eine Korrelation lässt keine kausalen Schlüsse zu! - Dabei ist eine Signifikanztestung – Absicherung des Zusammen- hangs auf der Populationsebene – möglich. 2 von 133  Markus Fürstenau Regressionsanalyse - Einfache (d.h. bivariate) lineare Regression (Regressionsanalyse): Bestimmung einer Regressionsgeraden, durch die eine Variable Y auf eine andere Variable X zurückge- führt werden kann bzw. durch X erklärt oder vorhergesagt werden kann. - Erklärende Variable: Prädiktor X (UV) - dichotom oder mind. intervallskaliert (metrisch) - Zu erklärende Variable: Kriterium Y (AV) - mind. intervallskaliert (metrisch) - Ausdrucksweise: Regression von Y auf X. - Die zurückgeführten / erklärten / vorhergesagten Y-Werte ̂ (Y-Werte) liegen auf der Regressionsgeraden und sind auf der Y-Achse abzulesen. ̂ ) sind der Teil des Kriteriums, - Regressionsresiduen (em = ym − ym der nicht durch den Prädiktor erklärt werden kann. Es kann auch eine Residualvariable (E) gebildet werden. - Intercept: Derjenige Wert, der für Y vorhergesagt wird, wenn eine Person in X die Ausprägung 0 hat. - Slope/ Regressionsgewicht: Der Wert in dem der vorhergesagte Y Wert in seiner Anheit ansteigt/ abnimmt, wenn X in seiner Einheit um 1 steigt. - Die Regressionsgerade ist diejenige Gerade, die unter allen mög- lichen Geraden von den erhobenen Datenpunkten insgesamt ge- sehen auf der Y-Achse am geringsten abweicht. Idee: Regressi- onsresiduen minimieren. - Die Regressions- und die Modell- gleichung können sowohl in Va- riablen (X, Y, E) als auch in Per- sonenschreibweise dargelegt werden (xm, ym, em). - Die Regressionsgleichung produziert die vorhergesagten ̂ Y-Werte, während die Modellgleichung die tatsächlichen Y-Werte produziert. 3 von 133  Markus Fürstenau - Bei der Korrelation stehen X und Y gleichberechtigt nebeneinan- der, bei der Regression ist X der Prädiktor von Y. - Das statistische Verfahren „Regressionsanalyse“ ist aufgrund sei- ner Idee näher an der Annahme, dass die X Y erklärt bzw. beein- flusst als die „Korrelationsanalyse“ und damit rein inhaltlich gese- hen die passendere statistische Auswertung bei einer Kausalhy- pothese. - ABER: Die Ergebnisse einer einfachen Regressionsanalyse sind zunächst genauso wenig wie die Ergebnisse einer Korrelations- analyse kausal zu interpretieren. - Die Ergebnisse sind also niemals deswegen eher kausal zu inter- pretieren, weil sie statistisch mit einer einfachen Regressions- an- statt einer Korrelationsanalyse ausgewertet wurden. - Ob die Ergebnisse kausal interpretiert werden dürfen, hängt aus- schließlich von dem Forschungsansatz (und dem konkreten De- sign innerhalb des Anasatzes) ab, und nicht davon, ob eine Re- gressions- oder Korrelationsanalyse durchgeführt wurde. Signifikanztestung von Korrelations- und Regressionsanalysen - Für sowohl die Korrelations- als auch die Regressionanalyse können ungerichtete und gerichtete Hypothesen formuliert wer- den - Mit der H1 wird angenommen, dass die Korrelation bzw. der Slope auf der Populationsebene: - ungerichtet: von 0 verschieden ist (positiv oder negativ) - gerichtet rechts: größer als 0 ist (positiv) - gerichtet links: kleiner als 0 ist (negativ) - Die Testung erfolgt über die t-Verteilung - Bei der Signifikanztestung gilt alles, was wir bei dem t-Test kenn- gelernt haben - Die Prüfgröße zeigt die Richtung an (nicht lernen!) (ihr Vorzeichen entspricht dem Vorzei- - df = n-2 chen der Korrelation bzw. des Slopes). - Formel für Prüfgröße bei - Je nach H1 wird zweiseitig, einseitig Korrelation: t = r⋅ n −2 1 − r2 rechts oder einseitig links - Formel für Prüfgröße bei getestet. bi − 0 Regression: t = - Ausgegeben wird der verdoppelte p- S Ei 4 von 133  Markus Fürstenau Wert (zweiseitig) für eine ungerichtete H1 - Software gibt bei der t-Verteilung zunächst standardmäßig den zweiseitigen p-Wert aus. Ein ausgegebener zweiseitiger p-Wert darf bei der t-Verteilung halbiert und dann mit α = 0.05 vergli- chen werden, wenn: 1. Vor der Untersuchung eine gerichtete H1 definiert wurde und … 2. Das Ergebniis der Studie (die Prüfgröße t) in der erwarteten Rich- tung ausfällt. (Liegt es bei gerichteter H1 nicht in der erwarteten Richtung, so ist es nicht signifikant, auch wenn der ausgegebene zweiseitige p-Wert ≤ 0.05 ist). Grundidee der Partialkorrelation - Hinter rXY, also einer gewöhnlichen bivariaten Korrelation zwi- schen zwei Variablen X und Y, kann sich der Einfluss einer dritten Variable Z verbergen. - Rechnet man den Einfluss von Z sowohl Der ⋅ in rXY⋅Z bedeutet aus X als auch aus Y (und somit auch aus stets, dass die vorange- der Korrelation zwischen X und Y) heraus gangene Korrelation (hier (diesen Vorgang nennt man „auspartiali- zw. X und Y) um die nachfolgende Variable sieren“ oder „statistisches kontrollieren“) (hier Z) bereinigt wurde erhält man eine Partialkorrelation rXY⋅Z - Eine Partialkorrelation rXY⋅Z ist also eine Korrelation zwischen zwei Variablen X und Y, die statistisch um den Einfluss einer Drittvariablen Z bereinigt sind („statistisch kontrolliert“ für Z) - Durch das Herausrechnen von Z, kann sich die Höhe und ggf. sogar die Richtung der Korrelation zwischen X und Y verändern Aufdeckung von Effekten durch Vergleich von rXY⋅Z mit rXY - Partialkorrelation sagt letztlich aus: - Korrelation zwischen X und Y wenn für den Einfluss einer Drittva- riablen Z statistisch kontrolliert wird - Um den Effekt des Auspartialisierens sichtbar zu machen verglei- chen wir die Partialkorrelation sowie die Korrleaiton 0ter Ordnung Ergo: rXY⋅Z vs. rXY - Dabei können vier verschiedene Effekte sichtbar werden: 5 von 133  Markus Fürstenau Statistische Kontrolle von Z Bezeichnung + Interpretation führt zu folgendem Effekt a) Keine Veränderung der Korre- Kein Effekt lation zwischen X und Y Z hat auf den Zusammenhang zwischen X und Y keinen Ein- fluss b) Korrelation zwischen X und Y 1. Scheinkorrelation: verschwindet oder wird vom Z ist eine systematische Betrag her bedeutsam kleiner Störvariable, die zu einer Scheinkorrelation zwi- schen X und Y führt (engl. spurious correlation) 2. Mediation: Z ist ein Mediator, der einen Effekt von X auf Y vermittelt c) Korrelation zwischen X und Y Klassische (traditionelle) Sup- wird bei gleichem Vorzeichen pression vom Betrag her größer d) Korrelation zwischen X und Y Negative Suppression (net- ändert sein Vorzeichen Suppression) Klassische Suppression Warumist das so? Wenn wir uns die Formel ansehen, sehen wir bei der klassischen Suppression folgenden Effekt. Wenn die Korrelation nur zwischen X und Z oder X und Y hoch ist, zwischen dem anderen Paar aber nicht, ändert sich im Zähler quasi nichts, da mit einer sehr geringen Zahl multipliziert wird. Der Nenner umfasst aber immer eine Zahl, die kleiner ist als - Z ist eine klassische Suppressorvariable für den Zu- 1. Dadurch wird das Endergebnis (die Partialkorrelation) stets größer, wenn die Korrelation einer Drittvariablen nur mit einer der Hauptvariablen stark ausgeprägt ist. sammenhang zwischen X und Y, wenn sie hoch mit X und (nahe- zu) nicht mit Y korreliert ist (oder umgekehrt). - Das Auspartialisieren der klassischen Suppressorvariable Z führt zu einer Unterdrückung („Suppression“) eines Teiles der Varianz von X, der für die Vorhersage von Y irrelevant ist (oder umge- kehrt). Dadurch wird die Korrelation zwischen X und Y erhöht. Negative Suppression - Es kommt zu einer neg. Suppr. bei einer positiven Korrelation nullter Ordnung zwischen X und Y, wenn es eine Drittvariable Z gibt, für die gilt: das Produkt der beiden Korrelationen nullter Ord- nung zwischen Z und X sowie zwischen Z und Y ist stärker positiv als die Korrelation nullter Ordnung zwischen X und Y. 6 von 133  Markus Fürstenau Regressionsanalytische Bestimmung der Partialkorrelation in drei Schritten Zur Veranschaulichung können wir die Partialkorrelation in drei auf- einander folgenden Schritten bestimmen, in der Realität wählen wir ein kürzeres Verfahren. ⇒ Schritt 1: - Regression von X auf Z, d.h. wir sagen X durch Z vorher: xm̂ = b0 + b1 ⋅ zm - Dabei haben wir das Ziel die Residualvariable EX(Z ) zu bilden, also den Teil von X, den wir durch die Drittvariable Z nicht erklä- ren können eX(Z )m = xm − xm̂ ⇒ EX(Z ) = X − X̂ - Diese Residualvariable halten wir bis Schritt 3 im Kopf ⇒ Schritt 2: - Regression von Y auf Z, d.h. wir sagen Y durch Z vorher: ym̂ = b0 + b1 ⋅ zm - Dabei haben wir das Ziel die Residualvariable EY(Z ) zu bilden, also den Teil von Y, den wir durch die Drittvariable Z nicht erklä- ren können eY(Z )m = ym − ym̂ ⇒ EY(Z ) = Y − Y ̂ - Diese Residualvariable nehmen wir nun auch mit zu Schritt 3 ⇒ Schritt 3: - Berechnung der Produkt-Moment-Korrelation (normale Korrelati- on) zwischen den beiden Residualvariablen → rXY⋅Z = rEX(Z ) EY(Z ) - Die Partialkorrelation ist eine Korrelation zwischen zwei Residual- variablen, die jeweils um den Einfluss der Drittvariablen (Z) berei- nigt sind - Es ist also eine Korrelation zwischen X und Y, die statistisch um den Einfluss einer drittvariablen (Z) bereinigt ist - Kausale Schlüsse sind durch die Partialkorrelation weiterhin nicht möglich! 7 von 133  Markus Fürstenau Direkte Berechnung der Partialkorrelation Die Partialkorrelation lässt sich auch direkt ohne Rohdaten und Re- gressionen aus den bivariaten Korrelationen zwischen X, Y und Z (Korrelationen „nullter Ordnung“) errechnen: rXY − rXZ ⋅ rYZ rXY⋅Z = (Formel nicht lernen!) (1 − rXZ 2 )⋅ (1 − rYZ 2 ) Semipartialkorrelation - Wird die Drittvariable Z nur aus einer der beiden Variablen X oder Y auspartialisiert, resultiert daraus eine Semipartialkorrelation. - Entsprechend gibt es zwei diametrale Semipartialkorrelationen 1. Die Semipartialkorrelation r(X⋅Z )Y ist die Korrelation einer Varia- blen Y mit einer Residualvariablen EX, die um den Einfluss von Z bereinigt wurde rXY − rXZ ⋅ rYZ r(X⋅Z )Y = rEX(Z )Y ⇒ r(X⋅Z )Y = 1 − rXZ 2 2. Die Semipartialkorrelation r(Y⋅Z )X ist die Korrelation einer Varia- blen X mit einer Residualvariablen EY, die um den Einfluss von Z bereinigt wurde rXY − rXZ ⋅ rYZ r(Y⋅Z )X = rEY(Z ) X ⇒ r(Y⋅Z )X = 1 − rYZ 2 - Die Semipartialkorrelation ist vom Betrag her immer kleiner, als die Partialkorrelation. Das liegt daran, dass bei der Berechnung der Partialkorrelation im Nenner immer noch mit einer Zahl multi- pliziert wird, die kleiner als 1 ist. Dadurch wird dabei der Nenner kleiner als bei der Semipartialkorrelaiton. Ein größerer Nenner bedeutet für die Semipartialkorrelation kleinere Beträge, da durch eine größere Zahl geteilt wird. - In sehr seltenen Fällen können Semipartialkorrelation und Partial- korrelation auch gleich sein. Dies geschieht dann, wenn die Va- riable Z mit derjenigen Variable, aus der Z nicht auspartialisiert wird, zu 0 korreliert. Das ist jedoch sehr unwahrscheinlich. - Im Allgemeinen ist die Partialkorrelation für uns wichtiger, aber in Sonderfällen ist der Einsatz der Semipartialkorrelation geboten: 8 von 133  Markus Fürstenau 1. Wenn wir theoriegeleitet nur aus einer Variable auspartialisieren wollen, es liegt also in unserer Theorie begründet, dass Z nur Y oder X beeinflusst, nicht jedoch beides. 2. Wir wollen sehen, wie gut einzelne Prädiktoren ein unbereinigtes Kriterium erklären können, wollen aber gleichzeitig für verschie- dene Prädiktoren untereinander kontrollieren. 9 von 133  Markus Fürstenau Thema 2a: Grundlagen der multiplen Regression Multiple Regression: Einige zentrale Fragestellungen a) „klassische Multiple Regression“ a1) Ohne Kontrolle von hypothesenirrelevanten Drittvariablen (Kovariaten) → Beispiel: Welchen Effekt haben die Persönlichkeits merkmale „Extraversion“, „Offenheit“ und „Neurotizismus“ auf das Ausmaß an Intergruppenkontakt unter Kontrolle jeweils aller anderen Bei der MR sind die Prädiktoren und wie gut kann Prädiktoren untereinan- dieses Ausmaß insgesamt der korreliert erklärt werden? → Wie wichtig sind theoretisch angenommene Prädiktoren für die Erklärung bzw. Vorhersage eines Kriteriums, wenn jeweils für alle anderen Prädiktoren im Modell statistisch kontrolliert wird? → Wie gut kann das Kriterium durch die angenommene Kombination der Prädiktoren insgesamt erklärt bzw. vorhergesagt werden? a2) Mit Kontrolle von hypothesenirrelevanten Drittvariablen (Kovariaten) → Beispiel: Haben gewalthaltige Computerspiele auch bei Kontrolle des Erziehungsstils und des eigenen Alters einen Effekt auf Aggression? → Welchen Einfluss hat der inhaltlich interessierende Prädiktor X (oder mehrere) auf das Kriterium Y, wenn für eine oder mehrere Drittvariablen, die nicht im theoretischen Modell enthalten sind (Kovariaten), statistisch kontrolliert wird? b) Sequentielle (hierarchische) Regression (Thema 2b) c) Mediation (Thema 2c) d) Moderation (Thema 2d) 10 von 133  Markus Fürstenau Modell der Multiplen Regression (MR) - Auch bei der MR gibt es die üblichen Gleichungen k = Anzahl - REGRESSIONSgleichung: Prädiktoren ym̂ = b0 + b1 ⋅ x1m + … + bi ⋅ xim + … + bk ⋅ xkm m = Perso- nenindex - MODELLgleichung: ym = b0 + b1 ⋅ x1m + … + bi ⋅ xim + … + bk ⋅ xkm + em - Residuum: em = ym − ym̂ ⇒ E = Y − Y ̂ - Variablen und personenspezifische Ausprägungen: Y = Kriterium; metrisch; ym = beobachteter Messwert der Person m (m = (1,…, n)) im Kriterium Y - Xi = Prädiktor i (i = (1,…, k)); dichotom (z.B. 0,1) oder metrisch; xim = Messwert der Person m im Prädiktor Xi - Y ̂ = erklärtes bzw. vorhergesagtes Kriterium; ym ̂ = erklärter/ vor- hergesagter Messwert der Person m im Kriterium Y - additives (kompensatorisches) Modell, d.h. wir können Schwachstellen in einem Prädiktor kompensieren, wenn wir einen anderen besseren Prädiktor zusätzlich haben - E = Residuum Y − Y;̂ em = Residuum („error“): Differenz zwi- schen Messwert ym einer Person m und dem erklärten bzw. vor- ̂ für diese Person: em = ym − ym̂ hergesagten Kriteriumswert ym - Modellparameter / Regressionsparameter / Regressionskoeffizi- enten (personenunspezifisch): - b0 = „Intercept“ / additive Konstante / Achsenabschnitt → Derjenige Wert, der für Y vorhergesagt wird, wenn alle Prädiktoren die Ausprägung 0 annehmen → In SPSS Panel c) siehe dazu Konstante + RegressionskoeffizientB - bi = „Slope“ von Prädiktor Xi / „Effekt“ von Xi / Regressions- gewicht von Xi / Steigungskoeffizient von Xi → Obwohl bei der MR „Effekt“ als Synonym für den Slope gilt, kann dieser auch hier nicht Kausal interpretiert 11 von 133  Markus Fürstenau werden! → Slope bei MR ist der Effekt dieses Prädiktors auf das Kriterium, wenn gleichzeitig für alle anderen Prädiktoren statistisch kontrolliert – d.h. diese aus dem Prädiktor und aus dem Kriterium auspartialisiert wurden – wird. → Die Slopes hängen also immer davon ab – und sind nur vor diesem Hintergrund interpretierbar – welche anderen Prädiktoren noch im Modell sind → Aussage (unstandardisiert): Wenn Prädiktor xi um 1 in seiner Einheit ansteigt, dann steigt Y ̂ um … in seiner Einheit an, unter der Voraussetzung, dass für alle an deren Prädiktoren statistisch kontrolliert wird. Modellparameter (Intercept & Slope): Zielkriterium für die Parameterschätzung und Berechnung - Das Zielkriterium ist (wieder) das „Kriterium der kleinsten Quadrate“ oder „Ordinary Least Squares“ (OLS): Die Modellparameter werden derart geschätzt, dass die Summe der quadrierten Regressionsresiduen über alle n Personen mini- mal ist. n n 2 ̂ 2 - ∑ em = ∑ (ym − ym) = min. m=1 m=1 - Um dieses Kriterium zu erfüllen gibt es bestimmte Formeln zur Berechnung der Modellparameter, diese müssen wir nicht können 12 von 133  Markus Fürstenau Modellparameter (Intercept & Slope): Konkrete Interpretation und inferenzstatistische Absicherung Interpretation der Modellparameter: b0 : Intercept: erklärte bzw. vorhergesagte Ausprägung im Kriterium, wenn alle im Modell enthaltenen Prädiktoren die Ausprägung 0 haben. b1 : Slope des Prädiktors Xi ; eigenständiger Effekt von Xi auf das Kriterium. Konkret: um wieviele Einheiten ändert sich der erklärte bzw. vorhergesagte Kriteriumswert, wenn Xi um eine Einheit ansteigt und gleichzeitig alle anderen Prädiktoren im Modell statistisch kontrolliert (d.h. auspartialisiert bzw. kon stant gehalten) werden. → In der unstandardisierten Version drücken sich Slopes und der Intercept in der Einheit/ Metrik aus, in der sie gemessen worden sind. Sie können aber auch Standardisiert werden, dann Interpretation in Standardabweichungseinheiten (SDE), siehe später. - Die inferenzstatistische Absicherung erfolgt über die symmetrische t-Verteilung, gemäß der unten stehenden Formel bi − 0 t= , mit df = n − k − 1 SEi - Dabei können gerichtete Hypothesen formuliert und die Testung einseitig rechts/ links oder ungerichtet zweiseitig durchgeführt werden. - Der t-Wert hat hierbei immer dasselbe Vorzeichen, wie der getes- tete Modellparameter. - Auch der Intercept kann auf Signifikanz getestet werden, dabei wird geprüft, ob der Intercept – wenn alle Prädiktoren = 0 sind – auf der Populationsebene ≠ 0 ist. - Schlussfolgerung aus einem signifikanten Slope: Wir können si- cherstellen, dass der Effekt eines Prädiktors auf der Populations- ebene von Null verschieden ist. D.h. es gibt einen Effekt des Prä- diktors auf das Kriterium, wenn für alle anderen Prädiktoren sta- tistisch kontrolliert wird, auf der Populationsebene. Durch die Si- 13 von 133  Markus Fürstenau gnifikanztestung können wir jedoch keinen Rückschluss auf die Stärke des Effekts ziehen. - SPSS gibt im Panel c) sowohl den SEi, die Prüfgröße (T), als auch den zweiseitigen p-Wert aus. - Der p-Wert darf nach den üblichen Kriterien geteilt werden. (1) es muss a priori eine gerichtete Hypothese aufgestellt worden sein und (2) das Ergebnis muss in der erwarteten Richtung ausfallen. Was bedeutet „Eigenständiger Effekt von Xi …“? (Erklärung 1) Das Regressionsgewicht des Prädiktors X1 (sowie X2) in der MR lässt sich (äquivalent zur direkten Berechnung) wie folgt bestimmen: - Schritt 1: Regression von X1 auf X2 (d.h. Vorhersage von X1 durch X2) um X2 aus X1 auszupartialisieren: Regressionsgleichung: ̂ = b0 + b1 + x2m x1m Modellgleichung: x1m = b0 + b1 + x2m + eX1(X2)m Residuum: ̂ eX1(X2)m = x1m − x1m - Schritt 2: Regression von Y auf X2 (d.h. Vorhersage von Y durch X2) um X2 aus Y auszupartialisieren: Regressionsgleichung: ̂ = b0 + b1 + x2m y1m Modellgleichung: ym = b0 + b1 + x2m + eY(X2)m Residuum: eY(X2)m = ym − ym̂ - Schritt 3: Regression von EY(X2 ) auf EX1(X2 ): Regressionsgleichung: ̂ 2)m = b0 + b1 ⋅ eX1(X2)m eY(X → b1, also der Slope (unstandardisiert) in dieser Regression entspricht dem slope (unstandardisiert) von X1 in der MR 14 von 133  Markus Fürstenau - Das Prinzip ist auf eine multiple Regression mit ≥ 3 Prädiktoren erweiterbar. - Es wird deutlich, dass der Slope eines Prädiktors davon abhängt, welche anderen Prädiktoren im Modell sind. - Ebenfalls wird die Verwandtheit zur Partialkorrelation deutlich, weshalb die Regressionsgewichte in der MR auch als „Partialre- gressionsgewichte“ bezeichnet werden. Regressionsgewicht und Partialkorrelation sind jedoch nicht identisch. Was bedeutet „Eigenständiger Effekt von Xi …“? (Erklärung 2) Was bedeutet „Konstanthalten“? Mit jeder Einheit, um die X1 an- steigt und X2 auf jeder beliebigen Stufe (0, 1, 2, …) konstant gehal- ten wird, steigt der Y ̂ Wert um diesen Slope (b1) von X1 an. Weil X2 konstant gehalten wird, kann es keinen Einfluss auf Y ̂ ha- ben. Ergo es wird für X2 kontrolliert. Modellparameter (Intercept & Slope): Standardisiert vs. Unstandardisiert - Die unstandardisierten Slopes (bi) entsprechen Slopes einer MR, in die die Variablen mit ihren ursprünglichen Metriken/ Einheiten/ Skalen eingehen. Ihre Größe hängt daher davon ab, in welchen Metriken/ Einheiten/ Skalen die Variablen gemessen wurden. Gleichung: ym̂ = b0 + b1 ⋅ x1m + b2 ⋅ x2m - Die standardisierten Slopes (betai) entsprechen slopes einer MR, die mit zuvor standardisierten (also z-transformierten) Variablen (Kriterium und Prädiktor) durchgeführt wurde. Dadurch werden die ursprünglich vorgegebenen Metriken/ Einheiten/ Skalen ent- fernt: Alle Aussagen werden nun in Standardabweichungen bzw. Standardabweichungseinheiten (SDE) vorgenommen. Gleichung: zm( y)̂ = beta1 ⋅ zm(x1) + beta2 ⋅ zm(x2) 15 von 133  Markus Fürstenau Interpretation der standardisierten Modellparameter: beta0 : Der Intercept fällt bei der Standardisierung weg – wird 0. betai : Standardisierter Slope des Prädiktors Xi; eigenständiger Effekt von Xi auf das Kriterium. Konkret: um wieviele Standardabweichungseinheiten (SDE) ändert sich der vorhergesagte Kriteriumswert, wenn Xi um eine Standardabweichungseinheit ansteigt und gleichzeitig alle anderen Prädiktoren im Modell statistisch kontrolliert (d.h. auspartialisiert bzw. konstant gehalten) werden. Standardisierte Slopes zur Interpretation heranzuziehen, wenn … - Effekte unterschiedlicher Prädiktoren mit anderen Metriken inner- halb einer Studie verglichen werden sollen - Effekte desselben Prädiktors mit anderen Metriken zwischen Stu- dien verglichen werden soll - Kriteriumswerte als z-Werte vorhergesagt werden sollen Unstandardisierte Slopes zur Interpretation heranzuziehen, wenn … - Effekte unterschiedlicher Prädiktoren mit derselben Metrik inner- halb einer Studie verglichen werden sollen - Effekte desselben Prädiktors mit derselben Metrik zw. Studien bzw. Substichproben verglichen werden soll - Kriteriumswerte in originaler Metrik des Kriteriums vorhergesagt werden sollen Slopes: multiple vs. einfache Regression Vergleich des Slopes eines Prädiktors in einner multiplen (betamult) und einfachen (betaeinf) Regression: - betamult = betaeinf : In diesem Fall sind alle Prädiktorvariablen un- tereinander unkorreliert. - betamult < betaeinf : Die Prädiktorvariablen sind untereinander kor- reliert, diese Kollinearität reduziert den eigenständigen Vorhersa- gebeitrag einer (oder beider) Prädiktorvariablen auf das Kriterium. - betamult > betaeinf : Die Prädiktorvariablen sind untereinander korreliert, diese Kollinearität erhöht den eigenständigen Vorher- 16 von 133  Markus Fürstenau sagebeitrag einer (oder beider) Prädiktorvariablen auf das Kriteri- um (klassische Suppression). - Zudem kann das Regressionsgewicht sein Vorzeichen wechseln (negative Suppression) Wir vergleichen dabei die stan- dardisierten Slopes der MR mit der Korrelation 0ter Ordnung, die im SPSS Output steht. Denn bei der Korrelation entspricht die Kor- relation zwischen UV und AV dem Slope der einfachen bivariaten Regression, die wir nicht eigenstän- dig ausgegeben bekommen. Varianzzerlegung und multiple Determination - Der Anteil der Varianz von Y, der durch alle Prädiktoren im Modell gemeinsam aufgeklärt werden kann, heißt „multipler Determinati- onskoeffizient“ R 2. - Er entspricht dem Quotient aus der Varianz der vorhergesagten Werte (Y)̂ und der Varianz der beobachteten Werte (Y): 2 sY2̂ R = 2 [0; 1] sY - Der Anteil der unerklärten Varianz in Y entspricht dann 1 − R 2 und wird als multipler Indeterminationskoeffizient bezeichnet: se2 2 1−R = 2 sY - Der multiple Determinationskoeffizient R 2 entspricht auch dem Quadrat der multiplen Korrelation zwischen Y und Y:̂ R 2 = rY2Ŷ = rY(X 2 1,…,Xk ) [0; 1] - R 2 Konzeptualisierung c) ###Platzhalter### - Es gibt keine klaren Kriterien/ Konventionen, ab wann ein R 2 Wert „gut“ ist. - Einige sagen man könne die quadrierten Konventionen der Pro- dukt-Moment-Korrelation heranziehen, aber da R 2 immer stark 17 von 133  Markus Fürstenau davon abhängig ist, wieviele Prädiktoren im System sind, findet Lemmer das ungeeignet. - Auf Populationsebene zeigt R 2 eine systematische Überschät- zung des tatsächlichen Wertes, diese fällt aber umso geringer aus, je größer die Stichprobe ist, denn es gibt ein akurateres Ab- bild der Population. - Um der systematischen Überschätzung Rechnung zu tragen, gibt es das korrigierte R 2, es gibt aber verschiedene Korrekturformeln und es streiten sich die Geister, welche davon die geeignetste ist. SPSS und Jamovi verwenden hier dieselben und die Werte aus den Outputs können herangezogen werden. Optimalerweise aber immer beides berichten. Inkrement in R 2 bei sequentieller MR - Neben der bisherigen Regressionstechnik (gleichzeitiger Einschluss aller Prädiktoren), ist auch eine sequentielle (hierarchische) Regression mit sequentieller Aufnahme der Prädiktoren in sukzessiven Modellen möglich. - Durch die Hinzunahme von Prädiktoren kann inkrementell Varianz von Y aufgeklärt werden - Die zusätzliche Varianz, die durch die Hinzunahme eines neuen Prädiktors (oder einer Kombination von Prädiktoren) aufgeklärt werden kann, wird als Inkrement in R 2 (ΔR 2) oder als Semipartialdetermination bezeichnet. - Die Gesamtdetermination (also R 2), die nach Einschluss des letzten der k Prädiktoren resultiert, wird von der Reihenfolge der Aufnahme der Prädiktoren nicht beeinflusst. - Die Bezeichnung „Semipartialdetermination“ leitet sich daraus ab, dass R 2 auch als Summe von Semipartialdeterminationen (quadrierte Semipartialkorrelationen) zunehmend höherer Ordnung dargestellt werden kann. 18 von 133  Markus Fürstenau Nützlichkeit (Ui) als Kennwert eines Prädiktors - Nützlichkeit eines Prädiktors (engl. Utility, kurz: Ui): Semipartialdeterminati- on höchstmöglichster Ordnung. - Definiert als: Die Varianz, die ein Prädik- tor zusätzlich zu allen anderen Prädikto- ren im Gesamtmodell am unbereinigten Y aufklärt (wenn er also an letzter Stelle aufgenommen wird). - Wir erhalten Ui, indem wir die Semipar- tialkorrelation („Teil“) des jeweiligen Prä- diktors aus dem SPSS Output quadrieren. Suppression im Rahmen der MR: Bedeutung und Formen - Die Berücksichtigung interkorrelierter Prädiktoren bei einer multi- plen Regression kann nicht nur dazu führen, dass die jeweiligen Regressionsgewichte im Vergleich zur einfachen Regression reduziert sind, sondern es kann auch zu Suppressionseffekten kommen. - Bei einer klassischen Suppression erhöht eine Suppressorvaria- ble das Regressionsgewicht einer anderen Variablen, indem sie irrelevante Varianzanteile in dieser Variablen unterdrückt. - Durch den Einschluss einer Suppressorvariablen in das Regres- sionsmodell kann es sein, dass Prädiktoren, die mit dem Kriterium nur schwach bivariat korrelieren, in der multiplen Regression ein hohes beta-Gewicht erhalten. 19 von 133  Markus Fürstenau - Der Suppressionseffekt kann sogar dazu führen, dass das beta- Gewicht eines Prädiktors ein anderes Vorzeichen hat als die Kor- relation dieses Prädiktors mit dem Kriterium („negative Suppres- sion“). - Zwei Prädiktorvariablen können auch einen wechselseitigen Suppressionseffekt erzeugen („reziproke Suppression“). Form der Suppression Erklärung Klassische Suppression Ein Regressionsgewicht wird in der MR größer, als in der einfachen Regressi- on, weil ein hinzugefügter anderer Prä- ditkor irrelevante Varianzanteile unter- drückt Negative Suppression Ein Regressionsgewicht ändert in der MR sein Vorzeichen, weil ein hinzuge- fügter Prädiktor irrelevante Varianzan- teile unterdürckt, die vorher den Effekt umgekehrt haben. Reziproke Suppression Die beiden Prädiktoren korrelieren bi- variat positiv mit dem Kriterium unter- einander aber negativ. Wenn man nun eine MR rechnet, sind die betas beider Prädiktoren größer, als ihre Korrelationen nullter Ordnung (= betas der einfachen Regression). Erklärung: Beide Prädiktoren nehmen sich gegenseitig das Irrelevante weg und deswegen wird das Gewicht grö- ßer und hängen stärker mit dem Krite- rium zusammen. 20 von 133  Markus Fürstenau Multikollinearität Beispiel: - Definiert als: hohe multiple Korrela- X = b + b ⋅ X + b ⋅ X + E 1 0 2 2 3 3 tion Ri eines Prädiktors Xi mit den X̂1 = b0 + b2 ⋅ X2 + b3 ⋅ X3 anderen Prädiktoren einer MR (an- ders gesagt: der Prädiktor ist mit Also eine Regression mit X1 den anderen Prädiktoren hoch kon- als Kriterium. Das urprüngli- fundiert). che Kriterium dieser Re- - Ri eines Prädiktors Xi mit den ande- gression ist für die Kollinea- rität irrelevant. ren Prädiktoren einer MR: Korrelati- on zwischen den X -Werten und den Das i bei Ri beudeutet hier, i durch alle anderen Prädiktoren in dass es diese multiple Kor- relation eines Prädiktors mit einer MR mit Xi als Kriterium erklär- allen anderen Prädiktoren ten Xi-Werten. hier für jeden Prädiktor im - Sobald Multikolinearität bei einem Modell gibt. Prädiktor auftritt, wird es meistens auch bei einem anderen auftreten. Es ist jedoch bereits ein Problem, wenn es nur bei einem erscheint. - Konsequenzen: → Unpräzise Schätzung der Regressionsgewichte der beteiligten Prädiktoren durch Vergrößerung ihrer Standardfehler; damit auch „schwerer“ signifikant → Geringe Regressionsgewichte, aber hohe (und signifikante) bivariate Korrelationen („nullter Ordnung“) mit Y - Diagnose: → Die Diagnose erfolgt über zwei Kennwerte: (1) Die Toleranz [TOL = 1 − Ri2] (2) Den Varianzinflationsfaktor 1 [VIF = ] 1 − Ri2 21 von 133  Markus Fürstenau → Multikolinearität liegt vor, wenn (Faustregel) die TOL <.10 bzw. der VIF > 10 ist. - Lösungsvorschläge: → Auschluss einzelner Prädiktoren → Aggregation / Indizierung von Prädiktoren (also: mehrere Prädiktoren werden zu einem Präditkor zusammengefasst) Mögliche Veränderung der Konstruktvalidität durch Auspartialisieren Wenn wir beim Auspartialisieren unaufmerksam sind, kann es pas- sieren, dass wir aus einer Variable einen Teil auspartialisieren, der für unsere Fragestellung essentiell ist. Wenn wir beispielsweise die Ängstlichkeit aus Depressionen herausnehmen, die eigentlich ein wichtiger Bestandteil von Depression ist, kann dies die Konstruktva- lidität unserer Untersuchung untergraben. Also Vorsicht! X Y b b X b C E C Y 22 von 133  Markus Fürstenau SPSS Output Übersicht 1. Multiple Korrelation zwischen allen Prädiktoren und dem Kriteri- um. 2. Multipler Determinationskoeffizient, also der Anteil an der Vari- anz des Kriteriums, der durch alle Prädiktoren zusammen auf- geklärt werden kann. 3. Korrigierter Determinationskoeffizient: für die Populaitonsebene, da normaler mult. Determinationskoeffizient systematisch über- schätzt, wurde hier korrigiert. 4. Testung des multiplen Determinationskoeffizienten (R 2) auf s ignifikanz, also absicherung gegen Null auf der Populationsebene. → Da hier über die F-Verteilung getestet wird (→ ANOVA) darf der p-Wert niemals geteilt werden 23 von 133  Markus Fürstenau 5. Regressionsparameter: Intercept und Slopes von Xi 6. Standardfehler (SEi), der zur Berechnung des t-Werts und somit zur Signifikanztestung der Slopes herangezogen werden kann. 7. Standardisierte Regressionsparameter (beta0 entfällt). 8. Signifikanztestung der Regressionsparamter, wenn gerichtete Hypothesen vorlagen und das Ergebnis in der gewünschten Richtung ausfällt, können die p-Werte geteilt werden. 9. Korrelationen: → Nullter Ordnung: Ganz normale Korrelation zwischen dem Prädiktor in dieser Zeile und dem Kriterium unter nicht Berücksichtigung der anderen Prädiktoren. ⇒ Diese Werte entsprechen den standardisierten Regressionsparametern einer einfachen bivariaten Regression zwischen diesem Prädiktor und dem Kriterium. → Partiell: Partialkorrelation zwischen dem Prädiktor in dieser Zeile und dem Kriterium. Alle anderen Prädiktoren werden hier sowohl aus dem Prädiktor, als auch aus dem Kriterium auspartialisiert. → Teil: Semipartialkorrelation zwischen dem Prädiktor in dieser Zeile und dem Kriterium. Alle anderen Prädiktoren werden aus diesem Prädiktor auspartialisiert, jedoch nicht aus dem Kriterium. ⇒ Dieser Wert kann außerdem Quadriert werden, um die Nützlichkeit (Ui) des Prädiktors in dieser Zeile zu erhalten. 10. Diagnose der Kolinearität: Problem, wenn Toleranz <.10 bzw. VIF > 10. 24 von 133  Markus Fürstenau Thema 2b: Sequentielle (hierarchische) Regression Unter einer sequentiellen (hierarchischen) multiplen Regression ver- steht man eine MR mit sequentiellem Einschluss (bzw. Ausschluss) von einzelnen Prädiktoren oder Prädiktorkombinationen mit dem Ziel, die Veränderung von R 2 durch die jeweiligen Prädiktoren bzw. Prädiktorkombinationen zu analysieren. 1. Multiple Korrelation des jeweiligen Modells 2. Multipler Determinationskoeffizient (R 2) des jeweiligen Modells 3. Änderung im Multiplen Determinationskoeffizient, wenn Prädikto- ren zusätzlich zum vorherigen Modell aufgenommen werden. Also: wie verändert sich R 2, wenn wir neue Prädiktoren aufneh- men? Können wir mehr Varianz erklären? 4. Signifikanztestung der Änderung in R 2 mit Hilfe der F-Verteilung, daher niemals den p-Wert teilen! Strategien zur Auswahl der Prädiktoren für ein multiples Regressionsmodell a) Theoretische Überlegungen: a1) Gesamtmodell mit k gleichzeitig eingeschlossenen, theoretisch ausgewählten Prädiktoren (keine sequentielle Regression) a2) Auf Basis theoretischer Überlegungen erfolgt eine sequentielle Aufnahme von Prädiktoren bzw. Prädiktorkombinationen in selbst vorgegebener Reihenfolge; Inkrement in R 2? 25 von 133  Markus Fürstenau b) Datengesteuerte Auswahl aus Pool vorgegebener Prädiktoren (exploratives Vorgehen): b1) Vorwärts-Selektion (FORWARD): → Die Prädiktoren werden nacheinander aufgenommen; konkret werden nacheinander Modelle mit jeweils einem weiteren Prädiktor gerechnet. → Kriterium für die Aufnahme eines weiteren Prädiktors: max. Anstieg in R 2 (max. zusätzl. Varianzaufklärung) und p <.05 (oder kleiner als ein anderes gewähltes Niveau) → Stopp, wenn kein weiterer der im Pool verbleibenden Prädiktoren das Kriterium erfüllt. b2) b2) Rückwärts-Selektion (BACKWARD): → Zunächst wird ein Modell mit allen Prädiktoren gerechnet, dann werden nacheinander Modelle mit jeweils einem weiteren eliminierten Prädiktor gerechnet. → Kriterium für die Elimination eines Prädiktors: minimaler Abfall in R 2 und p >.1 (oder größer als ein anderes gewähltes Niveau) → Stopp, wenn kein weiterer der im Modell verbleibenden Prädiktoren das Kriterium erfüllt. b3) Schrittweise Regression (STEPWISE): → Prozedere wie bei der Vorwärts-Selektion, dabei jedoch Elimination von bereits in den zuvorigen Schritten aufgenommenen Prädiktoren, für die nach dem neuen Schritt p >.1 für Abfall in R 2 (oder größer als ein anderes gewähltes Niveau). Keine der b) Strategien sollte verwendet werden, solange eine theo- riegleitete Auswahl von Prädiktoren möglich ist! Die b) Strategien sind nur sinnvoll, wenn ein komplett neues Themenfeld erkundet wird und es noch keine Theorien gibt. Zur Exploration, sonst nicht! 26 von 133  Markus Fürstenau Thema 2c: Mediationsmodelle und Mediationsanalysen MediationsMODELLE (mit einem Mediator): vollständige oder partielle Mediation Einfaches UV-AV-Modell - X (UV) hat einen Effekt auf Y (AV) - Bsp.: (positiver) Kontakt verbessert die Einstellung zu … Mediationsmodell - Erweitertes Kausalmodell: X (UV) hat indirekt vermittelt über Y1 (Mediator) einen Effekt auf Y2 (AV) - Bsp.: (positiver) Kontakt reduziert Bedrohungsgefühle und auf- grund der reduzierten Bedrohungsgefühle verbessert sich dann in der Folge die Einstellung - Das Modell beinhaltet auch eine inhaltliche Annahme über den verbleibenden eigenständigen Effekt von X auf Y2: a) Ist dieser nicht vorhanden Vollständige Mediation (kein eigenständiger Effekt von X auf Y2), dann ist es eine „vollständige Mediation“ Partielle Mediation b) Ist dieser vorhanden (es gibt einen eigenständigen Effekt von X auf Y2), dann ist es eine „partielle Mediation“ - Mediation (warum hat X einen Effekt auf Y2) vs. Moderation (wo- von hängt die Stärke und/oder die Richtung des Effekts von X auf Y2 ab) Exogene vs. Endogene Variablen - Exogene Variablen (Kennzeichnung mit X): Ihre Ursache liegt au- ßerhalb des Modells und wird nicht spezifiziert (→ Prädiktoren werden nicht „durch“ das Modell erklärt) - Endogene Variablen (Kennzeichnung mit Y): Werden im Modell (zum Teil) erklärt, d.h. auf ihnen landet mindestens ein gerichteter Pfeil. 27 von 133  Markus Fürstenau - Alle endogenen Variablen haben auch immer einen eigenen Feh- ler E, denn sie werden von den Variablen im Modell nie vollstän- dig erklärt. - Ein Mediator ist also immer eine endogene Variable, denn er wird ja im Modell erklärt. Abgrenzung der Mediation von anderen Kausalmodellen Der Status „Mediator“ muss einer Variable auf Grund einer theoretischen Herleitung verliehen werden. Dabei muss das Mediationsmodell durch Plausibilität von anderen möglichen Kau- salmodellen abgegrenzt werden (siehe Rechts). Statistische Submodelle und Typen von Effekten im Kontext von Mediationsmodellen Statistische Submodelle im Kontext von Mediationsmodellen 1. „Total Effect“-Modell → Y2 = b01 + b11 ⋅ X + E → y2̂ = b01 + b11 ⋅ X → Letztlich ist dies eine Total Effect Modell wird oft nicht mehr im eigenen Modell dargestellt, einfache bivariate Regression, sondern der Effekt wird im Mediati- bei der die AV durch die UV onsdreieck auf dem unteren Pfeil in vorhergesagt wird und der Klammern hinter den direkten Effekt Mediator außen vor gelassen von X auf Y2 notiert. wird. 2. Mediator-Modell → Y1 = b02 + b12 ⋅ X + E → y1̂ = b02 + b12 ⋅ X → Wir sagen den Mediator durch den Prädiktor/ die UV vorher 28 von 133  Markus Fürstenau 3. AV-Modell → Y2 = b03 + b13 ⋅ Y1 + b23 ⋅ X + E → y2̂ = b03 + b13 ⋅ Y1 + b23 ⋅ X → Wir sagen die AV sowohl durch die UV, als auch durch den Mediator vorher → Wir verwenden das AV Modell um zu testen, ob die UV noch einen eigenständigen Effekt auf die AV hat, wenn für den Mediator statistisch kontrolliert wird. Also testen wir in logischer Konsequenz, ob es sich um eine vollständige Mediation handelt, oder nicht. Typen von Effekten im Kontext von Mediationsmodellen - Totaler Effekt: Effekt einer Variablen auf eine endogene Variable in einfacher Regression (d.h. ohne statistische Kontrolle weiterer Variablen). Hier bezogen auf: totaler Effekt von X auf Y2. - Direkter Effekt: Eigenständiger Effekt einer Variablen (Pfeilbe- ginn) auf eine endogene Variable (Pfeilende: AV oder Mediator) bei statistischer Kontrolle aller Variablen, die ebenfalls einen Pfeil auf die jeweilige endogene Variable haben. - Direkter Effekt von X auf Y1 (identisch mit totalem Effekt von X auf Y1); - Direkter Effekt von Y1 auf Y2 ; direkter Effekt von X auf Y2 - Inhaltliche Aussage Direkter Effekt (X → Y2): „Wenn die UV um eine Einheit ansteigt und für den Mediator statistisch kontrolliert wird, dann steigt der für die AV vorhergesagte Wert um (…) Ein- heiten an.“ - Indirekter Effekt (im Sinne einer Mediation, Indirekter Effekt „vorwärtsgerichtet“): Effekt, den eine Variable = Mediation indirekt vermittelt über eine endogene Variable (Mediator) auf eine folgende endogene Variable (AV) hat. Wie wird der indirekte Effekt berechnet? → Option 1: Totaler Effekt - Direkter Effekt (UV → AV) → Option 2: Multiplikation der beiden Pfade auf dem „indirekten Weg“, also: Direkter Effekt von X auf Y1 × Direkter Effekt Effekt von Y1 auf Y2 29 von 133  Markus Fürstenau - Inhaltliche Aussage Indirekter Effekt (X → Y1 → Y2): „Wenn die UV um eine Einheit ansteigt, dann steigt der für die AV vorherge- sagte Wert – indirekt vermittelt über den Mediator – um (…) Ein- heiten an.“ MediationsANALYSEN: Inferenzstatistische Testung von Mediationsmodellen im Sinne der Absicherung des indirekten Effektes von X auf Y2 (Baron & Kenny) Bei der statistischen Testung einer Mediation nach dem Schema von Baron & Kenny („causal steps approach“, 1986) sind drei Regres- sionen durchzuführen, mit denen überprüft werden kann, ob vier Bedingungen erfüllt sind, die nach diesem Schema notwendig sind, um einen indirekten Effekt „indirekt“ gegen 0 abzusichern. 1. Regression: „total effect“-Modell (Y2 = b01 + b11 ⋅ X + E) Bedingung 1: Die UV (X) muss die AV (Y2) in einfacher Regression signifikant beeinflussen: b11 > 0 bzw. < 0 und p <.05 2. Regression: Mediator Modell (Y1 = b02 + b12 ⋅ X + E) Bedingung 2: Die UV (X) muss den Mediator (Y1) in einfacherer Regression signifikant beeinflussen: b12 > 0 bzw. < 0 und p <.05 3. Regression: AV-Modell (Y2 = b03 + b13 ⋅ Y1 + b23 ⋅ X + E) Bedingung 3: Der Mediator (Y1) muss die AV (Y2) signifikant beeinflussen, wenn für die UV (X) statistisch kontrolliert wird: b13 > 0 bzw. < 0 und p <.05 Bedingung 4: Bei statistischer Kontrolle des Mediators (Y1) ist der Einfluss der UV (X) auf die AV (Y2) b23 nicht signifikant von 0 verschieden („vollständige Mediation“) oder zumindest kleiner als vorher: b23 < b11 („partielle Mediation“) 30 von 133  Markus Fürstenau Mediationsdreieck bei Baron & Kenny Die Testung nach Baron & Kenny kann im Mediations- dreieck notiert werden, indem die Effekte direkt mit *-Signifi- kanz gekennzeichnet werden. Probleme mit dem Schema von Baron & Kenny - Die Signifikanztestung durch das Schema von Baron & Kenny ist ungeeignet aus drei Gründen: 1. Nachteil: Wir testen nicht direkt auf Signifikanz, wie wir es sonst tun, sondern wir testen indirekt über vier Bedingungen. Besser wäre ein direkter Test. 2. Nachteil: Die erste Bedingung muss nicht erfüllt sein und es kann dennoch eine Mediation geben. Selbst wenn es keinen to- talen Effekt gibt, kann es dennoch eine Mediation geben. Wie kann man das erklären? Bspw. Zwei Mediatoren, die sich gegenseitig canceln. 3. Nachteil: Dieses Verfahren hat eine sehr geringe Power im Vergleich mit den folgenden Verfahren (Sobel, Bootstrapping). - Ergo: Dieses Schema nicht benutzen! MediationsANALYSEN: Inferenzstatistische Testung von Mediationsmodellen im Sinne der Absicherung des indirekten Effektes von X auf Y2 (Sobel Test) - Mit dem Sobel-Test (Sobel, 1982) wird das angenommene der folgenden statistischen Hypothesenpaare hinsichtlich des indirek- ten Effektes direkt getestet: a) H1 : > 0 b) H1 : < 0 c) H1 : ≠ 0 H0 : ≤ 0 H0 : ≥ 0 H0 : = 0 In dir ek ter E f fek t b12 ⋅ b13 Prüfgröße: z = →z = - SE (In dir ek ter E f fek t) b12 2 ⋅ SE 2 + b 2 ⋅ SE 2 b 13 b12 13 Der Test erfolgt über die Standardnormalverzeilung (z-Verteilung) 31 von 133  Markus Fürstenau - Kriterium: H0 wird verworfen (statistisch signifikant: Bei 95% CI two indirekter tailed testing, ist das Ergeb- Effekt auf der Populationsebene in erwarteter nis also signifi- Richtung von 0 kant, wenn die verschieden), wenn … beiden CI a) p≤α Grenzen (Boot- b) Prüfgröße im Ablehnungsbereich (defi- LLCI & Boot- ULCI) beide niert durch dasselbe Vor- kritischen z Wert) liegt zeichen haben. - Durchführung z.B. in SPSS mit dem Makro „Pro- cess“ (Siehe Rechts) - Probleme des Sobel Tests: 1. Setzt Normalverteilung der Stichprobenkennwerte- verteilung („sampling distribution“) des indirekten Effekts voraus: für Produktvariablen i.d.R. nicht gegeben (nicht robust gegenüber Verletzungen). 2. Geringere Power als die Bootstrapping-Methode. MediationsANALYSEN: Inferenzstatistische Testung von Mediationsmodellen im Sinne der Absicherung des indirekten Effektes von X auf Y2 (Bootstrapping) - Mit der Bootstrapping Methode wird dasselbe statistische Hypothesenpaar wie beim Sobel-Test getestet - Durchführung z.B. mit SPSS mit Makro „Process“ - Prinzip: Die Stichprobenkennwerteverteilung für den indirekten Effekt wird „empirisch generiert“; gegeben: Orginaldaten aus einer Stichprobe der Größe n: 1. Zufallsziehung mit Zurücklegen eines ersten „resamples“ („künstliche Stichprobe“) derselben Größe n aus Originaldaten 2. Berechnung des indirekten Effektes für erstes resample: b12 × b13 3. Die Schritte 1-2 werden k mal (k ≥ 5.000) wiederholt: k resam- ples und damit k indirekte Effekte werden generiert 4. Erstellung einer „empirischen“ Häufigkeitsverteilung der k indi- rekten Effekte und Behandlung wie Stichprobenkennwertevertei- lung des indirekten Effekts 32 von 133  Markus Fürstenau 5. Bestimmung eines Konfidenzintervalls für den indirekten Effekt (z.B. 05% two-tailed) 6. Statistische Entscheidung: statistisch signifikant, wenn das 95%- CI (z.B. two tailed) für den indirekten Effekt den Wert „0“ nicht beinhaltet, denn wenn 95% aller indirekten Effekte in diesem In- tervall liegen, liegt auch der „wahre Effekt“ auf der Populations- ebene mit 95% Wahrscheinlichkeit in diesem Bereich. Wenn dieser Bereich nun nicht die 0 einschließt, kann gesagt werden, dass der indirekte Effekt mit einer Fehlerwahrscheinlichkeit von 5% nicht gleich 0 sein kann und somit auf Populaitonsebene si- gnifikant ist. - Als Formulierung wird dann verwendet: „Bootstrapping approach was used (k = 10.000 resamples) … statistically significant indi- rekt effect: b = …, 95% CI […, …]“ - Einordnung: → Keine Verteilungsannahme erforderlich, Stichproben- kennwerteverteilung wird durch Resampling „generiert“ → Präferierte Methode zur Testung einer Mediation - Probleme: 1. Es muss darauf geachtet werden, dass mindestens 5.000 Resamples gezogen werden, denn erst ab diesem Schwellwert sind die Ergebnisse des Bootstrapping stabil. Es ist jedoch besser, wenn direkt 10.000 Resamples gezogen werden. 2. Wenn die Ausgangsstichprobe (aus der wir Resamplen) stark verzerrt ist – die Population aus der gezogen wurde nicht ausreichend wiederspiegelt – dann ist das ganze Bootstrapping Modell verzerrt. Dazu muss die Stichprobe aber sehr stark verzerrt/ sehr selektiv sein. Ist das aber der Fall, dann kann nur über die selektive Stichprobe eine Aussage gemacht werden, nicht tatsächlich über die angestrebte Populaiton. Einseitige (one-tailed) Testung mit Bootstrapping - Beim one-tailed Bootstrapping schneiden wir nicht – wie beim two-tailed testing – auf beiden Seiten 2,5% ab, sondern nur auf der Seite, die wir nicht erwarten 5%. 33 von 133  Markus Fürstenau - Wenn wir also einen positiven indirekten Effekt erwarten, schnei- den wir links 5% ab. Rechts geht unser Intervall dann bis ∞. (Bei einem negativen IE dann umgekehrt) - Praktisch in der Software lassen wir uns ein 90% CI ausgeben aber beachten dann bei der Interpretation nur die CI Grenze auf der Seite, die wir nicht erwarten. Wenn unser von dieser Grenze und ∞ eingegrenzten Intervall die „0“ nicht enthalten ist, fällen wir das Urteil „statistisch signifikant“. Process Output Übersicht 1. Größte des Indirekten Effektes von X auf Y2 also der Effekt der über den Mediator vermittelt wird. 2. BootLLCI = Bootstrapping: Lower Limit of Confidence Intervall, also die Grenze, wo das CI nach Links abgeschnitten wird 3. BootULCI = Bootstrapping: Upper Limit of Confidence Intervall, also die Grenze, wo das CI nach Rechts abgeschnitten wird Process gibt auch noch die Einzelmodelle aus, diese können ge- nutzt werden, um das Mediationsdreieck zu beschriften. 1. “Outcome Variable Y1“ = Mediator Modell 2. „Outcome Variable Y2“ = AV-Modell 3. „Outcome Variable Y2“ in der Sektion „TOTAL EFFECT MO- DEL“ = Totaler Effekt 34 von 133  Markus Fürstenau Ergebnisse von MediationsANALYSEN als Belege für Mediati- onsModelle? - Das Ergebnis des statistischen Tests eines indirekten Effekts ist nicht notwendigerweise ein Beleg für die Gültigkeit bzw. Ungültigkeit des getesteten theoretischen Mediationsmodells. - Ein statistisch signifikanter indirekter Effekt belegt nicht zwangs- läufig, dass die mit dem theoretischen Mediationsmodell vermute- te Kausalsequenz tatsächlich so vorliegt. Grund: Der in der Ana- lyse signifikante indirekte Effekt könnte auch aufgrund einer plau- siblen Alternativerklärung zustande gekommen sein. - Der statistische Test zur Absicherung des indirekten Effekts könn- te eine zu geringe Power gehabt haben. Beispielhaft mögliche Alternativerklärungen: - Alternativerklärung A: In Wahrheit könnte die Ein- stellung der Mediator und Threat die AV sein - Manche Forscher*innen schlagen das sog. „reverse mediation testing“ vor, um diese Alternativerklärung un- wahrscheinlicher zu machen. Diese Strategie funktio- niert jedoch nicht – sagt Lemmer. - Alternativerklärung B: Threat ist kein Mediator sondern eine konfundierte Drittvariable von Kontakt und Einstellung - Alternativerklärung C: Threat ist nicht der „wah- re“ Mediator sondern nur ein Korrelat von diesem Ergo: Eine Mediationshypothese kann nicht durch eine statistische Analyse belegt werden. Dazu bedarf es Plausibilität und Ausschluss von Alternativerklärungen durch einen guten Versuchsaufbau! 35 von 133  Markus Fürstenau Thema 2d: Moderierte Regression: Modelle und Analysen Moderierte Regression Allgemein (a) Statistische Darstellung - Inhaltliche Fragestellung bzw. Hypothe- se (Beispiel): Es interessiert der Effekt von X1 auf Y, der Effekt von X2 auf Y und, ob der Effekt von X1 auf Y von der Ausprägung auf X2 abhängt, d.h. von X2 moderiert wird (und umgekehrt). (b) Statistische Darstellung Bezogen auf einen Fall, in - Dabei sind Moderationseffekte im- dem X2 lediglich als Mode- mer symmetrisch (d.h., wenn die rator angenommen wird Stärke des Effekts von X1 auf Y von X2 abhängt, dann hängt auch die Stärke des Effekts von X2 auf Y von X1 ab). Wir definieren auf einer theoretischen Grundlage, welche Richtung uns mehr interessiert! (c) Konzeptuelle Darst. - Eine moderierte Regression umfasst (Bezogen auf einen Fall, in dem immer mindestens drei Prädiktoren: X2 lediglich als Moderator angenommen wird) (1) Prädiktor X1, (2) Prädiktor X2 und (3) den Produktterm aus den beiden Prädiktoren X1 * X2. Daher ist eine mo- derierte Regression auch immer eine multiple Regression. - Der Produktterm repräsentiert die Moderation/ Interaktion. - Dabei kann es sein, dass uns nur der Prädiktor X1 und die Interaktion tatsächlich inhaltlich interessieren. Dennoch muss auch X2 in die Regression aufgenommen werden, um im Produkt- term die Interaktion wiederzuspiegeln (siehe Grafik (b) Rechts). Analyseergebnisse und Interpretation - Regressionsgleichung: Die Interpretation des Intercepts (b0) bleibt Y ̂ = b0 + b1 ⋅ X1 + b2 ⋅ X2 + b3 ⋅ X1 ⋅ X2 dieselbe wie sonst auch, also der Wert, - Wichtig: Die Interpretation der Regressionskoeffizienten b1 und b2 der für den vorherge- ̂ sagten Y-Wert erwartet ist bei der moderierten Regression anders als bei der normalen wird, wenn beide Prä- MR. diktoren = 0 sind. 36 von 133  Markus Fürstenau - Jeweils der Effekt von X1, wenn X2 = 0 ist (und umgekehrt). → Wenn X1 um eine Einheit steigt und X2 auf der Stufe 0 konstant gehalten wird (und in Konsequenz auch der Produktterm X1 * X2 = 0 ist), dann steigt der erwartete ̂ Y-Wert um (…) Einheiten. - Interpretation von b3: Das Gewicht/ der Slope des Produktterms gibt an, in welchem Ausmaß der Effekt von X1 auf Y von der Ausprägung von X2 abhängt (und umgekehrt). → Der Effekt von X1 nimmt mit jeder Einheit, die X2 steigt um b3 = (…) Einheiten zu (analog für den Effekt von X2). - Mit einer inferenzstatistischen Überprüfung von b3 kann getestet werden, ob ein statistisch signifikanter Interaktionseffekt vorliegt - Zu beachten ist, dass die Regressionsgewichte von X1 und X2 durch die Aufnahme der Produktvariablen eine andere inhaltliche Interpretation erhalten. - Die Interpretation der Gewichte der Prädiktoren unterscheidet sich also zwischen nicht moderierter und moderierter Regressi- onsanalyse. - Innerhalb der moderierten Regressionsanalyse ist dabei wieder- um zu beachten, ob es metrische nicht standardisierte, metrische standardisierte, kategoriale dummy-kodierte oder kategoriale effekt-kodierte Prädiktoren handelt. - Dadurch, dass sich der Produktterm aus zwei miteinander multiplizierten Prädiktoren zusammensetzt, ist dieser natürlich mit beiden Prädiktoren hoch korreliert (Multikolinearität), aber das ist (nach Lemmer) kein Problem. Multikolinearität ist erst dann problematisch, wenn sie zwischen verschiedenen einzelnen Prädiktoren besteht. Moderierte Regression mit zwei metrischen Prädiktoren - Bei der Interpretation der Regressionskoeffizienten einer moderierten Regression mit metrischen Prädiktoren entsteht für uns ein Problem. 37 von 133  Markus Fürstenau - Wie oben bereits geschildert, beruht die Interpretation der Regressionskoeffizienten bei der moderierten Regression darauf, dass ein Prädiktor auf der Stufe 0 fixiert ist. Allerdings hat die Stufe 0 bei vielen metrischen/ intervallskalierten Messungen keine inhaltliche Bedeutung (Ängstlichkeit auf Skala 1-7 → keine 0 enthalten). - Wir benötigen also eine Möglichkeit der 0 in unserer moderierten Regression eine Bedeutung zuzuweisen. Lösung A: Zentrieren (Cronbach) - Lösung: Metrische Prädiktoren (und i.d.R. das metrische Kriterium) vor der Produktbildung zentrieren: Xi − X̄i - Konsequenz – jede zentrierte Variable hat: → Neuen Mittelwert: 0 → Ursprüngliche Einheiten/ Skala/ Metrik, jedoch verschoben („um Null“) → Ursprüngliche Standardabweichung Lösung B: Standardisieren (Friedrich) - Lösung: Metrische Prädiktoren (und i.d.R. metrisches Kriterium) vor der Produktbildung standardisieren, d.h. z-transformieren: Xi − X̄i sXi - Konsequenz – jede standardisierte Variable hat: → Neuen Mittelwert: 0 → Neue Einheiten: Standardabweichungen (SD) o. Standardabweichungseinheiten (SDE) → Neue Standardabweichung: 1 - Wichtig ist dabei, dass tatsächlich nur die Prädiktoren Standardi- siert oder Zentriert werden dürfen. Aus einer direkten Konsequenz daraus ist b3 auch standardisiert/ zentriert und darf nicht „nochmal“ standardisiert werden. 38 von 133  Markus Fürstenau - Es gibt zwischen den beiden Lösungen A/ B kein richtig/ falsch aber die Lösung B hat bei der graphischen Darstellung gewisse Vorteile (s.u.). - Das Kriterium kann (muss aber nicht) standardisiert/ zentriert werden. Wenn das Kriterium jedoch nicht standardisiert wird, dann werden die Aussagen über das Kriterium in dessen Orginaleinheit/ Orginalmetrik gemacht. - „0“ nimmt nach Standardisierung eine neue Bedeutung an und zwar bedeutet 0 dann „durchschnittlich“, dadurch erhalten wir bei der Signifikanztestung vollkommen neue p-Werte. Moderierte Regression mit zwei standardisierten Prädiktoren - Wenn wir die Regression mit standardisierten Prädiktoren durchführen, erhalten wir eine neue Regressionsgleichung mit standardisierten Koeffizienten: z(Y ̂ ) = beta0 + beta1 ⋅ z(X1) + beta2 ⋅ z(X2) + beta3 ⋅ z(X1) ⋅ z(X2) - Beim Auslesen aus den SPSS Outputs muss die Spalte der normalen Regressions- koeffizienten beachtet werden, nicht die standardisierten Parameter! Interpretation der Regressionsgewichte: (zuvorige Standardisierung von X1, X2 und Y): beta1 : Um wieviele Standardabweichungseinheiten (SDEs) ändert sich der vorhergesagte Kriteriumswert, wenn X1 um eine SDE zunimmt und X2 auf der Stufe 0 konstant gehalten wird (also durchschnittlich ausgeprägt ist). beta2 : Um wieviele SDEs ändert sich der vorhergesagte Kriteriumswert, wenn X2 um eine SDE zunimmt und X1 auf der Stufe 0 konstant gehalten wird (also durchschnittlich ausgeprägt ist). 39 von 133  Markus Fürstenau beta3 : Wert, um den sich der Effekt von X1 ändert, wenn X2 nicht mehr die Ausprägung 0 hat, sondern um eine SDE gestiegen ist (also überdurchschnittlich geworden ist). → Aquivalent: Wert, um den sich der Effekt von X2 ändert, wenn X1 nicht mehr die Ausprägung 0 hat, sondern um eine SDE gestiegen ist. Graphische Veranschaulichung Für die graphische Darstellung nutzen wir vier „fiktive“ Werte, die wir über die Regressionsglei- chung gewinnen. (a) Einen Wert, der in beiden Variablen unterdurch- z(Y ̂ ) = beta0 + beta1 ⋅ z(X1) + beta2 ⋅ z(X2) + beta3 ⋅ z(X1) ⋅ z(X2) schnittlich ist. (b) Einen Wert, der in X1 über- und in X2 unterdurchschnittlich ist. (c) Einen Wert der in X1 unter- und in X2 überdurchschnittlich ist. (d) Einen Wert, der in beiden Variablen überdurchschnittlich ist. Nach Konvention ist nach Standardisierung „+1“ über- und „-1“ un- terdurchschnittlich. Die Produktterme (e) erhalten wir wie gewohnt durch die Multiplikation der Ausprägung der Prädiktoren X1 und X2. Haben wir diese vier Konstellationen entworfen, können wir sie in eine gegebene Regressionsgleichung einsetzen, diese enthält die Regressionsparameter, die wir aus dem zuvor gerechneten Modell kennen. Die vier Datenpunkte, die wir daraus in (f) erhalten, können wir nun in einem Diagramm abtragen (siehe Beispiel Rechts). Erinnerung: Parallel verlaufende Li- nien = keine Moderation; nicht-paral- lele Linien = Moderation/ Interaktion. Warum nicht einfach eine Varianz- analyse (ANOVA)? (z.B. mit Hilfe eines „Mediansplits“ auf den Prädiktoren bzw. UVs)? - Das Kriterium für den cut-off (meist Mediansplit) ist willkürlich und nicht psychologisch-theoretisch begründet. 40 von 133  Markus Fürstenau - Der Median ist stichprobenabhängig. - Das Skalenniveau wird verringert. Dadurch verliert man wertvolle Informationen. - Deshalb sind moderierte Regressionen (meistens) teststärker als Varianzanalysen mit Mediansplits. - Es besteht die Gefahr, dass der „reale“ Effekt (bezogen auf die metrischen Prädiktoren) nicht angemessen abgebildet wird. - Wichtig: Das Regressionsgewicht der Produktvariable transpor- tiert nur dann den Interaktionseffekt, wenn seine konstituierenden Prädiktoren ebenfalls im Modell enthalten sind. Moderierte Regression mit zwei dichotomen Prädiktoren (unter Dummy-Kodierung) - D.h. wir haben zwei nominalskalierte Prädiktoren, mit jeweils zwei möglichen Ausprägungen (0,1) - Analysemöglichkeiten: Für eine Rekapitulation → 2 × 2 Varianzanalyse mit von Varianzanalysen siehe Skript für MP1b Inspektion des Interaktionseffekts → Moderierte Regression mit Inspektion des Slopes für den Produktterm – mit Dummy-Kodierung von X1 und X2 - Wir erhalten eine neue Regres- sionsgleichung (s. Rechts) mit neuen Variablen Di für Dummy - Die Auswertung von dummy & effektkodierten moderierten Re- gressionen erfolgt immer nach den drei Schritten nach Lemmer: 1. Aufstellen des Kodiersche- Kodierschema mas: 2. Aufstellen der Regressions- gleichung mit den dummyko- dierten Variablen (siehe Oben) 3. Vorhersage der Kriteriumswerte und die Interpretation der Regressionskoeffizienten (In diesem Fall wie Folgt): → b0 repräsentiert den Mittelwert bei D1 = 0 und D2 = 0 → b1 repräsentiert den einfachen Haupteffekt von D1 bei D2 = 0; also wie verändert sich der Gruppenmittelwert, 41 von 133  Markus Fürstenau wenn D1 von 0 zu 1 wechselt, wenn D2 auf der Stufe 0 fixiert bleibt → b2 ebenso wie b1, nur für D2, wenn D1 auf Stufe 0 bleibt → b3 repräsentiert den Interaktionseffekt D1 * D2: Wert, um den der Unterschied zwischen D1 = 0 und D1 = 1 bei D2 = 1 anders ist, als bei D2 = 0 1. Regressionsparameter: Intercept und Slopes (Interpretation siehe oben) – Dummykodierte Prädiktoren dürfen niemals standardisiert werden! 2. Inferenzstatistische Testung der bedingten Haupteffekte (Slopes von D1 und D2) und des Interaktionseffekts (Slope von D1 * D2) Moderierte Regression mit zwei dichotomen Prädiktoren (unter Effekt-Kodierung) - D.h. wir haben zwei nominalskalierte Prädiktoren, mit jeweils zwei möglichen Ausprägungen (+1, -1) - Das inferenzstat. Ergebnis für b3 (Moderation) ist identisch mit dem der bisherigen Kodierung und auch mit dem Interaktions- effekt bei der ANOVA. - Bei dieser Kodierung werden jedoch die „unbedingten Haupteffek- te“ von X1 und X2 überprüft, die diesbezüglichen Ergebnisse sind daher ebenfalls identisch mit denen der ANOVA. - Allerdings sind die Werte der Regressionsgewichte nun anders zu interpretieren und die Interpretation des Wertes von b3 ist nicht mehr so anschaulich. - Die Auswertung von dummy & effektkodierten moderierten Re- gressionen erfolgt immer nach den drei Schritten nach Lemmer: 1. Aufstellen des Kodierschema Kodierschemas: 42 von 133  Markus Fürstenau 2. Aufstellen der Regressions- Regressionsgleichung gleichung mit den dummyko- dierten Variablen (siehe Rechts) 3. Vorhersage der Kriteriumswerte und die Interpretation der Re- gressionskoeffizienten (In diesem Fall wie Folgt): → b0 : Gesamtmittelwert → b1 : Unterschied des empirischen Mittelwerts von E1 aggregiert über E2 zum Gesamtmittelwert ⇒ Unbedingter Haupteffekt → b2 : Unterschied des empirischen Mittelwerts von E2 aggregiert über E1 zum Gesamtmittelwert ⇒ Unbedingter Haupteffekt → b3 : Interaktion 1. Regressionsparameter: Intercept und Slopes (Interpretation siehe oben) – Effektkodierte Prädiktoren dürfen niemals standardisiert werden! 2. Inferenzstatistische Testung der unbedingten Haupteffekte (Slopes von E1 und E2) und des Interaktionseffekts (Slope von E1 * E2) Kodierung eines polytomen Prädiktors: Dummy-Kodierung Typen zulässiger Prädiktoren für eine Regressionsanalyse: a) Metrischer Prädiktor b) Dichotomer Prädiktor (dummy- oder effekt-kodiert) c) Polytomer Prädiktor (Nominalskalenniveau) mit ≥ 3 Kategorien ( c = Anzahl der Kategorien) - Ein polytomer Prädiktor muss vor der Aufnahme in die Kategorie in dichotome Kodiervariablen transformiert werden 43 von 133  Markus Fürstenau - Es gibt verschiedene Varianten der Kodierung; zentral sind: Dummy- und Effekt-Kodierung. Prinzip der Dummy-Kodierung: (1) Wähle eine der c Kategorien des Prädiktors als Referenzkategorie aus (Beispiel: Kontrollgruppe). (2) Bilde die erste Kodiervariable D1: Personen, die bspw. in einer bestimmten Treatmentkategorie sind, bekommen bei dieser Va- riable eine „1“ zugewiesen, bei allen anderen eine „0“. (3) Bilde die zweite Kodiervariable D2: Personen, die bspw. in einer anderen Treatmentgruppe sind, erhalten nun in dieser Variable eine „1“ zugewiesen, erneut bei allen anderen eine „0“. Hinweis: Eine Kodiervariable für die Referenzkategorie wird nicht benötigt, da die Zugehörigkeit zu dieser Kategorie aus einer „0" in beiden Kodiervariablen folgt. (4) Die beiden Kodiervariablen D1 und D2 werden als Prädiktoren in die multiple Regression aufgenommen. 44 von 133  Markus Fürstenau Kodierung eines polytomen Prädiktors: Dummy-Kodierung – Multiple Regression ohne Moderation - Die Auswertung erfolgt wieder nach den drei Schritten nach Lemmer 1. Schritt: Kodierschema aufstellen 2. Schritt: Regressionsgleichung aufstellen Y ̂ = b0 + b1 ⋅ D1 + b2 ⋅ D2 3. Vorhergesagte Kriteriumswerte (entsprechen den empirischen Gruppenmittelwerten) und Interpretation der Regressionskoeffi- zienten: → b0 : Repräsentiert den Mittelwert der Gruppe, die D1 = 0 und D2 = 0 hat → b1 : Repräsentiert den Mittelwertsunterschied zwischen Gruppe D! = 1 und D2 = 0 und Gruppe D1 = 0 und D2 = 0 → b2 : Repräsentiert den Mittelwertsunterschied zwischen Gruppe D1 = 0 und D2 = 1 und Gruppe D1 = 0 und D2 = 0 1. Regressionsparameter (Intercept und Slopes): Interpretation s.O. 2. Inferenzstatistische Testung der Mittelwertsunterschiede zu der Referenzgruppe D1 = 0 und D2 = 0 45 von 133  Markus Fürstenau Prinzip der Effekt-Kodierung 1. Wähle eine der c Kategorien des Prädiktors als Basiskategorie aus (Beispiel: Kontrollgruppe). 2. Bilde die erste Kodiervariable E1: Personen, die bspw. in einer bestimmten Treatmentkategorie sind, bekommen bei dieser Va- riable eine „+1“ zugewiesen, die Basiskategorie eine „-1“ bei al- len anderen eine „0“. 3. Bilde die zweite Kodiervariable E2: Personen, die bspw. in einer anderen Treatmentgruppe sind, erhalten nun in dieser Variable eine „+1“ zugewiesen, die Basiskategorie eine „-1“, erneut bei allen anderen eine „0“. Hinweis: Eine Kodiervariable für die Basiskategorie wird nicht benötigt, da die Zugehörigkeit zu dieser Kategorie aus einer „-1„ in beiden Kodiervariablen folgt. 4. Die beiden Kodiervariablen und werden als Prädiktoren in die multiple Regression aufgenommen. Kodierung eines polytomen Prädiktors: Effekt-Kodierung – Multiple Regression ohne Moderation Die Auswertung erfolgt wieder nach den drei Schritten nach Lemmer 1. Schritt: Kodierschema aufstellen 2. Regressionsgleichung aufstellen Y ̂ = b0 + b1 ⋅ E1 + b2 ⋅ E2 3. Vorhergesagte Kriteriumswerte (entsprechen den empirischen Gruppenmittelwerten) und Interpretation der Regressionskoeffi- zienten: → b0 : Repräsentiert den Gesamtmittelwert → b1 : Repräsentiert den Mittelwertsunterschied zwischen der Gruppe mit den Variablenausprägungen E1 = 1 und E2 = 0 und dem Gesamtmittelwert → b2 : Nur mit Vergleich von Gruppe E1 = 0 u. E2 = 1 mit Gesamtmittelwert Wichtig: Bei Effektkodierung wird die Basiskategorie (E1 = − 1 und E2 = − 1) nicht mit getestet! 46 von 133  Markus Fürstenau Dummy oder Effektkodierung? - In den meisten Fällen ist Dummy-Kodierung sinnvoller. Wenn es eine „Referenzkategorie“ gibt, gegen die wir testen wollen, dann immer Dummy-Kodierung nutzen. - Wenn es keine klare Referenzkategorie gibt, dann Effekt- Kodierung nutzen und für das Testen der Basiskategorie nochmal neu kodieren und eine andere Kombination zur Basiskategorie machen. Dummy- und Effekt-Kodierung bei moderierter Regression mit einem dichotomen und einem polytomen Prädiktor - Das System der Umkodie- rung lässt sich auf Varia- blen mit mehr Ausprägun- gen und auch auf Interak- tionen verallgemeinern - Ein exemplarisches Kodierschema stehts Rechts - Bei der Umsetzung der Regressionsparameter ist darauf zu ach- ten, dass gegebenenfalls mehr Produktterme gebildet werden müssen, um die Interaktionen der verschiedenen Variablen abzu- bilden Anmerkung: Ich halte das Subthema für nicht so wichtig und die Fo- lien adäquat zu transkribieren hätte hier Stunden gekostet. Das ist es glaube ich nicht wert, daher folgen hier nur die Folien dazu. 47 von 133  Markus Fürstenau Y D D D D D 48 von 133  Markus Fürstenau Y E E E E E 49 von 133  Markus Fürstenau Moderierte Regression mit mehreren Produktvariablen - Ein „Globaltest" der Interaktion (die sich aus den Gewichten der beiden Produktvariablen speist) ist möglich, indem eine hierarchi- sche Regression mit zwei Modellen gerechnet wird und das Inkrement in R2 durch die Aufnahme der Produktvariablen inspiziert wird. - Die beiden Kodiervarianten kommen diesbezüglich zum gleichen Ergebnis, das ebenfalls mit der zweifaktoriellen ANOVA übereinstimmt. 50 von 133  Markus Fürstenau Thema 3: Mehrebenen-Regression – Teil 2 Bisher behandeltes Modell - Ein Prädiktor X auf Level 1 → Es können auch mehrere Level-1-Prädiktoren simultan berücksichtigt werden - Zu schätzende Modellparameter: → fixed: Fixed Intercept und Fixed Slope → random: Varianz der Random Intercepts, Varianz der Random Slopes, Kovarianz zwischen Random Intercepts und Random Slopes, Varianz der Level-1- Residuen Erweiterung des Modells: - Warum variieren die Intercepts und Slopes der Level-2-Einheiten? - Level-2-Prädiktor Z: → Bildet ein Merkmal der Level-2-Einheiten ab. → Ausprägung variiert zwischen den Level-2-Einheiten, ist aber für die Level-1-Einheiten innerhalb einer Level-2- Einheit gleich. → Z ist metrisch oder dichotom (0,1); wenn Z polytom ist, Bildung von c − 1 Kodiervariablen - Idee: → Prüfen, ob Z einen Effekt auf den Fixed Intercept und/ oder den Fixed Slope hat und damit zumindest partiell aufklären kann, warum … … sich die spezifischen Intercepts unterscheiden (es also eine Varianz der Random Intercepts gibt) und/ oder … sich die spezfischen Slopes unterscheiden (es also eine Varianz der Random Slopes gibt). 67 von 133  Markus Fürstenau „Random Coefficients“-Modell mit L1-Prädiktor X, L2-Prädiktor Z und Cross-Level Interaktion X × Z Modellgleichungen/ Fixe Effekte (Interpretation + Auswirkung) Mehrebenen-Regression mit: Level-1-Prädiktor X (Altes Modell) Level-1-Modell: ymi : β0i + β1i ⋅ xmi + ϵmi Reminder: Level-2-Teilmodell: „intercept as outcome“-Modell „(…) as outcome“-Mo- β0i = γ00 + υ0i delle, sagen (…) vorher. → (Modellgleichung, denn der Random Intercept υ0i ist ein Level-2-Residuum) → υ0i ist die unerklärte Abweichung des gruppen- spezifischen Intercept vom durchschnittlichen Intercept β0î = γ00 Fixed Intercept und Fixed Slope → (Regressionsgleichung) dienen also als unsere Vorhersage Level-2-Teilmodell: „slope as outcome“-Modell für eine L2-Einheit β1i = γ10 + υ1i → (Modellgleichung, denn der Random Slope υ1i ist ein Level-2-Residuum) → υ1i ist die unerklärte Abweichung des gruppen- spezifischen Slope vom durchschnittlichen Slope β1î = γ10 → (Regressionsgleichung) Interpretationen: γ00 : Durchschnittlicher (vorhergesagter) Intercept aller Level-2-Einheiten: Gemittelt über die Intercepts aller Level-2-Einheiten gilt, wenn X = 0 ist, sagen wir für Y einen Wert von (…) vorher. γ10 : Durchschnittlicher (vorherges.) Slope aller Level-2-Einheiten: Gemittelt über die Slopes aller Level-2-Einheiten gilt, wenn X um eine Einheit steigt, steigt Y ̂ um (…) Einheiten an. 68 von 133  Markus Fürstenau Mehrebenen-Reg. mit: Level-1-Prädiktor X und Level-2-Prädiktor Z Level-1-Modell: ymi : β0i + β1i ⋅ xmi + ϵmi - Hier gibt es keine Veränderungen im Vergleich zum alten Modell. Wir sagen weiterhin den Wert einer Person (m) in einer bestimm- ten Level-2-Einheit vorher. Was ist neu bei diesem Modell? Level-2-Teilmodell: „intercept as outcome“-Modell Durch die Aufnahme β0i = γ00 + γ01 ⋅ zi + υ0i (Modellgleichung) eines L2-Prädiktors (gekennzeichnet β0î = γ00 + γ01 ⋅ zi (Regressionsgleichung) immer mit: Z) scheren wir nicht mehr alle L2- Level-2-Teilmodell: „slope as outcome“-Modell Einheiten über einen β1i = γ10 + γ11 ⋅ zi + υ1i (Modellgleichung) Kamm, sondern diffe- renzieren zwischen β1î = γ10 + γ11 ⋅ zi (Regressionsgleichung) verschiedenen L2- Einheiten in der Analyse. Auch hier enthaltene „Fixed Effects“ (mit modifizierter Interpretation): γ00 : Durchschnittlicher (vorhergesagter) Intercept bei zi = 0: Gemittelt über die Intercepts aller Level-2-Einheiten mit zi = 0 gilt, wenn X = 0 ist, dann sagen wir für Y einen Wert von (…) vorher. γ10 : Durchschnittlicher (vorhergesagter) Slope bei zi = 0: Gemittelt über die Slopes aller Level-2-Einheiten mit zi = 0 gilt, wenn X um eine Einheit ansteigt, steigt der vorhergesagte ̂ Y-Wert um (…) Einheiten an. Hinzukommende „Fixed Effects“: γ01 : Fester Effekt von Z auf die intercepts: Mit jeder Einheit, die Z ansteigt, ändert sich der durchschnitt- liche (vorhergesagte) Intercept um (γ01) Einheiten, d.h. es ̂ ändert sich der vorhergesagte Y-Wert bei xmi = 0 um (γ01) Einheiten. ⇒ Einfacher bzw. bedingter Haupteffekt von Z auf Y (Haupteffekt von Z auf Y, wenn xmi = 0) 69 von 133  Markus Fürstenau γ11 : Fester Effekt von Z auf die Slopes: Mit jeder Einheit, die Z ansteigt, ändert sich der durchschnitt- liche (vorhergesagte) Slope um (γ11) Einheiten, d.h. es ändert sich der Effekt von X auf Y um (γ11) Einheiten. ⇒ Cross-Level Interaktion X × Z auf Y: Wie moderiert Z den Einfluss, den X auf Y hat? Aussage CL-Interaktion: Wenn Z um eine Einheit ansteigt, dann verändert sich der Effekt von X auf Y um (…) Einheiten. Level-2-Teilmodell: „Intercept as Outcome“ – mit L2-Präd. Z Veränderungen und Vorteile - Durch das neue Modell erhalten wir eine bessere Vorhersage, wenn Z wichtig ist. Z ist wichtig, wenn es von Null verschieden ist. - Weil die Vorhersage (β ̂ = γ + γ ⋅ z ) besser ist, erhalten wir 0i 00 01 i kleinere Random Intercepts (υ0i) und in logischer Konsequenz auch eine kleinere Varianz der Random Intercepts (συ20i), stets unter der Bedingung, dass Z wichtig ist. - Bedeutung der Varianz συ20i im alten Modell: wie unterscheiden sich die Random Intercepts generell unerklärt? - Bedeutung der Varianz συ20i im neuen Modell: wie unterscheiden sich die Random Intercepts unerklärt innerhalb der Stufen von Z? Denn die Varianz zwischen den Stufen von Z konnten wir erklären (wenn Z wichtig ist), darum bleibt nurnoch die Varianz innerhalb der Stufen von Z unerklärt. Level-2-Teilmodell: „Slope as Outcome“ – mit L2-Präd. Z Veränderungen und Vorteile - Insgesamt erhalten wir eine bessere Vorhersage durch ̂ = γ + γ ⋅ z ). Wir sagen Slopes voraus unter der Bedin- (β1i 10 11 i gung von Z auf einer bestimmten Stufe. Die Vorhersage erfolgt also nur innerhalb der Stufen von Z. - Dadurch werden die Random Slopes (υ1i) kleiner und in logischer Konsequenz auch die Varianz der Random Slopes (συ21i). 70 von 133  Markus Fürstenau - Bedeutung der Varianz συ21i im alten Modell: wie unterscheiden sich die Random Slopes generell unerklärt? - Bedeutung der Varianz συ21i im neuen Modell: wie unterscheiden sich die Random Slopes unerklärt innerhalb der Stufen von Z? Denn die Varianz zwischen den Stufen von Z konnten wir erklären (wenn Z wichtig ist), darum bleibt nurnoch die Varianz innerhalb der Stufen von Z unerklärt. Modellgleichungen Level-1-Modell: ymi : β0i + β1i ⋅ xmi + ϵmi Level-2-Modell: β0i = γ00 + γ01 ⋅ zi + υ0i („intercept as outcome“-Modell) β̂ = γ + γ ⋅ z 0i 00 01 i (Regression) β1i = γ10 + γ11 ⋅ zi + υ1i („slope as outcome“-Modell) β1î = γ10 + γ11 ⋅ zi (Regression) Gesamtmodell: - Dieses Gesamtmodell zeigt also insgesamt 7 Effekte auf. - Es muss aber weiterhin unterschieden werden zwischen der Ebene der Effekte (hier 7) und der Ebene der Modellparameter (hier 8, siehe gleich). 71 von 133  Markus Fürstenau Random Effects und ihre Varianzen 1. Random Intercepts (υ0i): jeweilige Abweichung des spezifischen intercepts einer L2-Einheit i von ihrem vorhergesagten Intercept. → υ0i = β0i − β0î → β0î = γ00 + γ01 ⋅ zi → Die Varianz der Random Intercepts (συ20) zeigt an, in welchem Ausmaß sich die Intercepts der L2-Einheiten unerklärt (Annahme: unsystematisch) unterscheiden. 2. Random Slopes (υ1i): jeweilige Abweichung des spezifischen Slopes einer Level-2-Einheit i von ihrem vorhergesagten Slope. → υ1i = β1i − β1î → β1î = γ10 + γ11 ⋅ zi → Die Varianz der Random Slopes (συ21) zeigt an, in welchem Ausmaß sich die Slopes der Level-2-Einheiten unerklärt (Annahme: unsystematisch) unterscheiden. 3. Level-1-Residuen (ϵmi): jeweilige Abweichung des spezifischen Kriteriumwertes ymi einer Person m einer Level-2-Einheit i von ̂. ihrem vorhergesagten Wert ymi → ̂ ϵmi = ymi − ymi → Die Varianz der Level-1-Residuen (σϵ2) zeigt an, in welchem Ausmaß sich die Residuen der Personen innerhalb der Level-2-Einheiten unterscheiden. Zu schätzende Modellparameter, ihre Interpretation und die Zuordnung in SPSS Outputs - Die Schätzung der Modellparameter kann nicht wie bei der „gewöhnlichen“ Regression nach OLS (ordinary least squares) erfolgen – so haben wir es hier bisher vereinfachend angenom- men, sondern muss iterativ erfolgen (z.B. nach der Maximum Likelihood Methode). - Modell: Random Coefficients; L1- Prädiktor X; L2-Prädiktor Z; CL-Interaktion X × Z - Bei diesem Modell müssen insgesamt 8 Modellparameter geschätzt werden. 72 von 133  Markus Fürstenau - Im fixen Teil: 4 Parameter Bei der Interpretation ̂ ): Gemittelt über die Intercepts aller Level-2- 1. Fixed Intercept (γ00 wiederholen sich hauptsächlich Dinge, Einheiten mit gilt, wenn ist, dann sagen wir für einen Wert von die oben bereits ge- nannt wurden. Nicht (…) vorher. wundern … versteht ̂ ): Gemittelt über die Slopes aller Level-2-Einhei- 2. Fixed Slope (γ10 es als Zusammenfas- sung. ten gilt, wenn um eine Einheit steigt, steigt um (…) Einheiten an. ̂ ): Mit jeder Einheit, die 3. Fixed Effect von Z auf die Intercepts (γ01 Z ansteigt, ändert sich der durchschnittliche (vorhergesagte) Intercept um (γ01) Einheiten, d.h. es ändert sich der ̂ vorhergesagte Y-Wert bei xmi = 0 um (γ01) Einheiten. ̂ ): Wenn Z 4. Fixed Effect von Z auf die Slopes [CL-Interaktion] (γ11 um eine Einheit ansteigt, dann verändert sich der Effekt von X auf Y um (…) Einheiten. - Im zufälligen Teil: 4 Parameter („Random Coefficients“) 1. Die Varianz der Random Intercepts (σ ̂ 2υ0): Zeigt an, in welchem Ausmaß sich die Intercepts der L2-Einheiten unerklärt (Annahme: unsystematisch) unterscheiden. 2. Die Varianz der Random Slopes (σ ̂ 2υ1): Zeigt an, in welchem Ausmaß sich die Slopes der Level-2-Einheiten unerklärt (Annahme: unsystematisch) unterscheiden. 3. Die Kovarianz zwischen υ0 und υ1 (συ̂ 0,υ1): Zeigt die Gemeinsamkeiten zwischen Random Intercepts und Random Slopes an, für mehr Details siehe Seite 63 f. 4. Die Varianz der Level-1-Residuen (σ ̂ 2ϵ ) zeigt an, in welchem Ausmaß sich die Residuen der Personen innerhalb der L2-Ein- heiten unterscheiden. → Bedeutet hier nur, dass es in unserem Modell Vorhersagefehler gibt 73 von 133  Markus Fürstenau Parameterschätzung Verfahren - Die Parameterschätzer werden nicht (wie bei der gewöhnlichen Regression) nach dem „Kleinste-Quadrate-Kriterium“ („OLS – ordinary least squares“) berechnet. - Es findet eine iterative Schätzung der Parameter nach der Maximum Likelihood Methode (ML-Methode) statt. - Das bedeutet: Unter der Vorgabe des spezifizierten Modells (z.B. das gerade behandelte Modell) werden die Parameter in einer schrittweisen Anäherung so geschätzt, dass die Likelihood- Funktion maximal ist. - Likelihood-Funktion (kurz: Likelihood): gibt an, wie wahrscheinlich es ist, die beobachteten Daten zu erhalten, wenn auf der Populationsebene die geschätzten Parameter gelten würden. Prinzip: iterative Schätzung („schrittweise Annäherung“) - Schritt 1: Einsetzen von Startwerten für die Modellparameter und Bestimmung der Likelihood - Die folgenden Schritte: sequentielle Veränderung der Parameter- schätzungen zur Maximierung der Likelihood und Inspektion des Anstiegs der Likelihood - Abbruch des Verfahrens wenn die Veränderung einen spezifizier- ten kritischen Wert unterschreitet (Konvergenz der Schätzung); Annahme der entsprechenden Werte als Parameterschätzer. 74 von 133  Markus Fürstenau Verfahren a) FIML (FML) – Full (Information) Maximum Likelihood: → Simultane Schätzung der festen und zufälligen Modellparameter b) REML (RML) – Restricted Maximum Likelihood: → Zunächst Schätzung der zufälligen Modellparameter (also der Varianzen und Kovarianzen), dann der festen Modellparameter Vergleich - Beide Verfahren können zu ähnlichen Schätzungen für die festen - RML führt im allge- meinen zu belastba- Modellparameter, aber unter Umständen zu unterschiedlichen reren Effekten. Wenn Schätzungen für die zufälligen Modellparameter führen also nur ein Modell gerechnet wird - REML-Verfahren: immer RML nutzen → Generiert robustere Schätzungen - Wenn wir zwischen Modellen verglei- → Vergleich zwischen Modellen jedoch nur möglich, wenn chen möchten und in sich die Modelle nur hinsichtlich der zufälligen den Modellen gibt es verschiedene fixed Parameter unterscheiden effects, dann FML - FIML-Verfahren: nutzen. → Vergleich zwischen Modellen möglich, wenn sich die Modelle hinsichtlich der festen und/ oder zufälligen Parameter unterscheiden Modellpassung und Modellvergleiche - Devianz (a) → in der Tabelle rechts) („measure of model misfit“): Maß für die Passung des Modells auf die Daten (Modellpassung): ln = Dev