Korrelation und Regression

Korrelation und Regression

• Korrelation ist ein statistisches Maß, das das Ausmaß des linearen Zusammenhangs zwischen zwei Variablen ausdrückt, d.h., wie stark sie sich gemeinsam verändern.
• Der Korrelationskoeffizient, bezeichnet mit $r$, misst die Stärke und Richtung einer linearen Beziehung zwischen zwei Variablen.
• Die Werte liegen zwischen -1 und +1, einschließlich dieser Grenzen.
• $r = +1$: perfekte positive Korrelation
• $r = -1$: perfekte negative Korrelation
• $r = 0$: keine Korrelation
• Regressionsanalyse ist ein statistischer Prozess zur Schätzung der Beziehungen zwischen Variablen.

Einfaches lineares Regressionsmodell

• Das Modell wird wie folgt dargestellt: $y_i = \beta_0 + \beta_1 x_i + \varepsilon_i$
• $y_i$ ist die abhängige Variable.
• $x_i$ ist die unabhängige Variable.
• $\beta_0$ ist der Achsenabschnitt.
• $\beta_1$ ist die Steigung.
• $\varepsilon_i$ ist der Fehlerterm.

Ordinary Least Squares (OLS) Schätzung

• Die OLS-Methode wird verwendet, um die Parameter $\beta_0$ und $\beta_1$ zu schätzen, indem die Summe der Quadrate der Differenzen zwischen den beobachteten und vorhergesagten Werten minimiert wird.
• Die Minimierung erfolgt so: $\mathop{min} \sum_{i=1}^{n} \varepsilon_i^2 = \mathop{min} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2$
• $\hat{y}_i = \hat{\beta}_0 + \hat{\beta}_1 x_i$ ist der vorhergesagte Wert.
• $\hat{\beta}_0$ und $\hat{\beta}_1$ sind die OLS-Schätzer.

Wichtige Formeln

• Geschätzte Steigung: $\hat{\beta}1 = \frac{\sum{i=1}^{n} (x_i - \bar{x})(y_i - \bar{y})}{\sum_{i=1}^{n} (x_i - \bar{x})^2}$
• Geschätzter Achsenabschnitt: $\hat{\beta}_0 = \bar{y} - \hat{\beta}_1 \bar{x}$

Güte der Anpassung

• Bestimmtheitsmaß ($R^2$):
  • $R^2 = \frac{ESS}{TSS} = 1 - \frac{RSS}{TSS}$
  • ESS (Explained Sum of Squares) = erklärte Quadratsumme
  • TSS (Total Sum of Squares) = totale Quadratsumme
  • RSS (Residual Sum of Squares) = Residuenquadratsumme
• $R^2$ stellt den Anteil der Varianz der abhängigen Variablen dar, der durch die unabhängige(n) Variable(n) vorhersagbar ist.

Annahmen von OLS

• Der Fehlerterm hat einen Populationsmittelwert von Null.
• Die unabhängigen Variablen sind nicht mit dem Fehlerterm korreliert.
• Der Fehlerterm hat eine konstante Varianz (Homoskedastizität).
• Der Fehlerterm ist nicht über Beobachtungen hinweg korreliert.
• Der Fehlerterm ist normalverteilt.

Hypothesentest

• Nullhypothese: $H_0: \beta_1 = 0$ (keine signifikante Beziehung)
• Alternative Hypothese: $H_1: \beta_1 \neq 0$ (signifikante Beziehung)
• Teststatistik (t-Statistik): $t = \frac{\hat{\beta}_1 - 0}{SE(\hat{\beta}_1)}$
• $SE(\hat{\beta}_1)$ ist der Standardfehler von $\hat{\beta}_1$
• Entscheidungsregel: Ablehnung von $H_0$, wenn $|t| > t_{\alpha/2, n-2}$ oder wenn p-Wert $< \alpha$

Mögliche Probleme

• Multikollinearität: Hohe Korrelation zwischen unabhängigen Variablen.
• Heteroskedastizität: Nicht-konstante Varianz des Fehlerterms.
• Autokorrelation: Korrelation von Fehlertermen über Beobachtungen hinweg.

Diagramme

• Streudiagramm: Eine Grafik, in der die Werte zweier Variablen entlang zweier Achsen aufgetragen werden, wobei das Muster der resultierenden Punkte jede vorhandene Korrelation aufzeigt.
• Regressionsgerade: Eine Linie der besten Anpassung, die die Beziehung zwischen zwei Variablen zeigt.