Data Science Foliensatz 7

• Die Vorlesung behandelt Datentechniken und wird von Prof. Dr. Marius Wehner gehalten.
• Die Vorlesung findet am Lehrstuhl für BWL, insb. Digital Management & Digital Work statt.

Lernziele

• Verschiedene Ansätze der deskriptiven Analyse lassen sich erklären und anwenden.
• Der Unterschied zwischen univariater und bivariater Analyse wird erklärt und angewendet.
• Mögliche Transformationen von Variablen können beschrieben werden.
• Der Unterschied zwischen univariater und multipler linearer Regression lässt sich erläutern.
• Der Output einer Regressionsanalyse kann erzeugt und erklärt werden.

Explorative Datenanalyse

• Umfasst Handlungen zum Erforschen, Verstehen und Beschreiben eines Datensatzes.
• Datenvisualisierung ist ein wichtiges Werkzeug (Histogramme, Balkendiagramme, Boxplots, Streudiagramme).
• Deskriptive Statistiken beschreiben die Daten, z. B. Anzahl/Häufigkeiten von Werten.
• Berechnung von Statistiken beschreibt Variablen und ihre Zusammenhänge (Mittelwert, Median, Standardabweichung, Korrelation).

Ziele der explorativen Datenanalyse

• Datenbereinigung erkennt Fehler in Datensätzen.
• Eine weitere Funktion ist es die Stichprobe zu verstehen, z.B. Durchschnittseinkommen oder Geschlechterverteilung.
• Populationsparameter werden geschätzt aus Stichprobenstatistiken.
• Stichprobenstatistiken werden in der Regel mit lateinischen Buchstaben (x, s, s², r, B) angegeben.
• Populationsparameter werden mit griechischen Buchstaben (μ, σ, σ², ρ, β) symbolisiert.
• Beispiel: Mittelwert einer Stichprobe von 300 Studenten in Intelligenz ist x̄ = 105.
• Die Frage ist, was der beste Schätzwert für die Population aller Studenten ist.

Klassen von Prozeduren

• Neben Visualisierung und deskriptiver Statistik unterscheidet man:
• Fokus auf EINE Variable (univariat) vs. Fokus auf ZWEI Variablen (bivariat).
• Univariate deskriptive Statistik umfasst Häufigkeiten, Min/Max, Mittelwert/Median, Standardabweichung/Varianz.
• Bivariate Statistik analysiert Anzahl Kombinationen (Kreuztabellen) und Zusammenhänge (Korrelationen, Kovarianz).
• Univariate Visualisierung umfasst Histogramme, Balkendiagramme, Boxplots, Liniendiagramme.
• Bivariate Visualisierung umfasst Streudiagramme (zwei quantitative Variablen) und Balken- sowie Boxplots (zwischen Gruppen).

Häufigkeiten

• Häufigkeiten sind der erste Schritt in jeder Datenanalyse und zeigen die Verteilung der Werte.
• Sie sind nützlich zum Kennenlernen der Daten und zur Datenbereinigung.
• Nur sinnvoll bei einer moderaten Anzahl von Werten
• Alternativ: Histogramm/Barplot/Boxplot
• Beispiel: Antworten auf die Frage "Einsatz von externen Dienstleistern zum Personalabbau" auf einer Skala von 0 bis 4.

Häufigkeitsverteilung: Normalverteilung

• Im Idealfall sind die Daten symmetrisch um den Mittelpunkt aller Werte verteilt.
• Bei einer Normalverteilung ist die Schiefe = 0 und die Kurtosis =3.
• Arithmetisches Mittel ≈ Median ≈ Modus (Fechnersche Lageregel).

Häufigkeitsverteilung: Schiefe

• Charakteristisch ist die fehlende Symmetrie, welche zu nicht-normalverteilten Residuen führen kann.
• Ein Indikator für nicht-lineare Beziehungen ist die fehlende Symmetrie.
• Die Pearson'sche Schiefe berechnet sich aus (X̄ - Modus) / SD.
• Positiv (Rechtschiefe): Verteilung nach rechts verzerrt, Modus < Median < arithm. Mittel.
• Negativ (Linksschiefe): Verteilung nach links verzerrt, arithm. Mittel < Median < Modus.
• Bei einer extrem schiefen Verteilung stellt sich die Frage, welchen Schätzwert man bevorzugen sollte.

Häufigkeitsverteilung: Kurtosis

• Fokus liegt auf der "Wölbung" der Verteilung, der Spannweite der Variablen, und dem Ausmaß der Unterschiede innerhalb der Verteilung.
• Zusätzlich wird die Reichweite (Abstand von Minimum und Maximum) betrachtet.
• Flach= Platykurtische Verteilung („Platy" ≈ breit)
• Steil = Leptokurtische Verteilung („Lepto" ≈ dünn)

Maß der Zentralität: Median

• Bei ungerader Anzahl ist der Median der mittlere Wert eines sortierten Datensatzes.
• Bei gerader Anzahl ist der Median der Mittelwert der zwei mittleren Werte eines sortierten Datensatzes.

Univariate Analyse: Grafische Illustration

• Häufigkeiten und Boxplots visualisieren numerische Daten und decken Datenverteilungen bzw. Ausreißer auf.
• Boxplots zeigen Interquartilsabstand (50% der Fälle), Median sowie obere/untere Quartile.
• Ausreißer liegen außerhalb des 1.5-fachen Interquartilsabstands.

Bivariate Analyse: Kreuztabelle

• Ziel ist es, Beziehungen zwischen zwei qualitativen/kategorialen Variablen zu untersuchen.
• Kreuztabellen bilden die Kreuzung von zwei Variablen ab (z.B. Anzahl Stockwerke und Schlafzimmer).

Bivariate Analyse: Vergleiche von Verteilungen zwischen Gruppe

• Ziel: Unterscheidet sich die Verteilung / Form / Lage/ Varianz zwischen verschiedenen Gruppen?
• Beispiel: Vergleich von Kundenaggressionen zwischen männlichen und weiblichen Servicekräften.
• Männer haben tendenziell ein etwas höheres Niveau der wahrgenommenen Kundenaggression als Frauen.
• Die Verwendung von Boxplots ist nur ein Beispiel, prinzipiell können alle Darstellungsarten verwendet werden.

Bivariate Analysen: Mittelwertunterschiede

• Mittelwertunterschied zwischen Geschlecht und Kundenaggression.
• Die Differenz der Stichprobenmittelwerte ist nur ein Punktwert.
• Ein statistischer Unterschiedstest (t-Test) wird angewendet um zu prüfen, ob das Ergebnis zufällig ist.
• Beispiel: X̄male - X̄female = 0.14, p = 0.27 (→ nicht signifikant von Null verschieden).

Bivariate Analysen: Korrelationen und Streudiagramme

• Grad der linearen Zusammenhänge zwischen intervallskalierten Variablen.
• Positive Korrelation: Ein hohes X steht im Zusammenhang mit einem hohen Y.
• Negative Korrelation: Ein hohes X steht im Zusammenhang mit einem niedrigen Y.
• Streudiagramme geben Auskunft über Stärke der Beziehung, Vorhandensein von Ausreißern, Moderatoren und Potenzielle Nicht-Linearität.

Transformationen

• Metriken von Variablen können in eine andere Metrik übertragen werden (z. B. Xneu = X + 5).
• Eine wichtige Klasse sind Normalisierungen wie Zentrierung (Xc = Xi – X) bzw Standardisierung Xs = Xi-X/SX.
• Der neue Mittelwert ist dann 0 ; Metrik /Intervalle bleiben gleich
• Durch Standardisierung ist die Standardabweichung = 1. wird häufig auch als z Transformations bezeichnet.
• Bekannte Transformationen sind x²; √X; In X; Winsorizing

Verteilungen und Hypothesentests

• Oft müssen verschiedene Verteilungen miteinander verglichen werden, um Erkenntnisse abzuleiten.
• Hypothesentest Schritt 1: Formulierung einer Hypothese, um Annahmen auszudrücken und testbar zu machen.
• Die Standardannahme/ das Standardwissen = Nullhypothese.
• Das Gegenteil der Nullhypothese = Alternativhypothese.
• Hypothesentest Schritt 2: Durchführung statistischer Tests, um die Nullhypothese zu widerlegen.
• Wahrscheinlichkeitswert (p-Wert) wird mit einem Signifikanzniveau verglichen.
• Generelle Übereinkunft: Wenn die gefundene α-Fehler-Wahrscheinlichkeit kleiner als 5% ist (p < 0.05), wird von einem statistisch signifikanten Ergebnis gesprochen.

Chi-Quadrat Unabhängigkeitstest

• Chi-Quadrat-Test (χ²) prüft die Beziehung zwischen Anzahl der Stockwerke und Schlafzimmer.
• Ho: Die Verteilung zweier kategorialer/nominaler Variablen ist unabhängig voneinander.
• H₁: Die Verteilung zweier kategorialer/nominaler Variablen ist abhängig voneinander.
• Geprüft wird die tatsächliche und die erwartete Verteilung
• Es wird ein X² Test berechnet.

Aufbau einer linearen Regression

• y = β0 + β1 * x1 + ε
• y ist die abhängige Variable, die durch x (unabhängige Variable) vorhergesagt werden soll.
• Beispiel: Klausurnote ist abhängig von der Anzahl der Lernstunden pro Woche.
• Klausurnote = y
• Lernstunden = x
• Β0 = Schnittpunkt der Geraden mit der Y-Achse.
• B₁ = Steigung der Geraden, Regressionskoeffizient.
• ε = Störterm/Fehlerterm.

Lineare Regression

• Am häufigsten genutzt in der Datenanalyse.
• Nimmt eine lineare Beziehung an.
• Beispiel: Klausurnote = B0 + B1 * Lernstunden.

Beispiel: Housing_Data

• Lineare Regression zwischen Stockwerken und dem Preis
• Y = Preis in €
• X = Stockwerke (Anzahl)
• Ergebnis: Y-Achsenabschnitt: 2.849.289,76
• Koeffizient: 835.747,84
• R^2= 0.1839

Beispiel: Housing_Data

• Lineare Regression zwischen der Fläche der Häuser (in qm2) und dem Preis in €
• Y = Preis in €
• X = Fläche in qm2
• Ergebnis: Y-Achsenabschnitt: 2.257.653,21 -Koeffizient: 4.395,85 -R^2= 0.2736

Regression: Multiple lineare Regression

• Nimmt eine Beziehung zwischen mehreren unabhängigen Variablen und einer abhägien Variable an
• Bsp. die die Lernstunden und die Anzahl der Tutoriumsbesuche, haben einfluss auf die Klausur note
• Klausurnote = Bo + B₁ * Lernstunden + B2 * Tutoriumsbesuche
• Es werden mehrere unabhängige Variablen genutzt
  • x₁= Lernstunden pro Woche
  • x2= Tutoriumsbesuche