M1.2 Explorative Datenanalyse (EDA) Grundlagen

Einführung in die explorative Datenanalyse

• Explorative Datenanalyse (EDA) enthüllt versteckte Strukturen und Zusammenhänge in großen und komplexen Datensätzen.
• EDA kann auf diverse Datensätze angewendet werden, z. B. unternehmensrelevante Daten und historische Daten wie die Titanic-Passagierdaten.
• Visualisierung der Daten hilft, Muster und Auffälligkeiten zu erkennen.

Ziele der explorativen Datenanalyse

• EDA unterstützt Unternehmen und Data Analysts beim Erkennen wichtiger Zusammenhänge in großen Datenmengen.
• Unsichtbares wird sichtbar gemacht und Hypothesen für tiefere Analysen entwickelt.
• Die Visualisierung von Daten vereinfacht die Identifikation von Mustern und Korrelationen.

Daten identifizieren und statistisch zusammenfassen

• Zunächst müssen Variablen und Datentypen klar strukturiert und klassifiziert werden.
• Wichtige Kennzahlen wie Mittelwerte und Verteilung von Ticketpreisen werden zusammengefasst.

Grafische Analyse: Daten sichtbar machen

• Grafische Darstellungen, wie Histogramme und Kastengrafiken, sind essenziell, um komplexe Daten verständlich zu machen.
• Histogramme können die Altersverteilung der Titanic-Passagiere illustrieren, was Schwerpunkte in den Daten verdeutlicht.

Umgang mit Ausreißern und fehlenden Werten

• Ausreißer können auf außergewöhnliche Ereignisse hinweisen oder Datenfehler darstellen (z. B. falsches Alter von 224 Jahren).
• Es ist wichtig, zwischen echten Ausreißern und systematischen Fehlern zu unterscheiden. Auch fehlende Werte können nützliche Informationen liefern.

Korrelationen verstehen: Wie hängen Daten zusammen?

• Korrelation misst den Zusammenhang zwischen zwei Variablen, z. B. zwischen Ticketpreis und Überlebenswahrscheinlichkeit.
• Vorsicht vor Verwechslung von Korrelation und Kausalität; sie sind nicht dasselbe (z. B. Ticketpreis nicht allein entscheidend für Überleben).

Fazit

• EDA ist ein essentielles Werkzeug zur Entdeckung versteckter Zusammenhänge in Daten.
• Sie ermöglicht das Verständnis von Daten, die Entwicklung von Hypothesen und die Schaffung wichtiger Entscheidungsgrundlagen.

Daten verarbeiten aus unterschiedlichen Quellen

• Verknüpfung und Transformation von Datentypen sind notwendig, um verschiedene Tabellen korrekt zu kombinieren.
• Verbindungselemente sind entscheidend, um Informationen aus verschiedenen Tabellen zusammenzuführen.

Union und Intersection: Strategien zum Zusammenführen von Daten

• Union-Modus übernimmt alle Attribute, kann jedoch zu fehlenden Werten und Duplikaten führen.
• Intersection konzentriert sich nur auf gemeinsame Attribute, passend zur Analyseanforderung.

Tabellen horizontal erweitern: Der Join

• Joins integrieren Daten aus Nebentabellen in eine führende Tabelle; verschiedene Join-Arten sorgen für unterschiedliche Ergebnisse.
• Full Outer Join vermeidet Datenverluste, während Left Outer Join die Haupttabelle fokussiert.

Daten bearbeiten und transformieren: Warum der richtige Datentyp entscheidend ist

• Der Datentyp bestimmt die Struktur und Verarbeitung von Daten und vermeidet Verwirrung (z. B. bei zweistelligen Jahreszahlen).
• Ein passender Datentyp gewährleistet die effiziente Verarbeitung und vermeidet Informationsverluste.

Besondere Datentypen: Datum und Zeit

• Datums- und Zeitangaben können in verschiedenen Formaten und Berechnungslogiken problematisch sein.
• Um präzise Berechnungen durchzuführen, ist es oft erforderlich, Datum und Zeit in Zahlen oder Zeichen zu konvertieren.

Typenkonvertierung und Wertetransformation

• Typenkonvertierung passt den Datentyp eines Attributs an, während Wertetransformation Werte basierend auf Formeln verändert.
• Unterschiedliche Transformationen sind nötig, abhängig vom Datentyp (Zahlen oder Zeichen).

Tabellentransformation: Sortieren, Filtern und Aggregieren

• Vor der Analyse muss ein Datensatz sortiert, gefiltert oder aggregiert werden, um Übersichtlichkeit zu schaffen.
• Sortieren optimiert die Datenstruktur, Filtern entfernt irrelevante Daten, und Aggregieren fasst Daten zusammen, um Mittelwerte oder Summen zu berechnen.

In diesem Quiz erforschen wir die Grundlagen der explorativen Datenanalyse (EDA). Lernen Sie, wie EDA hilft, verborgene Strukturen und Zusammenhänge in großen Datensätzen zu entdecken. Anhand von Beispielen, wie den Titanic-Passagierdaten, erfahren Sie, wie Daten visualisiert und analysiert werden können.