Data Science - Foliensatz 6

Lernziele der Datenvorverarbeitung

• Nach Abschluss dieses Kapitels sollen die einzelnen Schritte innerhalb der Vorverarbeitung von Daten beschrieben und erklärt werden können.
• Das Ziel ist zu erklären, wie ein Datensatz bereinigt, transformiert und reduziert werden kann.
• Es soll der Unterschied zwischen einer univariaten und bivariaten deskriptiven Analyse erklärt und angewendet werden.

Übersicht über die Datenvorverarbeitung

• Die Datenvorverarbeitung umfasst die Bereinigung, Integration, Transformation und Reduktion von Daten.
• Datenbereinigung: Fehlerhafte oder fehlende Daten werden korrigiert oder entfernt.
• Datenintegration: Daten aus verschiedenen Quellen werden zusammengeführt.
• Datentransformation: Daten werden in ein geeignetes Format gebracht.
• Datenreduktion: Die Datenmenge wird reduziert, ohne wesentliche Informationen zu verlieren.

Datenbereinigung

• Daten sind in der Realität oft unsauber oder verrauscht und müssen daher bereinigt werden.
• Unvollständigkeit, Verzerrungen und Inkonsistenzen sind Indikatoren für notwendige Datenbereinigung.
• Unvollständigkeit: Fehlende Attributwerte.
• Verzerrungen: Fehler oder Ausreißer, die Ergebnisse verzerren koennen
• Inkonsistenzen: Fehler in Eingabefeldern, z.B. Text statt Zahlen.

Bias in Daten

• Bias in Daten entsteht durch Fehler oder fehlende Werte, wie beim unausgeglichenen Datensatz einer Gesichtserkennungs-Software..
• Ein unausgeglichener Datensatz kann die Ergebnisse verzerren und zu Über- oder Unterschätzung führen.

Aufbereitung und Vorverarbeitung von Daten

• Daten können aus verschiedenen Gründen fehlerhaft sein, daher gibt es verschiedene Wege zur Aufbereitung (Data Pre-Processing).
• Ziel ist es, qualitativ hochwertige Daten zu erhalten, die weiterverarbeitet werden können.
• Die wichtigsten Formen der Datenaufbereitung sind Data Cleaning, Datenintegration, Datentransformation und Datenreduktion.

Data Wrangling

• Data Wrangling (oder Munging) ist die Umwandlung von Rohdaten in eine gewünschte oder einfachere Form.
• Data Wrangling kann manuell, automatisch oder halbautomatisch erfolgen.
• Data Engineers arbeiten oft mit Data Wrangling.
• Ein Beispiel für Data Wrangling ist die Umwandlung eines Rezepts in eine Tabelle.

Umgang mit fehlenden Daten

• Fehlende Daten können aus verschiedenen Gründen entstehen.
• Es gibt keine einheitliche Lösung für den Umgang mit fehlenden Daten, die Strategie hängt von der jeweiligen Situation ab.
• Häufige Gründe sind Probleme bei der Datenerhebung, System- oder menschliche Fehler bei der Speicherung oder Übertragung.
• Strategien zur Behandlung fehlender Daten sind u.a. das Ignorieren des Datensatzes, die Verwendung einer globalen Konstante, Schätzung oder Inferenzbasierte Lösungen.

Umgang mit falschen oder extremen Daten

• Daten können nicht nur fehlen, sondern auch falsch sein oder Extremwerte annehmen, beispielsweise durch fehlerhafte Datenerfassung.
• Auch hierfür keine einheitliche Lösung, jedoch einige Schritte, die helfen können:
• Ausreißer identifizieren und Plausibilität bewerten (erst danach ggf. ausschließen)
• Konsistenzprobleme direkt bei der Datensammlung ausschließen
• Anwenden von weiteren Techniken (z. B. Transformation)
• Ziel: Datenqualität verbessern und Fälle erhalten, um bessere bzw. genauere Analysen zu ermöglichen.

Integration von Daten

• Daten aus verschiedenen Quellen müssen integriert werden, um effektive Datenanalysen zu ermöglichen.
• Die Integration mehrerer Datenbanken oder Dateien erfolgt in mehreren Schritten: Kombination der Daten, Schema-Integration und Identifizierung von Datenwertkonflikten.

Transformation von Daten

• Daten müssen ggf. transformiert werden, um konsistent und/oder lesbar für ein System zu sein.
• Beispiele für die Transformation von Daten sind Glättung, Aggregation, Normalisierung und Neukonstruktion.
• Glättung: Entfernen von Ausreißern und "Noise".
• Aggregation: Zusammenfassen von Daten.
• Normalisierung: Ändern der Skalierung von Attributen und Variablen.
• Neukonstruktion: Erstellen von neuen Attributen aus gegebenen Merkmalen.

Transformation von Datenprozessen

• Der Prozess der Datenentstehung muss verstanden und der Informationsbedarf für die Untersuchungsfrage muss vorab geklärt werden.
• Drei grundsätzliche Arten von Attributen sind nominal, ordinal und kontinuierlich/absolut.
• Nominal: Werte aus einer ungeordneten Menge. Ordinal: Werte aus einer geordneten Menge
• Kontinuierlich/Absolut: Reelle Zahlen

Reduktion von Daten

• Oft ist eine reduzierte Darstellung eines Datensatzes nötig, um erste analytische Erkenntnisse zu erhalten.
• Dies kann durch die Aggregation von Daten auf eine höhere Ebene oder die Reduzierung der Dimensionalität durch das Entfernen redundanter Variablen erfolgen.

Hands-on Data Preprocessing: Der Beispiel-Datensatz

• Für einen Beispiel-Datensatz mit verschiedenen Attributen wie Alkoholkonsum und Todesfällen in verschiedenen Ländern können verschiedene Hypothesen getestet werden.

Hands-on Data Preprocessing: Data Cleaning

• Bei der Data Cleaning werden fehlerhafte oder unplausible Datenwerte korrigiert sowie fehlende Werte ersetzt, um einen bereinigten Datensatz zu erhalten.

Hands-on Data Preprocessing: Integration von Daten

• Durch die Integration zusätzlicher Daten, wie z.B. Daten aus Indien, wird der Datensatz erweitert und neue Attribute wie der Gesamtalkoholkonsum für Indien hinzugefügt.

Hands-on Data Preprocessing: Transformation von Daten

• Bei der Transformation von Daten werden Fehler behoben und Werte angepasst, um die Konsistenz und Vergleichbarkeit der Daten zu gewährleisten.

Hands-on Data Preprocessing: Reduktion von Daten

• Die Reduktion von Daten beinhaltet die Entfernung von Dezimalzahlen zur Freigabe von Kapazität und kann auch das Entfernen von Attributen beinhalten.

Hands-on Data Preprocessing: Diskretisierung der Daten

• Die Daten werden in binäre oder kategoriale Typen diskretisiert, wie z.B. die Einteilung des Pro-Kopf-Weinkonsums in Kategorien.

Explorative Datenanalyse

• Die explorative Datenanalyse zielt darauf ab, einen Datensatz zu erforschen, zu verstehen und zu beschreiben.
• Dies geschieht durch Datenvisualisierung und deskriptive Statistiken.

Ziele der explorativen Datenanalyse

• Die explorative Datenanalyse dient der Datenbereinigung, dem Verstehen der Stichprobe und der Schätzung der Populationsparameter.
• Stichprobenstatistiken werden in der Regel mit Normalbuchstaben angegeben; Populationsparameter werden mit griechischen Buchstaben symbolisiert.

Klassen von Prozeduren

• Es wird unterschieden zwischen der Fokussierung auf eine Variable zur gleichen Zeit (univariat) und der Fokussierung auf zwei Variablen (bivariat).
• Beispiele für univariate Verfahren sind Häufigkeiten, Min/Max und Standardabweichung; Beispiele für bivariate Verfahren sind Zusammenhänge und Gruppenunterschiede.