Datenmanagement Kapitel 4

Datenqualität und Datenbereinigung

• Die Qualität der gesammelten Daten ist entscheidend für die Validität von Business Intelligence und Business Analytics.
• Schlechte Datenqualität kann zu falschen Ergebnissen und Entscheidungen führen.
• Datenbereinigung ist der Prozess, um die Qualität der Daten zu verbessern.

Typische Probleme durch schlechte Datenqualität

• Falsche Lagerbestände: Zu geringe Warenbestellungen führen zu Umsatzverlusten.
• Ungenau adressierte Rechnungen: Falsche Adressen und Ausbleiben von Zahlungen.
• Fehlerhafte Kundenkontakte: Veraltete oder falsche Kontaktinformationen führen zu verpassten Chancen.
• Inkorrekte Kreditbewertungen: Falsche Daten führen zu falschen Kreditentscheidungen.
• Veraltete Mitarbeiterdaten: Unvollständige oder veraltete Informationen erschweren die Kommunikation und Zusammenarbeit.
• Fehlerhafte Produktdaten im Online-Shop: Falsche Produktdaten führen zu Rücksendungen und Unzufriedenheit.
• Schlecht gepflegte Kundendatenbank: Falsche Zielgruppen bei Marketingaktionen.
• Unstimmige Finanzberichte: Falsche Zahlen führen zu Fehlentscheidungen und Verlusten.
• Falsche Bestelldaten in der Fertigung: Die Fertigung von fehlerhaften Teilen erhöht die Kosten.
• Ungenauigkeit in der Gehaltsabrechnung: Falsche Bezahlung führt zu Unzufriedenheit und rechtlichen Problemen.
• Fehlerhafte medizinische Patientendaten: Falsche Behandlungen, die die Gesundheit gefährden.
• Inkorrekte Versicherungsansprüche: Falsche Informationen führen zu unnötigen Zahlungen.
• Fehler in der Lieferkette: Falsche Bestandsdaten führen zu Über- oder Unterversorgung.
• Doppelte Kundendatensätze: Mehrfachansprachen derselben Kunden führen zu Irritationen und einem schlechten Image.
• Falsche Standortdaten: Lieferungen, die nicht den richtigen Standort erreichen, führen zu Verzögerungen und zusätzlichen Kosten.

Die 1:10:100-Regel

• Die 1:10:100-Regel beschreibt die Kostenstruktur des Datenqualitätsmanagements in drei Stufen:
  • Vorbeugung (1 $ pro Datensatz): Investitionen in Werkzeuge und Prozesse zur Sicherstellung der Datenqualität.
  • Korrektur (10 $ pro Datensatz): Korrektur von Fehlern in bereits vorhandenen Daten.
  • Versagen (100 $ pro Datensatz): Die Kosten, die durch die Ignorierung von Problemen mit der Datenqualität entstehen.
  • Höhere Kosten, je später mit der Datenqualität umgegangen wird.

Die Vier Säulen Guter Datenqualität

• Genauigkeit: Daten müssen präzise und eindeutig sein.
• Vollständigkeit: Die Daten in einem Datensatz müssen vollständig sein.
• Verlässlichkeit: Daten müssen sowohl inhaltlich richtig als auch konsistent sein.
• Relevanz: Daten müssen für die zugrundeliegenden Aufgaben relevant sein.

Methoden zur Verbesserung der Datenqualität

• Datenprofilierung: Analyse der vorhandenen Daten, um Inkonsistenzen und Probleme zu erkennen.
• Datenbereinigung: Korrektur von Fehlern und Inkonsistenzen in den Daten.
• Datenanreicherung: Ergänzung der Datenbestände durch zusätzliche Quellen.
• Datenvalidierung: Überprüfung der Daten, ob sie bestimmten Regeln entsprechen.
• Datenintegration: Zusammenführung von Daten aus verschiedenen Quellen.
• Datenmigration: Übertragung von Daten zwischen Systemen.
• Daten Governance: Richtlinie und Prozesse zum Datenmanagement.
• Regelmäßige Audits: Kontinuierliche Überprüfung der Einhaltung von Qualitätsstandards.
• Schulung der Mitarbeiter: Schulungen zur korrekten Verarbeitung und Eingabe der Daten.
• Batchverarbeitung und Echtzeitverarbeitung: Prozesse zur kontinuierlichen Reinigung großer und kleiner Datenmengen.