Big Data und KI 5

Methoden

Einfache statistische Verfahren

• Viele Konzepte aus künstlicher Intelligenz und maschinellem Lernen basieren auf Statistik.
• Das Verständnis von Grundprinzipien ist essentiell für die Analyse im Bereich Big Data.
• Statistische Methoden ermöglichen die Analyse von Datenstrukturen und Beziehungen und das Beschreiben von Zusammenhängen.
• Ein ausgeprägtes Verständnis statistischer Methoden ist hilfreich für die Anwendung von KI-Verfahren.
• Es ermöglicht die effektive Nutzung, Bewertung und Auswahl von Datengrundlagen, um sinnvolle Ergebnisse zu erzielen.
• Interpretation und Schlussfolgerungen aus Ergebnissen werden ermöglicht.
• Es wird eine Zusammenfassung von statistischen Konzepten dargestellt.

Statistische Grundbegriffe

• Daten werden analysiert, die zu bestimmten Untersuchungsobjekten (z. B. durch Beobachtung) festgestellt wurden.
• Es folgt eine Erläuterung wichtiger Grundbegriffe:
• Merkmalsträger sind Objekte, zu denen Daten erfasst werden (z.B. Patienten).
• Merkmale bzw. statistische Variablen beschreiben die Aspekte der Merkmalsträger (z.B. Geschlecht, Alter).
• Merkmalsausprägung bzw. Werte definieren die verschiedenen Möglichkeiten, die ein Merkmal annehmen kann (z.B. „weiblich“, „männlich").
• Die Grundgesamtheit definiert die Menge aller potenziellen Merkmalsträger.
• Eine Teilgesamtheit ist ein Ausschnitt der Grundgesamtheit.
• Eine Stichprobe wird für eine Untersuchung verwendet.

Skalenniveau

• Statistische Merkmale lassen sich in Bezug auf das Skalenniveau unterscheiden.
• Das Skalenniveau gibt an, welche Kennzahlen berechnet werden können.
• Vier verschiedene Skalenniveaus:
• Nominalskalen: Ausprägungen, die unterscheidbar sind, aber nicht in eine Reihenfolge gebracht werden können (z. B. Namen, Farben).
• Ordinalskalen: Ausprägungen mit natürlicher Rangfolge, deren Abstände aber nicht interpretiert werden können (z. B. Schulnoten).
• Intervallskalen: Abstände zwischen Ausprägungen sind sinnvoll, aber es gibt keinen natürlichen Nullpunkt (z. B. Temperatur in Grad Celsius).
• Kardinalskalen: Haben einen natürlichen Nullpunkt und erlauben Verhältnisoperationen (z. B. Temperatur in Grad Kelvin).
• Statistische Merkmale sind ein Konzept der deskriptiven Statistik.
• Sie werden zu Beginn einer Datenanalyse eingesetzt, um die Charakteristika des Datensatzes zu beleuchten (z. B. Mittelwert, Quartile).
• Lagemaße werden verwendet, um die Verteilung von Daten zu beschreiben.
• Wichtige Parameter:
  • Arithmetisches Mittel wird berechnet, indem alle Werte aufsummiert und durch die Anzahl der Beobachtungen geteilt werden; nicht robust gegenüber Ausreißern.
• Median begrenzt den Einfluss von Extremwerten in den Daten, indem die Daten so geteilt werden, dass eine Hälfte unterhalb und die andere oberhalb liegt.
• Modus gibt an, welcher Wert am häufigsten auftritt.
• Maximum ist der größte beobachtete Wert.
• Minimum ist der kleinste beobachtete Wert.
• Quartile trennen die Daten so in zwei Teile, dass p% der Daten unterhalb und (1-p) % oberhalb des Quantils liegen (z.B. entspricht der Median dem 50%-Quantil).
• Statistische Variablen werden durch eine Stichprobe aus einer Grundgesamtheit bestimmt.
• Zufallsvariablen beschreiben das Auftreten von möglichen Merkmalen anhand eines Zufallsexperiments.
• Wahrscheinlichkeitsverteilungen bestimmen das Auftreten der Werte einer Zufallsvariable.
• Wahrscheinlichkeiten werden üblicherweise im Bereich von 0 bis 1 angegeben.

Wahrscheinlichkeitsverteilungen

• Wahrscheinlichkeiten können als die prozentuale Verteilung für den Eintritt eines bestimmten Ereignisses definiert werden.
• Eine Wahrscheinlichkeitsverteilung stellt die Wahrscheinlichkeiten aller möglichen Werte für das Eintreten eines Ereignisses dar.
• Die Gleichverteilung ist eine der einfachsten Verteilungen und wird in diskrete und stetige unterschieden.
• Die diskrete Gleichverteilung beschreibt ein Zufallsexperiment mit n verschiedenen Ausgängen, die alle gleich wahrscheinlich auftreten.
• Bei der stetigen Gleichverteilung sind ebenfalls alle Ausgänge des betrachteten Zufallsexperimentes gleich wahrscheinlich, stammen allerding aus einem Intervall.
• Eine Normalverteilung (Gauß-Verteilung) ist eindeutig durch ihren Mittelwert und ihre Standardabweichung definiert.
• Der Mittelwert verschiebt die Verteilung räumlich, und die Standardabweichung steuert diese.
• Im Gegensatz zur Poisson-Verteilung, ist die Standardabweichung in allen Richtungen ist gleich Standardabweichung.
• Zufallsvariablen sind meist annähernd normalverteilt, wenn Werte überwiegend innerhalb eines bestimmten Bereichs liegen.
• Eine Poisson-Verteilung ähnelt der Normalverteilung, jedoch mit dem zusätzlichen Faktor, der sogenannten Schiefe.
• Bei geringer Schiefe hat die Poisson-Verteilung hat die Form einer Normalverteilung . Bei hoher Schiefe hingegen ist die Verteilung der Daten in verschiedene Richtungen unterschiedlich.
• Die Possion-Verteilung wird auch als "Verteilung der seltenen Ereignisse" bezeichnet und eignet sich beispielsweise für die Modellierung der folgenden Szenarien
  • Anzahl der Ereignisse pro Zeiteinheit (z. B. Anrufe im Call-Center pro Stunde)
  • Anzahl der Objekte Fläche (z. B. Bakterien in einem Liter Flüssigkeit)

Korrelationen

• Mit einer Korrelation wird die Stärke eines statistischen Zusammenhangs zwischen zwei Variablen gemessen.
• Positive Korrelation: "je größer Variable A desto größer Variable B".
• Negative Korrelation: "je kleiner Variable A desto kleiner Variable B".
• Eine Korrelation impliziert keine Kausalität im Sinne einer ursächlichen Beziehung.
• Eine starke Korrelation kann auf Kausalität hinweisen, allerdings können auch andere Erklärungsmuster existieren.
• Korrelationen sind wichtig, weil eine korrelative Beziehung Informationen darüber liefern kann, wie sich die Werte von Variablen in Abhängigkeit von anderen verhalten.
• Korrelationen werden über Korrelationskoeffizienten angegeben, die ein Maß für die Stärke eines Zusammenhangs zwischen zwei statistischen Merkmalen darstellen.
• Ein Korrelationskoeffizient kann Werte zwischen -1 und 1 annehmen, wobei 0 keinen Zusammenhang bedeutet.
• Der griechische Buchstabe p (rho) steht für die Pearson-Produkt-Moment-Korrelation.

Maschinelles Lernen und Künstliche Intelligenz

• Künstliche Intelligenz (KI) kann auf unterschiedliche Arten definiert werden, aber bis heute ist selbst unter Experten keine klare und eindeutige Definition vorhanden.
• KI ist ein Zweig der Informatik, der sich mit Modellen und Systemen beschäftigt, die mit menschlicher Intelligenz assoziiert werden.
• KI ahmt kognitive Funktionen wie Mustererkennung, Lernen und Problemlösungsfähigkeiten nach.
• Zusammenfassend zeigt sich KI in vier Grundfähigkeiten - Wahrnehmen, Verstehen, Handeln und Lernen.
• Es kann zwischen sogenannter starker Kl und schwacher Kl unterschieden werden
  • Starke KI zielt darauf ab, die allgemeine menschliche Intelligenz zu imitieren.
  • Schwache KI konzentriert sich auf klar abgegrenzte Anwendungsbereiche.
• Alle heutigen KI-Systeme werden dem Teilgebiet der schwachen Kl zugerechnet und bieten spezialisierte Lösungen für klar umgrenzte Problemstellungen.
• Maßgeblich verantwortlich für den KI-Trend der letzten Jahre ist insbesondere das maschinelle Lernen (engl. Machine Learning, kurz: ML) und dort vor allem Deep Learning.
• Der Bereich Machine Learning kann wiederum in verschiedene Teilgebiete aufgegliedert werden. Eines davon ist das sogenannte Representational Learning mit Deep Learning.

Maschinelles Lernen im Überblick

• Maschinelles Lernen (ML) bezieht sich auf einen Teilbereich der KI, der sich mit der Ableitung von Mustern aus großen Datenbeständen befasst.
• ML ist als etabliertes Gebiet der Wissenschaft.
• Es kann zur Anwendung für bestimmte Anwendungsgebiete oder zur theoretische Betrachtung dienen.
• Machine Learning bezeichnet die „automatische“ Generierung von Wissen aus Erfahrung, die in Form von großen Datenmengen kodifiziert sind.
• ML-Modelle werden verwendet, damit Computer Muster und Gesetzmäßigkeiten in Daten erkennen und Lösungen für spezifische Problemstellungen entwickeln.

Anwendungsfälle für maschinelles Lernen

• Digitale Assistenten in Smartphones oder als Smart Speaker (Apple Siri, Amazon Alexa oder Google Assistant) werden immer beliebter
• Funktionen: Beantwortung von Suchanfragen, Verwaltung von Kalendereinträgen und Auskünfte zum Wetter.
• Maschinelle Lernalgorithmen verarbeiten die Spracheingabe, um Wörter zu verstehen und auszusprechen.
• Personalisierung von Diensten ist ein weiteres wichitiges Beispiel.
• Netflix, Amazon und Facebook verwenden bisherigen Suchaktivitäten und Verhaltensweisen zur Empfehlung von Produkten .
• Machine Learning wird verwendet, um Vorlieben von Kunden zu erlernen und diese mit anderen zu vergleichen.
• McDonalds experimentiert mit Kameras mit Bilderkennung, um Fahrzeuge und Kundinnen wiederzuerkennen
• Predictive Maintenance: Klassische Wartungsmodelle sind meist zeitbasiert.
• Machine Learning ermöglicht die Umsetzung von prädiktiven Wartungsmodellen (engl. Predictive Maintenance).
• Durch Überwachung von Sensordaten werden Abweichungen erkannt, um frühzeitig auf Probleme hinzuweisen.
• Wartungseinsätze können bedarfsoriertiert geplant werden.

Typen des maschinellen Lernens

• Maschinelle Lernansätze können für eine große Bandbreite an Anwendungsszenarien eingesetzt werden.
• Abhängig von Zielsetzung und vorliegenden Daten ergeben sich Anforderungen an die Methoden.
• Ein Unterscheidungskriterium ist die Existenz einer sogenannten Zielvariable.
• Die Ausprägungen der Zielvariable wird zwischen kontinuierlichem Wert (Temperaturwerte in Zentraleuropa) und kategorialen Werten (Spam/kein Spam) unterschieden.
• Liegen keine Zielvariablen vor, betritt man den Bereich des unüberwachten Lernens.

Vier Grundsätzliche Kategorien maschineller Lernverfahren

• Überwachtes Lernen:
  • Ein Algorithmus erhält eine bestimmte Eingabe und eine entsprechende Ausgabe.
  • Während des Trainingsprozesses werden Muster abgeleitet, die von einer Eingabe zur gewünschten Ausgabe führen
• Unüberwachte Lernverfahren:
  • Methoden, die verwendet werden, wenn für einen Eingabedatensatz keine entsprechenden Ausgabedatensätze verfügbar sind.
  • Das primäre Ziel ist es, in dem vorhandenen Datensatz Muster zu identifizieren.
  • Z. B. Clustering
• Teilüberwachtes Lernen:
  • Verfahren, wenn Daten ohne vollständig ohne Beispielsausprägungen vorliegen
  • Ein geringer Teil ist extrahiert und wird mit Ergebnisvariablen zu versehen.
• Es wird davon ausgegangen, dass Datensätze mit ähnlicher Lage das gleiche Label haben
• Verstärkendes Lernen (Reinforcement Learning):
  • Interaktion mit der Umwelt generiert Beobachtungen.
  • Agent lernt aus der Beobachtung der Umwelt.
  • Algorithmus greift auf eine Belohnungsfunktion zurück.
  • Algorithmus erhält direktes Feedback, ob und wie gut/schlecht sein Verhalten ist.
  • Algorithmus versucht die vordefinierte Zielerreichung zu maximieren
• Ablauf des Trainingsphase:
  • Der Agent beobachtet den Ausgangszustand.
  • Die Aktion des Agenten wird ausgeführt – unter Verwendung der Entscheidungsfunktion.
  • Der Agent erhält entweder eine Belohnung oder negativen Wert Speicherung der Zustands-Aktions-Paar-Information in Bezug auf die erreichte Belohnung

Neuronale Netze: Aufbau und Funktion

• Künstliche neuronale Netze sind dem menschlichen Gehirn nachempfundene, informationsverarbeitende Systeme.
• Sie stellen einen der ältesten Forschungszweige der künstlichen Intelligenz dar.
• Neuronale Netze können für unüberwachtes und überwachtes maschinelles Lernen eingesetzt werden.
• Typische Anwendungsbereiche: Mustererkennung und Klassifizierung, das Lösen von Optimierungsproblemen oder die Vorhersage von Parametern basierend auf einer gegebenen Eingabe.
• Neuronale Netze sind Systeme zur Verarbeitung von Daten durch maschinelles Lernen.
• Eine grundlegende Form der Modellierung künstlicher neuronaler Netze ist das Perzeptronen-Modell.
• Ein solches Netz in seiner elementarsten Form besteht aus einem einzigen künstlichen Neuron exakt einer Ausgangsfunktion, verknüpft mit mehreren Eingängen
• Elemente:
  • Eingänge X1, X2, X3 als Inputvariablen
  • Jedem Eingang X1, X2, X3 ist eine eigene Gewichtung W₁,...,Wn ∈ R zugeordnet.
  • Eingangsfunktion ρ = ∑=1 Wixi (gewichtete Summe der Eingabewerte)
• Aktivierungsfunktion φ(ρ, θ) berechnet über die gewichtete Summe, das Ergebnis der Eingangsfunktion und den Schwellenwert der Ausgabewert o des Neurons Die Informationsverarbeitung erfolgt auf Grundlage des oben in Form von numerischen Werten erfasster Eingangsdaten.

Mehrschichtige Netze

• Durch die Verwendung einer Vielzahl von Neuronen entstehen sogenannte mehrschichtige Perzeptronen.
• Mehrschichtige Perzeptronen haben neben einer Ein- und Ausgabeschicht mindestens eine zusätzliche "verdeckte" Schicht.
• Die Ausgabe eines Neurons stellt in mehrschichtigen neuronalen Netzen die die Eingabe für ein Neuron in der folgenden Schicht dar.
• Die Aktivierungsfunktion ist dabei entscheidend.
• Beim Aufbau von mehrschichtigen Netzen werden verschiedene Architekturen oder Topologien unterschieden:
  • Vollständig verbunden: Alle Neuronen aus einer Schicht sind mit allen Neuronen der direkt folgenden Schicht verbunden.
  • Rekurrent: Neuronen einer Schicht können über rückwärtsgerichtete (rekurrente) Kanten mit Neuronen einer vorhergehenden Schicht verbunden werden.
• Das Netz ist somit mit einem Gedächtnis ausgestattet.
• Abkürzungen (engl. Shortcuts): Neuronen können nicht nur mit Neuronen der unmittelbar folgenden Schicht verbunden sein, sondern auch mit Neuronen von später folgenden Schichten.
• Die konkrete Wahl einer Netztopologie hängt vom jeweiligen Anwendungsfall ab und hat maßgeblichen Einfluss auf das erzielte Ergebnis.

Überwachte Lernverfahren

• Überwachtes Lernen verfolgt das Ziel, aus einer Menge von Beispieldaten eine gute Abbildung von Eingabewerten auf Ausgabewerten zu erlernen.
• In der Trainingsphase lernt ein Algorithmus hierbei eine mathematische Funktion.
• Überwachte Lernverfahren verarbeiten während der Lernphase eine große Zahl an Paaren aus Eingabewerten und korrekten Ausgabewerten.
• Durch iteratives Vorgehen mit verschiedenen Eingaben und Ausgaben wird die Fähigkeit trainiert, Assoziationen zwischen Eingabe- und Ausgabewerten herzustellen
• Anwendungsbereiche:
  • Klassifizierung von Texten oder Bildern
  • Bild- und Objekterkennung
  • Gesichtserkennung auf Smartphones
  • Dokumentenerkennung
  • Antragsprüfung
  • Qualitätskontrolle
• Methodenübersicht:
  • lineare Regression
• logistische Regression
• künstliche neuronale Netze
• lineare Diskriminanzanalyse
• Entscheidungsbäume
• Bayes'sche Logik
• Random Forest

Unüberwachte Verfahren

Anwendungsbereiche und

• Methodenübersicht
  • Unüberwachtes Lernen wird verwendet, wenn keine Ausgabedatensätze verfügbar sind.
• Das primäre Ziel ist, in einem vorhandenen Datensatz nach Mustern zu suchen und bislang unbekannte Strukturen abzuleiten.
• Z. B. Clustering
• Ein Algorithmus erzeugt ein statisches Modell, welches die Eingaben, Kategorien und Beziehungen beschreibt.
• Die Anzahl der Kategorien kann entweder vorab oder vom Algorithmus definiert werden
• Die Eingabewerten haben keine Labels
• Beispiele:
  • (k-means, hierarchical clustering,
• Anomalieerkennung
• Assoziationsanalysen
• künstliche neuronale Netze
• k-means-Verfahren wird zur Funktionsweise von Algorithmus ein.

Assoziationsalgorithmen und A-priori-Verfahren

• Assoziationsalgorithmen stellen eines der zentralen Konzepte im Bereich des unüberwachten Lernens dar.
• Sie werden zu sogenannten Warenkorbanalyse verwendet
  • Anwendungsbeispiele: Erstellung von gezielten Empfehlungen Erkennung von Zusammenhängen zwischen auftretenden Symptomen und Krankheitsbildern in Datensätzen

Bildung und Effektivität von Assoziationsregeln

• Der Prozess der Erstellung von Assoziationsregeln wird als Assoziationsregel-Mining (engl. association rule mining) bezeichnet.
• Dabei wird ein Datensatz von Transaktionen (im Beispiel der Warenkorbanalyse sind das einzelne Bestellvorgänge) nach Wenn-Dann-Mustern durchsucht.
• Assoziationsregeln werden aus sogenannten Itemsets berechnet.
• Es gibt verschiedene Maße, um die Effektivität von Assoziationsregeln zu bewerten
  • Unterstützung (engl. support) gibt an, wie oft eine Regel in einem Datensatz vorkommt (Prozentsatz der Gesamtzahl). Konfidenz (engl. confidence) bezieht sich auf die Häufigkeit, mit der eine Regel in der Praxis tatsächlich zutrifft
• Lift kombiniert die Werte von Unterstützung und die Konfidenz

A-priori-Verfahren

• Apriori ist ein Algorithmus zum Mining gemeinsamer Itemsets und zum Lernen von Assoziationsregeln auf Transaktionsdaten.

• Eingaben Datenbank minimale Unterstützung

• minimale Konfidenz

• Ablauf zur Ableitung eines Assoziationsregeln (1) Identifizierung von häufigen Itemsets (2) Generierung von Assoziationsregeln

Zunächst werden die häufigen Item-Sets aus der Menge aller Item-sets erzeugt. Anschließend werden Assoziationsregeln auf der Basis der identifizierten häufigen Itemsets generiert.