Data Science Foliensatz 8

Lernziele

• Nach dieser Vorlesung sollten die Grundlagen des Machine Learnings verstanden und beschrieben werden können.
• Des Weiteren muss Machine Learning, Künstliche Intelligenz und Deep Learning voneinander abgegrenzt werden können.
• Die verschiedenen Arten des Machine Learnings sollen unterschieden und erläutert werden.
• Zudem sollten wichtige Konzepte des Supervised Learnings, wie Overfitting, erklärt werden können.
• Auch neuronale Netze sollen beschrieben und erklärt werden können.

Was ist Künstliche Intelligenz?

• Es handelt sich um eine Technologie, die es Maschinen ermöglicht, menschliches Verhalten und Intelligenz nachzuahmen.
• KI-Techniken (Algorithmen) nutzen statistische Methoden, um durch große Datenmengen (Big Data) die Bewältigung einer Aufgabe zu ermöglichen.
• Algorithmen lernen selbstständig mittels „Neuronaler Netze“ und großer Datenmengen.

Das Ziel von Machine Learning

• Nach Arthur L. Samuel, dem Pionier der Forschung im Bereich der Künstlichen Intelligenz, ist das Ziel von Machine Learning Computern „die Fähigkeit zu geben, zu lernen, ohne explizit programmiert zu werden“.

Woher stammt der Begriff „Algorithmus“?

• Abu Dschaʿfar Muhammad ibn Musa al-Chwārizmī war ein Universalgelehrter in Geografie, Astronomie und Mathematik (9. Jahrhundert, Persien).
• Er definierte u. a. die Prinzipien des "Reduzierens" und "Ausgleichens" von Gleichungen (al-jabr, lateinisch: Algebra ("Vollendung")).
• Ein Algorithmus ist eine Reihe von Schritt-für-Schritt-Regeln zur Lösung eines Problems.

Spürbare Auswirkungen von Algorithmen

• Algorithmen haben spürbare Auswirkungen, z.B. auf Google Maps, Foodforecast und PathAI
• Algorithmen haben spürbare Auswirkungen, z.B. auf Fake-Obama, London KI-Kameras, Gender Bias bei Amazon
• Algorithmen haben spürbare Auswirkungen, z.B. Gender Bias bei Google

Wer ist für die potentiellen Diskriminierungsergebnisse verantwortlich?

• Vermutungen:
  • Die gezielte Ausrichtung der Anzeige durch den Inserenten
  • Google hat das System explizit so programmiert, dass die Anzeige weniger häufig bei Frauen erscheint
  • Männliche und weibliche Verbraucher reagieren unterschiedlich auf Anzeigen, und der Targeting-Algorithmus von Google reagiert auf diesen Unterschied
  • Mehr Wettbewerb bei der Werbung für Frauen, was dazu führt, dass der Werbetreibende weniger Anzeigenplätze für Frauen erhält.

Kurze Geschichte der Künstlichen Intelligenz

• 1950: Turing Test
• 1966: ELIZA, erster Chatbot
• 1972: MYCIN, Expertensystem
• 1997: Deep Blue gewinnt im Schach
• 2016: Alpha Go gewinnt Go
• 2022: ChatGPT
• 2023: Bard, Gemini

Vier wesentliche Entwicklungen für Machine Learning

• Notwendige Daten sind verfügbar und nutzbar: Durch die Digitalisierung entstehen Daten ->KI nutzbar sind
• Die Machine Learning Algorithmen wurden verbessert: durch Deep-Learning-Algorithmen wurden wesentliche Fortschritte erzielt
• Cloud-Dienste bieten die benötigte Rechenleistung an: ermöglichen eine schnelle, flexible und bezahlbare Nutzung von Rechenressourcen ohne größere Investitionen
• Die Anwendung von KI ist keine Raketenwissenschaft mehr: Es stehen performante (Open-Source-) Toolkits und Bibliotheken zur Verfügung

1 Mio User

• Benötigte ChatGPT ca. 1-2 Monate um 50 Mio. Nutzer zu erreichen.
• Es ist erfraglich wie lange das Radio dafür brauchte.

Auswirkungen von GPTs auf den US-Arbeitsmarkt

• Bei ca. 80% aller Beschäftigten sind mind. 10% der Aufgaben betroffen.
• Bei ca. 19% aller Beschäftigten sind mind. 50% der Aufgaben betroffen.
• Zone 1: Lebensmittelzubereitung, Arbeiter; Ø-Einkommen: 30.000 US-$.
• Zone 4/5: Anwälte, Grafik Designer, Wirtschaftsprüfer; Ø-Einkommen: 82.000 US-$.

Grundlagen des Machine Learnings

• Logikbasierte Systeme: KI-Techniken, die auf Basis einer Menge Axiomen und mathematischer Logik beruhen
• Maschinelles Lernen: KI-Techniken, die statistische Methoden verwenden, um durch mehr Daten (Erfahrung) die Performance in einem Task zu verbessern.
• Ein Computerprogramm lernt aus Erfahrung (E) in Bezug auf Aufgaben (A) und ein Leistungsmaß (L) -> Leistung bei Aufgaben in A verbessert sich, gemessen durch L, mit der Erfahrung E

Beispiel: Klassifizierung

• Trainingsdaten (Experience; E): Bilder von Chihuahuas und Muffins.
• Aufgabe (A): Klassifizierung "Chihuahua oder Muffin?".
• Klassifikation (L) und Genauigkeit: Muffin (0.977), Chihuahua (0.962).

Regelbasierte Ansätze

• Regelbasierte Ansätze lange Zeit als dominierende Herangehensweise
• Grenzen des regelbasierten Ansatzes:
  • Mögliche Regeln für Identifizierung von Tigern:
    • Mehrere benachbarte orangefarbene und dunkle Pixel
    • Oranger Fleck in der Mitte des Bildes
    • Eine große Anzahl von grünen Pixeln
• Regelbasierter Ansatz nur ca. 75-80 % Accuracy
  1. Eingehende Dokumente
  2. Regelwerk zur Klassifikation
  3. ICR/OCR
  4. Integrierter Lösungsansatz
  5. KI

Paradigmenwechsel in der Programmierung

• Menschen sind nur zu rund 5% fehlerhaft
• Die Fehlerquote bei Algorithmen war früher sehr hoch, ist aber gesunken und hat sich an die Menschen angepasst
• Nun arbeiten Menschen und Algorithmen in ungefährlichen Sphären zusammen

Überblick über Machine Learning

• Traditionelle Modellierung: Mensch erstellt Regeln und Computer setzt sie ein -> Ergebnis
• Maschinelles Lernen: Mensch generiert Trainingsdaten -> Computer Modell -> Modell als Ergebnis // neue Daten -> Modell -> Ergebnis "Prädiktion"

Arten des Machine Learnings

• Supervised Lernen: Klassifizierung und Regression
• Unsupervised Lernen: Clustering und Assoziation

Supervised Learning

• Ausgangspunkt: Targets und Features (Eigenschaften) von Datenpunkte sind im Voraus bekannt / gelten
• Algorithmen verwenden Beispiele aus der Vergangenheit, um Vorhersagen für die Zukunft zu treffen

Arten des Machine Learnings mit Supervised Learning

• Klassifizierung: eine historische Daten um neue Nachrichten als Spam oder Nicht-Spam zu klassifizieren
• Regression: historische Daten über Immobilien (Features) um vorherzusagen, wie viel eine neue Immobilie Wert sein wird.

Unsupervised Learning

• Ausgangspunkt: Targets und Features der Datenpunkte sind nicht im Voraus bekannt
• Algorithmen suchen eigenständig nach Mustern und Strukturen in ungelabelten Daten
• Daten nicht vordefiniert: Hauptziel ist die Organisation/Strukturierung der Daten

Lineare Regression

• In-Sample Prediction: Anpassung eines Modells an vorhandene Daten, um die Beziehung zwischen Features (X) und dem Target (Y) zu beschreiben; Vorhersage der abhängigen Variable (Y) basierend auf bekannten Daten.
• Out-of-Sample Prediction: Treffen von Vorhersagen für neue, unbekannte Datenpunkte, für die Y-Werte nicht bekannt sind; Vorhersage von Y für neue, unbekannte Daten nur auf Basis der bekannten Features (X) → Predicted values.

Ursachen und Konsequenzen von Residuen:

Ursachen:

• Weiteren/nicht-einbezogenen Einflussfaktoren
• Zufallsfehler

Konsequenzen:

• Faktisch (Fehlentscheidung, Kosten etc.)
• Ethische Relevanz
• Zentrale Frage: Was ist die Alternative?

Möglichkeiten zur Reduktion von Residuen:

• Weitere Prädiktoren (die Informationen liefern)
• Besseres Modell (z.B. nicht-linear, Interaktionen)
• Gefahr des Overfittings

Residuen und Regressionen

• Bei folgender Verteilung von Datenpunkten wird die Regressionsform anhand des Fit beurteilt.
• Ein besserer Fit kann jedoch zur Gefahr von Overfitting führen.

Lineare Modelle und Interaktionen

• Lineare Modelle können moderate Interaktionen und nichtlineare Beziehungen abbilden.
• Produktterm (x*z als weiterer Prädiktor) → "Moderierte Regression„
• Nicht-Lineare Funktionen: Polynome modellieren (z.B. X2 oder X3)
• Die Interaktion ist zwar noch einfach, aber bei kurvenlinenarer Funktion ist es nicht mehr einfach handhabbar.

Flexibilität und Overfitting

• Machine-Learning-Modelle passen sich flexibler den Daten an -> Geringer Bias -> Hohe Varianz -> Guter Datenfit -> Schlechte zukünftige Nutzbarkeit
• Die Lösung: Empirische Bestimmung der nötigen Flexibilität

Bias-Variance Tradeoff

• Bias: beschreibt wie gut ein Modelle die Daten anpasst -> (Niedrige MSE = niedriger Bias)
• Varianz: beschreibt wie stabil das Modell gegenüber unterschiedlichen Datensätzen ist -> (Geringe Abweichungen = niedrige Varianz)
• Tradeoff: Optimales Gleichgewicht zwischen Bias und Varianz -> (relevant bei jedem ML-Verfahren)
• Lösung: Bestimmung durch Cross-Validation (Aufteilung in Trainings- und Testdaten)

Crossvalidation

• Datenset wird in Trainings- und Testdaten geteilt
• Das Modell wird am Trainings-Set trainiert
  • Im Trainings-Set kann man die Flexibilität variieren
• Das Modell wird am Test-Set evaluiert
  • dies dient zur Bias-Variance Tradeoff

Arten der Crossvalidation

• Training-Testing-only (TT only):
  • Split in Train Set und Test Set
  • Problem: Der Split ist zufällig und kann die performance beeinflussen
• kfold / vfold Cross-validation:
  • Gesamtdaten werden in gleichgroße Teile zerlegt (folds)
  • Modell wird in Training folds trainiert und im Test fold evaluiert
  • Durch wiederholte Anwenung wird Zufallseinfluss minimiert
  • Jeder Fold ist einmal Testgrundlage

Klassifizierung

• Aus einer Menge von Datenpunkten und deren zugehörigen Labels lernen.
• Das Supervised Learning bestimmt die Anzahl der Klassen in der Klassifizierung
• Es gibt die Zwei-Klassen- bzw. dichotome Klassifizierung und Mehrklassen- bzw. multinomiale Klassifizierung

Klassifizierung mit k-NN

• k-NN (k = k-nearest neighbor) ist ein Algorithmus, der auf Trainingsdaten (Trainings-Set) angewandt wird.
  1. Datensatz mit bekannten Labels: Satz von Datenpunkten, für die wir die richtigen Klassen kennen
  2. Vergleich der neuen Datenpunkten mit den bestehenden: Ein neu dazukommender Datenpunkt wird mit den vorhanden Datenpunkten verglichen, um Ähnlichkeiten zu finden
  3. Wahl der k nearest neighbors: Wir wählen die k Datenpunkte aus, die dem neuen Datenpunkt am ähnlichsten sind, seine k-nearest neighbors
  4. Mehrheitsentscheidung: Aus diesen k-nearest neighbors wird die Mehrheit der Labels ermittelt. Das gewählte Label ist das die Klasse des neuen Datenpunkts

K-nearest neighbor (k-NN)

• K ist ein Hyperparameter und bestimmt die Feingranuliertheit der Klassifikation:
  • k = 1
    • Der nächstliegende Wert wird herangezogen
    • Decision boundary ist sehr "wiggly"
    • Guter Fit (niedriger Bias) aber geringe Nutzbarkeit für zukünftige Daten (Variant)
  • k = 100
    • Die umliegenden 100 Nachbarn werden herangezogen
    • Decision boundary wird gröber -Schlechterer Fit, aber höhere Generalisierbarkeit
• Bias-Variance Tradeoff: optimaler Wert bzgl. Fit und Generalisierbarkeit muss empirisch bestimmt werden

Entscheidungsbaum

• Ein Entscheidungsbaum im Machine Learning ist ein Algorithmus, der für Klassifizierungs- und Regressionsaufgaben verwendet wird.
• Entscheidungsbäume nutzen verfügbare Daten, um Vorhersagen über neue Datenpunkte treffen zu können
• Es gibt verschiedene Algorithmen für Entscheidungsbäume, wir fokussieren uns auf einen einfachen Regressionsbaum

Logik eines einfachen Regressionsbaumes

• Target: Einkommen von US-Footballspielern (→ quantitativ)
• 2 Features
  • Jahre als Prof
  • Anzahl der „Hits"
• Logik:
  • Es wird eine Variable gesucht, die den Feature Space durch einen Split in homogenere Teile teilt
  • Diese homogenen Teile nennt man Knoten
  • Anschließend ein neuer Split mit einem anderen oder demselben Feature

Overfitting Problem bei Entscheidungsbäumen

• Das Splitting wiederholt sich so lange, bis maximale Baumtiefe erreicht ist.
• In diesem Fall sieht der Baum wie gefolgt aus:
• das Modell wird durch Tree pruning durch das Herausschneiden einzelner Knoten verbessert.

Entscheidungbaum: Probleme und ihre Lösung

• Problem: Splitting-Prozess läuft, bis jeder Fall sein eigener Knoten wird, was in hoher „Baumtiefe“ resultiert; das führt zu niedrigerem Bias aber hoher Varianz
• Lösung: Tree pruning
• Vorteile von einfachen Bäumen:
• Intuitive Visualisierung/ Verständlichkeit
• Bedeutung der Unterteilungen sichtbar
• Nachteile von einfachen Bäumen:
• Geringere prediction accuracy als andere Methoden
• Bei zu vielen Unterteilungen wird Modell unübersichtlich

Neuronale Netze

• Ein neuronales Netz besteht aus Neuronen.
• Layer: 0 (input), 1 (hidden), 2 (hidden), 3 (output)
• Die Neuronen im neuronalen Netz erhalten Inputs, gewichten diese, senden sie durch eine Activation Function und geben ein Ergebnis aus

Erkennung von Zeichen und Mustern

• Computer haben evtl. Probleme Zeichen / Handschriften zu erkennen, da
  • es viele Möglichkeiten gibt Zeichen darzustellen
  • Zeichen unfertig und miteinander verbunden sind
  • es unterschiedlichen Winkel gibt
• Beispiel: MNIST Dataset - Ziffernerkennung
  • Die Ausgabeschicht besteht in diesem Beispiel aus 10 Ziffern
  • In der Ausgabeschicht wird nun das Ergebnis angegeben dargestellt
• Das ML-System lernt wie diese Zeichen aussehen können / entscheidet auf Basis der Prädiktion
• das ist mit großem Datenset (Variationsvielfalt der Zeichen = Höhere Genauigkeit in der Mustererkennung machbar
• Das Gelernte kann die Mustererkennung dann auf einen neuen Datensatz anwenden
• Selbstfahrende Autos:
  • Voraussetzung: identifizieren von Objekten (Sky, Building, Pole, Road Marking, Road, Pavement, Tree, Sign Symbol, Fence, Vehicle, Pedestrian, Bike)