Automatische Spracherkennung: Neuronale Netze - Kapitel 8/9

• Die Präsentation befasst sich mit den Grundlagen der automatischen Spracherkennung und gibt eine Einführung in neuronale Netze (Kapitel 8-9).
• Die Präsentation wurde von Prof. Dr.-Ing. Dorothea Kolossa am 17. Dezember 2024 gehalten und stammt von der FG Elektronische Systeme der Medizintechnik (mtec).

Überblick

• Einführung
• DNN-Strukturen vol. 1
• DNN-Training

Maschinelles Lernen

• Maschinelles Lernen (ML) ist ein Teilgebiet der künstlichen Intelligenz (KI).
• Maschinelles Lernen ermöglicht es, intelligente Systeme zu entwickeln, deren Verhalten aus Daten und Zielvorgaben gelernt wird, anstatt explizit programmiert zu werden.
• Das Ziel ist es, aus Daten zu lernen, um optimale Entscheidungen zu treffen oder Vorhersagen zu machen.

Anwendungsbeispiele für Maschinelles Lernen

• Bild- und Spracherkennung.
• Mensch-Maschine-Interaktion in natürlicher Sprache (Chatbots, Large Language Models - LLMs).
• Empfehlungssysteme.
• Autonome Fahrzeuge.
• Vorhersagemodelle in verschiedenen Branchen.

Arten von Maschinellem Lernen

• Überwachtes Lernen: Algorithmen lernen anhand von Beispielen mit vorgegebenen Ausgängen (Labels).
• Unüberwachtes Lernen: Algorithmen identifizieren Muster in Daten ohne vorgegebene Labels.
• Halbüberwachtes Lernen: Nur wenige Labels werden benötigt, die bei aktivem Lernen vom Nutzer erfragt werden.
• Verstärkungslernen: Algorithmen lernen durch Belohnungen aus Interaktionen mit der Umgebung.

Tiefe Neuronale Netze (DNN)

• Tiefe neuronale Netze (Deep Neural Networks - DNN) werden ebenfalls mit Hilfe maschinellen Lernens an ihre Aufgaben angepasst.
• Alle vier genannten Arten des Lernens können je nach Aufgabe zum Einsatz kommen.
• DNNs erzielen regelmäßig hohe Erfolgsraten und übertreffen die menschliche Leistung in Bereichen wie Spracherkennung, Lippenlesen, Gesichtserkennung und standardisierten Universitäts- und Jura-Aufnahmetests.

Beispiel für Verstärkungslernen

• In der Regelungstechnik werden DNNs zunehmend mit Reinforcement Learning eingesetzt.
• DNNs können menschliche Gegner in Spielen oft leicht schlagen.

Biologisches Vorbild Neuron

• Ein biologisches Neuron besteht aus Soma (Zellkörper), Dendriten, Axon, Axonhügel, Myelin, Synapse und Axonterminal.
• Das menschliche Gehirn enthält etwa 10^11 Neuronen und 10^14 Synapsen, was zu einer höheren Konnektivität als in Supercomputern führt.
• Der Energiebedarf des Gehirns beträgt ca. 20 Watt für 10^18 Operationen pro Sekunde (statt MW).

Erste DNN-Struktur: Multi-Layer Perzeptron (MLP)

• Die Netztopologie eines Multi-Layer Perzeptrons (MLP) besteht aus mehreren Schichten, einschließlich Eingangs-, Ausgangs- und verborgenen Schichten.

Einzelneuron

• Ein Einzelneuron im MLP führt eine gewichtete Summe der Eingänge und eine Aktivierungsfunktion aus, um den Ausgang zu erzeugen.
• Es entspricht der Formel: nN = fa(1, x1, x2 ...xD) * (bN, w1N, ..., wDN)
• Die Formel kann auch geschrieben werden als: nN = fa((w0N,w1N, ..., wDN) mit w0N = bN

Aktivierungsfunktionen

• Für Aktivierungsfunktionen sind zwei Eigenschaften nützlich: Differenzierbarkeit und Beschränkung des Wertebereichs am Ausgang.
• Beispiele für Aktivierungsfunktionen der Schichten 1... A-1: tansig (Hyperbolic Tangent Sigmoid Transfer Function), elliotsig (Elliot Symmetric Sigmoid Transfer Function), logsig (Logarithmic Sigmoid Transfer Function).
• Eine recheneffiziente Aktivierungsfunktion ist die Rectified Linear Unit (ReLU).

Aktivierungsfunktion des Ausgangslayers

• Im Ausgangslayer soll eine Verteilungsdichtefunktion nachgebildet werden, wenn es sich um ein Netz zur Klassifikation handelt, d.h.: Summe(nAi) = 1 und n,A! >= 0 für alle i.
• Das lässt sich mit der Softmax-Funktion erreichen: p(k = j\nA-1) = exp (wTj. nA-1) / (Summe(exp (wm .nA-1))
• Hier können die Logits definiert werden: zj = wTj. nA-1
• Das vereinfacht die Gleichung für den Softmax-Layer: ^p(k = j \ n^A-1) = e^zj / (Summe(exp(zm)))

Binäre Klassifikation

• Bei binärer Klassifikation kann die Sigmoid-Funktion verwendet werden: p(k = 0|nA-1) = 1 / (1 + exp(-wT. nA-1))
• p(k = 1|nA-1) = 1 − p(k = 0|nA-1)

Trainingsprozess eines DNNs

• Zunächst werden Daten für die Anwendung gefunden oder gesammelt.
• Die Daten werden in drei Teil-Datensätze eingeteilt:
  • Training Set: Zum Training des Neuronalen Netzes.
  • Validation Set: Zur Fortschrittskontrolle und für das Tuning freier Parameter.
  • Test Set: Zum Bewerten der Performance am Schluss.
• Der Ablauf des Trainings kann anhand der Performance auf Trainings- und Validierungsdaten verfolgt werden.

Kostenfunktionen

• Die Kostenfunktion misst die Klassifikationsgüte oder Approximationsgenauigkeit des Netzes und ist wichtig für die Differenzierbarkeit im Training.
• Beispiele:
  • Mittlerer quadratischer Fehler (Mean square error): Gut für Regressionsaufgaben, nicht für Klassifikation.
  • Klassifikationsfehler (Classification error): Misst Güte der Klassifikation, aber differenzierbare Approximation benötigt.
  • Kreuzentropie (Cross entropy): Sehr gut geeignet für Klassifikation mit Softmax-Ausgangsschicht & informationstheoretisch gut motiviert; Bei binären Problemen wird die Kreuzentropie oft als "binäre Kreuzentropie" bezeichnet.

Gradientenabstieg

• Der Grundgedanke dahinter ist der Gradientenabstieg, definiert durch den Parametervektor w = [w01 , w02 ... wANA], sodass wneu = w - η * (deltaC/delta01,..., deltaC/delta wA-1NA)).
• Bzw. mit i als Iterationsindex: wi+1 = wi - η (deltaC/ delta w01,..., deltaC/ delta wA-1NA))
• Die Formel benötigt die Lernrate η und vor allem den Gradienten.

Gradient der Kostenfunktion

• Die Definition dafür lautet: delta/ delta wkij C(w) = delta/ delta wkij Summe(c(xn,k,w)) = Summe (delta/ delta wkij c(xn,w)) = Summe(delta/ delta wkij -log p^(kn/ xn,w))

Kettenregel

• Die Kettenregel besagt: [f(g(z))]' = f'(g(z)) * g'(z)
• Damit ist dann f =-log(), g = p^() und f' =-1/()

Backpropagation

• Ziel der Backpropagation: Berechnung von delta/delta wAij nAkn
• Lösung: 2 Phasen:
• Phase 1: Forward propagation
• Phase 2: Backpropagation
• Abschließend das Berechnen der Werte.
• Gradientenabstieg: Gradienten auf großen Trainingsdaten zu bestimmen ist sehr langwierig und trifft evtl. auf lokale Optima.
• Stochastic Gradient Descent (SGD): Man vermeidet es, in lokalen Optima hängebzubleiben.
• Anwedung: Der Gradient wird zufällig und verfälscht.