Training von Spracherkennungsmodellen - Kapitel 12

• Die Präsentation behandelt das Training von Spracherkennungsmodellen.
• Prof. Dr.-Ing. Dorothea Kolossa präsentierte diese am 20. Januar 2025.

Arten maschinellen Lernens

• Überwachtes Lernen: Algorithmen lernen anhand von Beispielen mit vorgegebenen Ausgängen (Labels).
• Halbüberwachtes Lernen (Semi-supervised oder Active Learning): Nur wenige Labels werden benötigt, oft vom Nutzer erfragt (Active Learning).
• Unüberwachtes Lernen: Algorithmen identifizieren Muster in Daten ohne vorgegebene Labels.
• Verstärkungslernen: Algorithmen lernen durch Belohnungen aus Interaktionen mit der Umgebung.

Lernen in der Spracherkennung

• Verschiedene Granularitäten von "Überwachung" erfordern spezifische Annotationen.
• Halbüberwachtes Lernen benötigt Informationen nur für einen Teil der Sätze.
• Phoneme: Transkription oder Segmentierung
• Worte: Transkription oder Segmentierung
• Der Übergang zwischen überwachtem und halbüberwachtem Lernen ist graduell; weniger Annotation, z.B. ohne Segmentierung, ist hilfreich.

Segmentierung von Daten

• Gleichmäßige Segmentierung wird verwendet.
• Labeling von Hand oder mit einem guten Erkenner ist eine weitere Option.

Segmentierungswerkzeuge

• Praat bietet eine Benutzeroberfläche zum Annotieren oder Segmentieren von Daten.
• Textgrid ist das Ergebnis einer Annotation.

Trainingsprinzipien für Erkennungsmodelle

• Maximum-Likelihood
• Minimum Classification Error

Maximum-Likelihood (ML) Training

• Bestimmung der Parameter λ = {A, B, Π}, um P({O}|λ) zu maximieren.
• A: Übergangswahrscheinlichkeiten.
• B: Ausgabeverteilungsdichten.
• Π: Initiale Wahrscheinlichkeiten.
• {O}: Menge aller Beobachtungssequenzen.

Minimum-Classification-Error (MCE) Training

• Ziel ist die Minimierung der Wortfehlerrate (WER).
• λ* = arg min WER({O}|λ, {w})
• Die Wortfehlerrate (WER) wird wie folgt berechnet: WER = (D + I + S) / N.
• D: Deletions, I: Insertions, S: Substitutions, N: Anzahl der Worte.
• Die dynamische Programmierung wird verwendet, um die Ergebnisse zu erhalten.

Modelltraining

• Das Henne-Ei-Problem: Die meisten Trainingsalgorithmen benötigen ein vortrainiertes Modell.
• Das Training ist grundsätzlich iterativ.
• Initialisierung der Modellparameter (Π, A, B).
• Re-Estimation der Parameter.
• Konvergenztest.

Festlegung von Π für Verbundworterkennung

• Ohne Glue States (via Grammatik)
• Mit Glue States

Initialisierung von A und B

• Segmentierte Daten für Maximum-Likelihood (ML)-Initialisierung der Parameter A und B werden benötigt.
• Textgrid-Dateien für die TIDIGITS-Datenbank werden bereitgestellt.
• Die Textgrid-Daten stammen aus dem Montreal Forced Aligner,.

Parameterschätzung aus segmentierten Daten

• Für eine erste Zuordnung zwischen Daten und HMM-Zuständen(Hidden Markov Model)
• Zu bestimmen: Ausgangsverteilungsdichten bi(o) ∀i und Übergangswahrscheinlichkeiten aij ∀i, j.

ML-Parameterschätzung für diskrete bi(o)

• Notation: ot ∈ {o1, ..., oK}, hier: ot ∈ [-1, 0, ..., 4].
• ML-Schätzung für bi(o): Die Formel zur Berechnung von bi(ok) beinhaltet die Anzahl des Auftretens von ok in Zustand i dividiert durch die Anzahl des Auftretens von Zustand i.

ML-Parameterschätzung für kontinuierliche bi(o)

• Annahme: Gauß-Verteilung für bi(0).
• Parameter μ, Σ pro Zustand i.
• Zum Beispiel wird der (Temperatur-) Mittelwert für den Zustand Regen verwendet.

Initiale Parameterschätzung DNN/HMM-Hybrid

• Gegeben zufällig initialisierte DNN-Parameter (w).
• Update der Gewichte (w) durch Backpropagation (E Epochen oder Early Stopping).

Parameterinitialisierung für aij

• Die einfachste (ad hoc) Parameterinitialisierung für aij kommt ohne Trainingsdaten aus
• Initialisiere die Matrix als Nullmatrix.
• Setze alle zulässigen Übergänge auf 1
• Normiere die Zeilen von A auf 1.

ML-Parameterschätzung für aij

• ML-Schätzung für Übergangswahrscheinlichkeiten: ai,j = (Anzahl Übergänge aus Zustand i nach Zustand j) / (Anzahl Übergänge aus Zustand i).
• In einem Beispiel wird die Übergangswahrscheinlichkeit vom Zustand Regen zum Folgezustand Sonne betrachtet.

Iteratives Re-Training

• Initialisierung, Segmentierung, Parameterschätzung und Reestimation werden verwendet.

Konvergenztest

• Als mögliche Kriterien hierfür werden die Verbesserung der Beobachtungswahrscheinlichkeit, der Kreuzentropie (CE) oder die Verbesserung der Wortfehlerrate genannt.

Einordnung des MCE-Training

• MCE-Training baut auf einem trainierten Modell auf und dient dem Finetuning
• Es kann mit einem Modell ausgeführt werden, für das das ML-Training (Initialisierung & Viterbi-Training) bereits abgeschlossen ist.
• Die betrachtete Version von MCE-Training passt nur das DNN an und lässt das HMM unverändert.

Approximation: MMI-Kriterium

• Ziel: Der Mutual Information zwischen Referenztranskription und Erkennungsergebnis wird maximiert.
• Benötigt: Totales Differential, Optimale Zustandssequenz aus Forced Alignment und Zustandswahrscheinlichkeiten aus Forward-Backward-Algorithmus.
• Forced Alignment: Viterbi-Algorithmus auf einem kleinen Verbund-HMM, das aus einer Reihenschaltung der Worte der Referenztranskription des jeweiligen Trainingssatzes besteht.

Zusammenfassung

• Das Training von Spracherkennungsmodellen ist ein iterativer Prozess.
• Nach der Initialisierung erfolgen mehrere Trainingsdurchläufe, die das Modell sukzessive verbessern
• Zwischen den Trainingsrunden kann das Modell oder der Merkmalsraum verfeinert werden
• Die Kostenfunktion kann auch angepasst werden, zum Beispiel von einer generativen zu einer diskriminativen Funktion, bis die optimale Erkennungsrate auf den Development-Daten erreicht wird.

Aktuelle Forschungsthemen im Training von Large-Vocabulary-Erkennern

• End-to-end-Training: Lernen ohne explizite Segmentierung.
• Multilinguales Training: Gemeinsame erste DNN-Schichten, getrennte letzte Schichten zur Erkennung der Phoneme; Nutzung von 680.000h Sprache mit "schwacher" Supervision in 97 Sprachen.
• Adaption: Weiteres Training nur auf Daten eines bestimmten Sprechers oder einer bestimmten Situation.
• Halbüberwachtes Training: Weniger Trainingsdaten durch unüberwachtes Pre-training von Conformer-Encodern & Teacher-Student-Training.