Grundlagen der automatischen Spracherkennung - Kapitel 6

Grundlagen der automatischen Spracherkennung - Kapitel 6: Hybride Spracherkennung

• Das Kapitel behandelt hybride Spracherkennung, speziell die Frage nach den geeigneten Einheiten.
• Die Präsentation beinhaltet eine Gliederung (Outline) mit den Themen Hybride Spracherkennung und die Frage der Einheiten.
• Die Gesamtstruktur der hybriden Spracherkennung umfasst drei Schritte: Feature-Extraktion, Deep Neural Network (DNN) und Search.
• Die Ausgangsschicht des DNN benötigt spezifische sprachliche Einheiten.
• Die Anforderungen an die Einheiten umfassen Modularität (alle Vokabeln konstruierbar), Transfer (auch neue Wörter), Robustheit (genügend Trainingsmaterial) und Präzision (spezifische Aussprache).
• Ein Beispiel für einen Ansatz ist das phonetische Wörterbuch.
• Die Erkennung aller Wörter einer Sprache erfordert ein Wörterbuch wie beispielsweise "CMUDict."
• Die Aussprache von Phonemen ist kontextabhängig (Vorgänger- und Nachfolgelaute), z.B. dorsaler Frikativlaut (/x/ in Buch vs. /x/ in Ich).
• Der alveolare Plosivlaut ist ebenfalls kontextabhängig (/t/ in steil vs. /t/ in Teil).
• Phoneme als Einheiten können alle Wörter des Vokabulars konstruieren (Modularität), neue Wörter der Sprache (Transfer) und ausreichend Trainingsmaterial für die Robustheit.
• Phoneme haben aber eine ungenügende Präzision (z.B., /x/ in Buch, Richtig).
• Eine Alternative zu Phonemen sind Triphone. Ein Triphon berücksichtigt das Phonem mit dem spezifischen linken und rechten Kontext.
• Problem der Triphone: ca. 57.000 englische bzw. 36.000 deutsche Triphone, mangelnde Datenmenge für Trainingsmaterial, möglicherweise keine Robustheit und/oder Transfer.
• Lösung für das Problem sind geclusterte Triphone als neue Einheit (agglomerativ oder separierend).
• Entscheidungsbaum-Strategie in Kaldi & HTK: Phoneme werden sukzessive durch die "beste" Frage (z.B. Linkontext, Rechtkontext) aufgeteilt.
• Entscheidungsbaum endet, wenn die Likelihood keine Verbesserung mehr zeigt oder die Anzahl der Trainingsbeispiele zu gering ist.
• Beispielergebnisse der Entscheidungsbaum-Berechnung sind in einem Dreiecksdiagramm dargestellt, die einzelnen Werte bezeichnen verschiedene Ausspracheschritte.
• Triphone-Cluster als Einheiten erfüllen Modularität, Transfer, Trainingsmaterial und ermöglichen spezifische Aussprache durch Clustering mit einstellibarer hoher Präzision.
• Grapheme (Buchstaben/Zeichen): Die direkte Zuordnung von Audiosequenzen zu Buchstabenfolgen. Neuronales Netz mit Softmax-Layer über Buchstaben.
• Eine Beispielarchitektur ist "Listen, attend and spell" [CJLV15].
• Vorteile von Graphem-basierter Spracherkennung: integriertes System (weniger Implementierungsaufwand), multi-lingual trainierbar und Modularität durch Buchstaben/Zeichen der Sprache.
• Nachteile: Bedarf an großer Datenmenge und lange Trainingszeit, Erkennungsraten sind möglicherweise nicht optimal.
• Wortteile als Einheit: Neuronales Netz liefert Wahrscheinlichkeiten für Wortteile, Auswahl z.B. über Byte-Pair Encoding (BPE) [SHB16]. Buchstaben sind mögliche Wortteile mit sukzessivem Hinzufügen häufigster Paare ('Tokens').
• Beliebte Implementierung: Sentencepiece [Kud18]. Alternative: BPE-Implementierung von Whisper (OpenAI) – tiktoken.
• Beispieltext: Kurzer Textbeispielauszug.
• Demo Sentencepiece: Demo-Code für automatische Spracherkennung und Installation des sentencepiece Dokuments.
• Take-home Messages zu Sentencepiece: Das Trainingsmaterial bestimmt die Passgenauigkeit des Modells; das Modell sollte umfassend und repräsentativ die Sprache abdecken. Textnormalisierung ist wichtig, irrelevante Aspekte aus den Daten zu entfernen (z.B., Groß-/Kleinschreibung, Unicode Äquivalenz).
• Wortteile als Einheit: Durch Einbeziehung aller Buchstaben lassen sich alle Wörter des Vokabulars konstruieren (Modularität) und neue Wörter erzeugen (Transfer). Robustheit vom Training abhängig. Spez. Aussprache durch einstellbar hohe Präzision.