Grundlagen der Statistik (Grundlagen der Statistik: Satz von Bayes, Produktregel, Schätzung kategorialer Verteilungsdichten) - Kapitel 7

Einführung in die Automatische Spracherkennung

• Das Kapitel 7 behandelt statistische Grundlagen und Klassifikation im Kontext der automatischen Spracherkennung.
• Der Vortrag wurde gehalten von Prof. Dr.-Ing. Dorothea Kolossa am 26. November 2024.
• Der Kurs findet im Fachgebiet Elektronische Systeme der Medizintechnik (mtec) statt.

Grundlagen der Wahrscheinlichkeitsrechnung

• Die klassische Wahrscheinlichkeitsrechnung beschäftigt sich mit Ergebnissen von Zufallsexperimenten.
• Ein Zufallsexperiment ist ein Experiment, bei dem der Raum aller möglichen Ergebnisse bekannt ist, bei welchem man aber den Ausgang eines konkreten Versuchs nicht kennt und es unter identischen Bedingungen wiederholt werden kann.
• Der Ereignisraum wird mit Ω bezeichnet.
• Die relative Häufigkeit eines Ereignisses A in N Versuchen wird mit P_N(A) = K/N bezeichnet, wobei K die Anzahl der Auftritte des Ereignisses A darstellt.

Wahrscheinlichkeit – Klassischer Zugang

• Die relative Häufigkeit kann als Wahrscheinlichkeit definiert werden.
• Wahrscheinlichkeit P(A) = lim_N→∞ P_N(A).
• Diese Definition wird als frequentistische Sicht bezeichnet und stammt von von Mises.

Wahrscheinlichkeit – Axiomatischer Zugang

• Die Wahrscheinlichkeit ist axiomatisch definiert durch drei Axiome von Kolmogoroff.
• Axiom 1: P(A) ≥ 0
• Axiom 2: P(Ω) = 1
• Axiom 3: Wenn A ∩ B = Ø gilt: P(A ∪ B) = P(A) + P(B)

Moderne, maßtheoretische Sicht (I)

• Eine σ-Algebra (Sigma-Algebra) ist eine Menge von Mengen A, welche den Bedingungen Ω ∈ A, A ∈ A impliziert, dass die Menge abgeschlossen unter Komplementbildung ist und dass die Menge abgeschlossen unter der Vereinigung von endlich vielen (oder abzählbar unendlich vielen) Teilmengen ist.

Moderne, maßtheoretische Sicht (II)

•  Ein Wahrscheinlichkeitsmaß P(A) für eine σ-Algebra A erfüllt drei Bedingungen:
• P(A) ≥ 0
• P(Ω) = 1
• Wenn A_i ∩ A_j = Ø gilt: P(A_i ∪ A_j) = P(A_i) + P(A_j)

Wahrscheinlichkeiten mit Bayes und Jaynes

• Wahrscheinlichkeiten können auch ohne Bezug auf relative Häufigkeiten, sondern unter Bezug auf den Grad der Plausibilität definiert werden.
• Drei Annahmen von Jaynes führen zu allen Regeln und Axiomen der Wahrscheinlichkeitsrechnung.
• Plausibilität wird durch reelle Zahlen dargestellt, wobei größere Zahlen höhere Plausibilität anzeigen.
• Jaynes zeigt, dass Kolmogoroffs Axiome aus seinen Desiderata folgen, wenn P mit bekannter Wahrscheinlichkeit P gleichgesetzt wird.
• Aussagenlogik kann auf unsicheres Schließen erweitert werden.
• Die Definition der Wahrscheinlichkeit ist objektiv und jeder rationale Agent kommt bei gleichem Wissenstand zu gleichen Einschätzungen.

Zufallsvariablen

• Eine Zufallsvariable ist eine Funktion X: Ω → R, die aus dem Ereignisraum auf die reellen Zahlen abbildet.
• Es wird zwischen diskreten und kontinuierlichen Zufallsvariablen unterschieden.

Diskrete Zufallsvariablen (I)

• Diskrete Zufallsvariablen haben eine endliche Anzahl an möglichen Werten.
• Sie werden durch eine Verteilungsdichte P(X = a) = P_X(a) beschrieben.

Diskrete Zufallsvariablen (II)

• Die Verteilungsfunktion F_X(a) ist die kumulative Summe über die Verteilungsdichte: F_X(a) = P(X ≤ a).
• Die Normierungsbedingung lautet: Σ_aεΩ P_X(a) = 1

Eigenschaften von Zufallsvariablen

• Der Erwartungswert E(X) einer Zufallsvariablen X berechnet sich als E(X) = Σ_xεΩ P_X(x) * x.
• Der Erwartungswert einer Funktion g(X) berechnet sich wie folgt: E(g(X)) = Σ_xεΩ P_X(x) * g(x).
• Momente einer Zufallsvariablen werden durch Erwartungswerte von Potenzen der Zufallsvariablen definiert (z.B. 1. Moment, 2. Moment, zentrales Moment).

Bedingte Wahrscheinlichkeiten

• Die bedingte Wahrscheinlichkeit P(A|B) eines Ereignisses A gegeben ein Ereignis B ist definiert als P(A|B) = P(A, B) / P(B).

Satz von Bayes

• Gemeinsame Wahrscheinlichkeiten lassen sich auf zwei Arten berechnen: P(A, B) = P(A|B)P(B) = P(A)P(B|A).
• Der Satz von Bayes lautet: P(A|B) = P(B|A)P(A) / P(B).

Statistische Unabhängigkeit

• Zwei Ereignisse A und B sind genau dann statistisch unabhängig, wenn P(A, B) = P(A)P(B) gilt, also P(A|B) = P(A) und P(B|A) = P(B).

Klassifikation

• Die Aufgabe der Klassifikation besteht darin, Objekte automatisch in Klassen einzuteilen.
• Diverse Beispiele für Klassifikationsprobleme
• Wichtige Methoden zur Klassifikation: Statistische Klassifikatoren und Deep Neural Networks (DNNs).

Maximum-Likelihood-Klassifikation

• Gegeben sind verschiedene Klassen k mit zugehörigen Verteilungsdichten p_x(x|k)
• Maximum-Likelihood-Klassifikation wählt die Klasse k, für welche p_x(x|k) am größten ist.

Bayes-Klassifikation

• Bayes-Klassifikation wählt die Klasse mit der höchsten a-posteriori-Wahrscheinlichkeit P(k|x).
• Die a-posteriori-Wahrscheinlichkeit wird mit p(x|k) * p(k) / p(x) berechnet.

Optimale Klassifikation

• Optimalität wird durch Zuordnung von Kosten zu Fehlentscheidungen definiert.
• Der Klassifikator wird durch Minimierung der Risikofunktion (Erwartungswert der Kostenfunktion) bestimmt.
• Beispiel: Konstante Kosten für Fehlklassifikationen
• Die optimale Klassifikation wird durch Wahl der Klasse mit maximaler a-posteriori-Wahrscheinlichkeit P(k|x) bestimmt.