Klassische Wahrscheinlichkeitsrechnung - Kapitel 7

• Die klassische Wahrscheinlichkeitsrechnung beschäftigt sich mit den Ergebnissen von Zufallsexperimenten.
• Ein Zufallsexperiment ist ein Experiment mit bekanntem Raum aller möglichen Ergebnisse, unbekanntem Ausgang im Voraus und der Möglichkeit zur Wiederholung unter identischen Bedingungen.
• Der Raum aller möglichen Ergebnisse eines Zufallsexperiments wird als Ereignisraum Ω bezeichnet.
• Wenn ein Ereignis A aus einer Teilmenge Ω in N Versuchen K-mal auftritt, wird die relative Häufigkeit von A als Pɴ(A) = K/N bezeichnet.
• Die Wahrscheinlichkeit von A kann als Grenzwert der relativen Häufigkeit definiert werden: P(A) = lim (N→∞) Pɴ(A).
• Die frequentistische Sicht dieser Definition stammt von von Mises.

Axiome nach Kolmogoroff

• P(A) ≥ 0
• P(Ω) = 1
• Wenn A ∩ B = Ø, dann gilt: P(A ∪ B) = P(A) + P(B)

Sigma-Algebra

• Eine Menge von Mengen A wird als σ-Algebra bezeichnet, wenn sie und ihre Elemente Aᵢ folgende Bedingungen erfüllen:
• Ω ∈ A
• Für A ∈ A gilt auch A ∈ A, was bedeutet, dass die Menge unter Komplementbildung abgeschlossen ist.
• Wenn für alle i gilt, dass Aᵢ ∈ A, dann gilt auch ⋃ᵢAᵢ ∈ A, was bedeutet, dass die Menge unter der Vereinigung von endlich oder abzählbar unendlich vielen Teilmengen abgeschlossen ist.

Wahrscheinlichkeitsmaß

• Für eine Sigma-Algebra A, die zu einem Ereignisraum Ω passt, ist P(A) für A ∈ A genau dann ein Wahrscheinlichkeitsmaß, wenn:
• P(A) ≥ 0
• P(Ω) = 1
• Wenn Aᵢ ∩ Aⱼ = Ø gilt, dann gilt: P(Aᵢ ∪ Aⱼ) = P(Aᵢ) + P(Aⱼ)
• Wahrscheinlichkeiten können auch ohne relative Häufigkeiten und explizite Axiome eingeführt werden.
• E.T. Jaynes setzt Wahrscheinlichkeiten mit dem Grad der Plausibilität eines Ereignisses gleich.
• Alle Regeln der Wahrscheinlichkeitsrechnung lassen sich aus drei Annahmen ableiten.
• Plausibilität P sollte durch reelle Zahlen dargestellt werden, wobei eine höhere Zahl eine größere Plausibilität bedeutet.
• Vernünftigkeit impliziert, dass wenn Aussage A plausibler wird durch die Wahrheit von Aussage C, dann P(A|C) > P(A|¬C) gelten soll.
• Konsistenz bedeutet, dass jede äquivalente Art, eine Plausibilität zu berechnen, zum selben Ergebnis führen sollte, z.B. P(A, B) = P(B, A).
• Alle äquivalenten Zustände der Welt sollten den gleichen Grad an Plausibilität haben und alle vorhandenen Informationen sollten verwendet werden.
• Kolmogoroffs Axiome können aus seinen Desiderata abgeleitet werden, wenn P mit der Wahrscheinlichkeit gleichgesetzt wird.
• Die Werkzeuge der Aussagenlogik können auf unsicheres Schließen erweitert werden.
• Diese Definition der Wahrscheinlichkeit ist objektiv; jeder rationale Agent mit dem selben Wissensstand muss zu der selben Einschätzung einer Wahrscheinlichkeit kommen.
• Mit geringen Datenmengen und in 'ill-posed problems' kann man optimal schließen.

Zufallsvariable

• Eine Zufallsvariable ist eine Funktion X: Ω → ℝ, die aus dem Ereignisraum auf ℝ abbildet.
• Beispiel für eine Zufallsvariable ist der Kartenwert beim Skat, der auf Punkte abgebildet wird (z.B. 7 → 0, Bube → 2, As → 11).
• Es wird zwischen diskreten und kontinuierlichen Zufallsvariablen unterschieden.
• Diskrete Zufallsvariablen haben eine endliche Zahl möglicher Werte und werden durch eine Verteilungsdichte P(X = a) = Pₓ(a) beschrieben, wobei X die Zufallsvariable und a einer ihrer möglichen Werte ist.
• Die Verteilungsfunktion ist die kumulative Summe über die Verteilungsdichte: Fₓ(a) = P(X ≤ a).

Normierungsbedinung

• Σₐ∈Ω Pₓ(a) = 1

Mittelwert von Messreihen

• Der Mittelwert einer Messreihe wird berechnet als m = (1/T) * Σ[i=1 bis T] x(i).
• Der Erwartungswert ist eine Eigenschaft der Zufallsvariable X und wird berechnet als E(X) = Σ[x∈Ω] Pₓ(x) * x.
• Der Erwartungswert kann als Mittelwert über unendlich viele Versuche (T → ∞) betrachtet werden.
• Der Erwartungswert einer Funktion g(X) der Zufallsvariable wird ähnlich berechnet: E(g(X)) = Σ[x∈Ω] Pₓ(x) * g(x).

Momente von Zufallsvariablen

• Mit Hilfe dieser Definition lassen sich interessante Erwartungswerte betrachten:
• 1. Moment: E(x) = μₓ
• 2. Moment: E(x²)
• 3. Moment: E(x³)...
• N. Moment: E(xᴺ).
• Zentrales Moment: E((x - μₓ)²) = σₓ² (Varianz), mit σₓ als Standardabweichung.
• 3. zentrales Moment: E((x - μₓ)³)...
• N. zentrales Moment: E((x - μₓ)ᴺ)

Bedingte Wahrscheinlichkeit

• Die bedingte Wahrscheinlichkeit eines Ereignisses A, gegeben Ereignis B, ist definiert als P(A|B) = P(A, B) / P(B).

Gemeinscame Wahrscheinlichkeiten

• Gemeinsame Wahrscheinlichkeiten können auf zwei Arten berechnet werden: P(A, B) = P(A|B)P(B) = P(A)P(B|A).
• Daraus ergibt sich der Satz von Bayes: P(A|B) = P(B|A)P(A) / P(B).
• Der Satz von Bayes wird oft zur Umkehr von Schlussrichtungen genutzt.
• Angenommen, ein diagnostischer Test T für eine seltene Krankheit ist positiv, wobei der Test sensitiv ist (P(T|E) = 0.9999), die Krankheit selten ist (P(E) = 1 × 10⁻⁶) und der Test nicht sehr spezifisch ist (P(T) = 0.1).

Statistische Unabhängigkeit

• Zwei Ereignisse A und B sind statistisch unabhängig, wenn P(A, B) = P(A)P(B) gilt.
• Dies ist der Fall, wenn P(A|B) = P(A) bzw. P(B|A) = P(B) gilt.
• Klassifikation ist die Aufgabe, Objekte automatisch in Klassen einzuteilen.
• Die Struktur der Klassifikation umfasst Feature Extraction und Klassifikation zur Bestimmung der Klassenidentität k.
• Feature Extraction beinhaltet die Auswahl eines Featurevektors x, der diskriminativ für die gegebenen Klassen sein sollte.
• Klassifikation umfasst viele Methoden, besonders interessant für Zeitreihen sind statistische Klassifikatoren und Deep Neural Networks (DNNs).

Maximum-Likelihood-Klassifikation

• Gegeben Klassen k = 1...K (z.B. Konsonant, Vokal, Hintergrundgeräusche) und zugehörige Verteilungsdichten pₓ(x|k = 1)...pₓ(x|k = K)
• Die Maximum-Likelihood-Klassifikation wählt die Klasse k̂, die die Likelihood p(x|k) maximiert: k̂ = arg max [k=1...K] p(x|k)
• Die Bayes-Klassifikation wählt die Klasse k̂, die die A-posteriori-Wahrscheinlichkeit p(k|x) maximiert: k̂ = arg max [k=1...K] p(k|x) = arg max [k=1...K] [p(x|k)p(k) / p(x)] = arg max [k=1...K] p(x|k)p(k).
• Weil der Bayes-Klassifikator immer die Klasse mit der maximalen A-posteriori-Wahrscheinlichkeit P(k|x) auswählt, wird er oft als MAP-Klassifikator bezeichnet.

Optimale Klassifiation

• Der Bayes-Klassifikator "erkennt" häufiger die wahrscheinlichen Klassen und kann Vorwissen berücksichtigen, was zu geringeren Fehlerraten führt.
• Allerdings werden unwahrscheinliche Klassen selten erkannt, was problematisch sein kann, wenn seltene Fälle hohe Kosten verursachen.
• Optimale Klassifikation erfordert zunächst die Festlegung des Kriteriums für Optimalität, typischerweise durch Zuordnung von Kosten zu Fehlentscheidungen mittels einer Kostenfunktion cij.
• cij beschreibt die Kosten, wenn Klasse i als Klasse j klassifiziert wird.
• Für zwei Klassen (0 mit defekten Teilen und 1 mit o.k. Teilen):
  • c₀₀ = 0
  • c₁₁ = 0
  • c₁₀ = Herstellungskosten, evtl. Entsorgungskosten
  • c₀₁ = Ausfallkosten, Haftung, Imageschäden.
• Nach Festlegung der Kostenfunktion cij wird die Risikofunktion Rj = E(cij) definiert, um die im Mittel auftretenden Kosten zu minimieren.
• Die Risikofunktion als Funktion des Merkmalsvektors x und der Klassifikationsentscheidung wird berechnet als Rj(x) = E(cij) = Σ[i=1 bis N] P(i|x)cij.
• Dabei ist i die wahre Klasse und j die vom Klassifikationsverfahren "erkannte" Klasse.
• Die Klassifikationsentscheidung für Merkmalsvektor x wird so getroffen, dass die zu erwartenden Kosten minimiert werden: k̂ = arg min [j] Rj(x) = arg min [j] Σ[i=1 bis N] P(i|x)cij.
• Die Klassifikationsvorschrift ist vollständig bestimmt, sobald die Entscheidung für eine Kostenfunktion cij gefallen ist.
• Bestraft man alle Fehlentscheidungen gleich hart, dann gilt:
• cij = 0, wenn i = j,
• cij = c, sonst.
• Dies lässt sich kurz darstellen als cij = c(1 - δij) mit der Delta-Funktion δij = 1, wenn i = j, und δij = 0, sonst.
• Die Risikofunktion Rj(x) bei Entscheidung für Klasse j ergibt sich aus Gleichung (1) als Rj(x) = Σ[i=1 bis N] cijP(i|x) = Σ[i=1 bis N] c(1 - δij)P(i|x) = c Σ[i=1, i≠j] P(i|x).
• Vereinfacht ergibt sich Rj(x) = c * [1 - P(j|x)].
• Daher ist die Risikofunktion bei konstanten Kosten: Rj(x) = c - cP(j|x).
• Um diese Risikofunktion bei konstanten Kosten durch Wahl der Klasse j zu minimieren, muss P(j|x) maximiert werden: k̂ = arg min [j] Rj(x) = arg max [j] P(j|x).

Klassifikationsregel des Bayes-Klassifikators

• Das entspricht genau der Klassifikationsregel des Bayes-Klassifikators; dieser ist also immer dann optimal, wenn
• alle Fehlklassifikationen gleich große Probleme verursachen und
• man P(j|x) halbwegs zuverlässig berechnen kann.
• Hierfür werden tiefe neuronale Netze zur Klassifikation verwendet, mit der Schätzung von P(j|x) als Zwischenschritt.