Topologie im Deep Learning

Die Topologie des Deep Learning

• Deep Learning ist bemerkenswert effektiv, aber es mangelt an einem vollständigen theoretischen Verständnis.
• Die Topologie kann zur Analyse von Deep Learning verwendet werden.

Lernergebnisse

• Die Teilnehmer sollen verschiedene Anwendungsmöglichkeiten topologischer Ideen im Deep Learning verstehen können.
• Teilnehmer sollen den Unterschied zwischen lokalen und globalen Eigenschaften eines Deep-Learning-Modells verstehen.
• Teilnehmer sollen um die Herausforderungen bei der Interpretation von Deep-Learning-Modellen wissen.

Was ist Topologie?

• Die Topologie untersucht Eigenschaften von Räumen, die unter kontinuierlichen Deformationen invariant bleiben: Dehnen, Biegen, Verformen.
• Der Fokus liegt auf der Verbindung der Punkte im Raum, nicht auf den Punkten selbst.
• Relevante Konzepte sind u.a. Komponenten, Schleifen und Hohlräume.

Hochdimensionale Daten

• Hochdimensionale Daten können komplex sein.
• Es besteht die Möglichkeit einer Struktur mit niedrigerer Dimensionalität.
• Daten, die nahe an einem Kreis in $\mathbb{R}^{1000}$ liegen, könnten topologisch als 1-dimensional betrachtet werden.

Finden topologischer Strukturen

• Persistente Homologie: Eine Technik, um topologische Strukturen robust aus Daten abzuleiten.
• Es wird eine Familie verschachtelter simplizialer Komplexe erstellt und topologische Merkmale verfolgt, während sie erscheinen und verschwinden.
• Langlebige topologische Merkmale werden als "real" betrachtet, während kurzlebige Merkmale als "Rauschen" gelten.
• Die Dauer, die ein topologisches Merkmal anhält, wird als Persistenz bezeichnet.
• Die Ausgabe ist ein Persistenzdiagramm.

Form der Daten

• Datensatz $X \subset \mathbb{R}^d$
• Distanzfunktion $d(x,y)$
• Skala $r > 0$
• Vietoris-Rips-Komplex: Ein abstrakter simplizialer Komplex $R_r(X)$ wird erstellt.
• Eckpunkte sind die Punkte in $X$.
• Eine Kante $(x,y)$ existiert, wenn $d(x,y) \le r$.
• Ein $k$-Simplex $\sigma = (x_0, \dots, x_k)$ existiert, wenn $d(x_i, x_j) \le r$ für alle $i,j$.
• Der Komplex bietet einen kombinatorischen Zugang zu den Daten.

Deep Learning

• Ein flexibles Werkzeug zum Erstellen von Funktionen $f: X \to Y$.
• Es basiert auf der Zusammensetzung einfacher Funktionen, sogenannter Schichten.
• Funktionen werden datenbasiert gelernt.
• Moderne Deep-Learning-Modelle haben Millionen (oder sogar Milliarden) von Parametern.

Zwei Ansätze

• Analyse der Architektur eines Deep-Learning-Modells vor dem Training.
• Analyse der Funktion, die während des Trainings gelernt wird.

Analyse des Funktionsraums

• Betrachtung des Raums der Funktionen, die ein Deep-Learning-Modell darstellen kann.
• Eingabe: $X \subset \mathbb{R}^d$.
• Ausgabe: $Y \subset \mathbb{R}^k$.
• $F$ sei der Raum der Funktionen von $X$ nach $Y$, die das Deep-Learning-Modell darstellen kann.
• Fragen sind, welche Eigenschaften $F$ hat und wie sich die Architektur des Deep-Learning-Modells auf $F$ auswirkt.

Analyse der gelernten Funktion

• Nach dem Training stellt ein Deep-Learning-Modell eine einzelne Funktion $f: X \to Y$ dar.
• Fragen sind, welche Eigenschaften $f$ hat, wie der Trainingsprozess $f$ beeinflusst und wie Eigenschaften sich auf die Leistung des Deep-Learning-Modells auswirken.

Die Landschaft der Verlustfunktionen

• Deep-Learning-Modell mit Parametern $\theta$.
• Verlustfunktion $L(\theta)$.
• Ziel: Finde $\theta$, das $L(\theta)$ minimiert.
• $L(\theta)$ ist typischerweise nicht konvex.
• Es gibt mehrere lokale Minima sowie Sattelpunkte.
• Große neuronale Netze können leicht zu globalen Optima trainiert werden, trotz der Nicht-Konvexität ihrer Verlustfunktionen.

Theorem

• Für Deep-Learning-Modelle sind "die meisten" lokalen Minima auch globale Minima.
• Es gibt offene Fragen zur Definition von "die meisten", "Deep-Learning-Modell" und zur Landschaft um diese Minima.

Kritische Punkte von Verlustfunktionen

• Deep-Learning-Modell mit Parametern $\theta$.
• Verlustfunktion $L(\theta)$.
• In einem lokalen Minimum zeigen alle Richtungen "nach oben".
• An einem Sattelpunkt zeigen einige Richtungen nach oben und einige nach unten.
• Die Topologie der Verlustfunktion hängt mit der Anzahl und den Arten von kritischen Punkten zusammen.
• Morse-Theorie: Ein Zweig der Topologie, der die Beziehung zwischen der Topologie eines Raums und den kritischen Punkten einer Funktion in diesem Raum untersucht.

Unerwartete Anwendung

• Werkzeuge der persistenten Homologie werden zur Untersuchung der Verlustlandschaft verwendet.
• Der Wert der Verlustfunktion $L(\theta)$ wird als Höhe betrachtet.
• Die persistente Homologie der Sublevel-Mengen von $L(\theta)$ wird berechnet.
• Dies gibt Aufschluss über die Form der Verlustlandschaft.
• Ergebnisse: Verschiedene Architekturen haben unterschiedliche Verlustlandschaften und verschiedene Trainingsmethoden erkunden die Verlustlandschaft unterschiedlich.

Fazit

• Die Topologie bietet Werkzeuge zur Analyse von Deep Learning.
• Diese Werkzeuge können verwendet werden, um sowohl die Architektur eines Deep-Learning-Modells als auch die Funktion zu untersuchen, die während des Trainings gelernt wird.
• Offene Forschungsfragen bestehen.

Vorlesung 24

Anwendungen der Laplace-Transformation

4. Schaltungsanalyse

• Betrachtung einer allgemeinen RLC-Schaltung (Lecture 14)

Vorlesung 14

Numerische Differenzierung und Integration

Differenzierung

• Schätzung der Ableitung $f'(x)$ einer Funktion $f(x)$, die an diskreten Punkten bekannt ist.
• Verwendung der Taylor-Entwicklung möglich: $$ f(x + h) = f(x) + hf'(x) + \frac{h^2}{2!}f''(x) +... $$

Approximation erster Ordnung

$$ f'(x) \approx \frac{f(x + h) - f(x)}{h} + O(h) $$

• Dies ist eine Vorwärtsdifferenzenapproximation.
• Ableitung einer Rückwärtsdifferenzenapproximation: $$ f'(x) \approx \frac{f(x) - f(x - h)}{h} + O(h) $$

Approximation zweiter Ordnung

• Subtraktion der beiden Taylor-Entwicklungen: $$ f(x + h) = f(x) + hf'(x) + \frac{h^2}{2!}f''(x) + \frac{h^3}{3!}f'''(x) +... $$ $$ f(x - h) = f(x) - hf'(x) + \frac{h^2}{2!}f''(x) - \frac{h^3}{3!}f'''(x) +... $$ $$ f(x + h) - f(x - h) = 2hf'(x) + \frac{2h^3}{3!}f'''(x) +... $$ $$ f'(x) = \frac{f(x + h) - f(x - h)}{2h} + O(h^2) $$
• Dies ist eine zentrale Differenzenapproximation.

Zweite Ableitung

• Addition der beiden Taylor-Entwicklungen: $$ f(x + h) + f(x - h) = 2f(x) + h^2f''(x) + \frac{2h^4}{4!}f''''(x) +... $$ $$ f''(x) = \frac{f(x + h) - 2f(x) + f(x - h)}{h^2} + O(h^2) $$

Integration

• Schätzung des Integrals $\int_a^b f(x) dx$ einer Funktion $f(x)$, die an diskreten Punkten bekannt ist.

Rechteckregel

• Approximation der Funktion als Rechteck: $$ \int_a^b f(x) dx \approx (b - a)f(a) $$

Trapezregel

• Approximation der Funktion als Trapez: $$ \int_a^b f(x) dx \approx \frac{b - a}{2}(f(a) + f(b)) $$

Simpsonregel

• Approximation der Funktion als quadratische Funktion.
• Gegeben drei Punkte $f(a)$, $f(b)$ und $f(c)$, wobei $c = (a + b) / 2$: $$ \int_a^b f(x) dx \approx \frac{b - a}{6}(f(a) + 4f(c) + f(b)) $$

Vorlesung 19: Fr, 8. März

19.1 Die Flächenformel

Theorem 19.1.1

• Wenn $\mathbf{r}(u, v)$ auf einem Gebiet $D$ in der $uv$-Ebene $C^1$ ist, dann ist die Fläche der von $\mathbf{r}$ über $D$ parametrisierten Fläche $\iint_D ||\mathbf{r}_u \times \mathbf{r}_v||dA$.

Anmerkung 19.1.2

• Dies gilt auch, wenn sich die Oberfläche selbst überlappt.

Beispiel 19.1.3

• Bestimmung der Oberfläche einer Kugel mit Radius $R$.
• Lösung: Parametrisierung über $\mathbf{r}(\theta, \phi) = \langle R\sin\phi\cos\theta, R\sin\phi\sin\theta, R\cos\phi \rangle$ mit $0 \le \theta \le 2\pi$, $0 \le \phi \le \pi$.
• Berechnung von $\mathbf{r}\theta$, $\mathbf{r}\phi$, $\mathbf{r}\theta \times \mathbf{r}\phi$ und $||\mathbf{r}\theta \times \mathbf{r}\phi||$, was zu $R^2\sin\phi$ führt.
• Die Oberfläche beträgt $\int_0^\pi \int_0^{2\pi} R^2\sin\phi d\theta d\phi = 4\pi R^2$.

Beispiel 19.1.4

• $S$ sei die Oberfläche $z = x^2 + y^2$ unterhalb von $z = 4$.
• Bestimmung der Oberfläche von $S$.
• Lösung: Parametrisierung von $S$ durch $\mathbf{r}(x, y) = \langle x, y, x^2 + y^2 \rangle$, wobei $x^2 + y^2 \le 4$.
• Berechnung von $\mathbf{r}_x$, $\mathbf{r}_y$, $\mathbf{r}_x \times \mathbf{r}_y$ und $||\mathbf{r}_x \times \mathbf{r}_y||$, was zu $\sqrt{4x^2 + 4y^2 + 1}$ führt.
• Die Oberfläche beträgt $\iint_{x^2 + y^2 \le 4} \sqrt{4x^2 + 4y^2 + 1} dA$.
• Wechsel zu Polarkoordinaten, was zu $\frac{\pi}{6}(17\sqrt{17} - 1)$ führt.

Herz-Kreislauf-System

Blutgefäße

Arterien

• Führen Blut vom Herzen weg.
• Dicke, starke Wände in 3 Schichten:
  • Tunica intima: Endothel
  • Tunica media: Glatte Muskulatur, elastische Fasern
  • Tunica externa: Bindegewebe
• Elastische Arterien in Herznähe halten großen Druckschwankungen stand.
• Muskelarterien transportieren Blut zu den Organen.
• Arteriolen sind kleine Arterien, die zu Kapillarbetten führen, regulieren den Fluss in Kapillarbetten durch Vasodilatation und Vasokonstriktion.

Kapillaren

• Die kleinsten Blutgefäße.
• Dünne Wände, nur Tunica Intima.
• Ermöglichen den Austausch von Gasen, Nährstoffen und Abfallprodukten zwischen Blut und Geweben.

Venen

• Führen Blut zum Herzen zurück.
• Dünnere Wände als Arterien.
• Größeres Lumen als Arterien.
• Geringerer Blutdruck als Arterien.
• Venenklappen verhindern den Rückfluss von Blut.

Kreislaufwege

Systemischer Kreislauf

• Herz $\rightarrow$ Arterien $\rightarrow$ Arteriolen $\rightarrow$ Kapillaren $\rightarrow$ Venolen $\rightarrow$ Venen $\rightarrow$ Herz
• Transportiert sauerstoffreiches Blut vom Herzen zu den Körpergeweben und sauerstoffarmes Blut zurück zum Herzen.

Lungenkreislauf

• Herz $\rightarrow$ Truncus pulmonalis $\rightarrow$ Arteriae pulmonales $\rightarrow$ Lunge $\rightarrow$ Venae pulmonales $\rightarrow$ Herz
• Transportiert sauerstoffarmes Blut vom Herzen zur Lunge und sauerstoffreiches Blut zurück zum Herzen.

Pfortadersystem

• Ein spezieller Kreislauf, der Blut von den Verdauungsorganen zur Leber transportiert, bevor es zum Herzen zurückkehrt.
• Dies ermöglicht es der Leber, Nährstoffe und Giftstoffe zu verarbeiten, die aus dem Verdauungssystem aufgenommen wurden.

Herz

Lage

• Im Mediastinum zwischen den Lungen
• Spitze, nach links gerichtete Herzspitze

Hüllen

• Perikard: Doppellagiger Sack
  • Fibro-seröse Herzhaut: Äußere Schicht
  • Seröse Herzhaut: Innere Schicht
    • Parietale Schicht: Kleidet die Innenfläche des fibrösen Perikards aus.
    • Viszerale Schicht (Epikard): Auf der äußeren Oberfläche des Herzens
• Perikardhöhle: Flüssigkeitsgefüllter Raum zwischen den Schichten

Herzwand

• Epikard: Viszerale Schicht des serösen Perikards
• Myokard: Herzmuskel, bildet den größten Teil des Herzens
• Endokard: Kleidet die Herzhöhlen aus

Kammern

• Vorhöfe (2): Empfangskammern
  • Rechter Vorhof: Empfängt Blut aus dem Körperkreislauf
  • Linker Vorhof: Empfängt Blut aus dem Lungenkreislauf
• Ventrikel (2): Pumpkammern
  • Rechter Ventrikel: Pumpt Blut in den Lungenkreislauf
  • Linker Ventrikel: Pumpt Blut in den Körperkreislauf

Herzklappen

• Sorgen für einen unidirektionalen Blutfluss
• Atrioventrikularklappen (AV-Klappen): Zwischen Vorhöfen und Ventrikeln
  • Rechte AV-Klappe (Trikuspidalklappe)
  • Linke AV-Klappe (Bikuspidal-, Mitralklappe)
• Semilunarklappen (SL-Klappen): Zwischen Ventrikeln und großen Gefäßen
  • Pulmonalklappe
  • Aortenklappe

Herztöne

• Lub-Dup
• "Lub": Schließen der AV-Klappen zu Beginn der Ventrikelsystole
• "Dup": Schließen der SL-Klappen zu Beginn der Ventrikeldiastole.

Herzzeitvolumen

• Blutmenge, die jeder Ventrikel in einer Minute pumpt
• $CO = HF \times SV$
  • CO: Herzzeitvolumen (ml/min)
  • HF: Herzfrequenz (Schläge/min)
  • SV: Schlagvolumen (ml/Schlag)

Regulierung des Schlagvolumens

• Vorlast (Preload): Grad der Dehnung der Herzmuskelzellen vor der Kontraktion
• Kontraktilität: Kontraktionskraft bei gegebener Muskellänge
• Nachlast (Afterload): Druck, den die Ventrikel überwinden müssen, um Blut auszustoßen.