Folie 9

Optimierung von Simulationsmodellen

• Ziel vieler Simulationsmodelle ist das Finden einer guten oder optimalen Lösung.
• Die allgemeine Formulierung ist: min f(x) unter den Nebenbedingungen x ∈ W.
• Nebenbedingungen werden oft durch Gleichungen/Ungleichungen spezifiziert, z.B. gi(x) ≥ 0 (i = 1, ..., m).
• f(x) (und u.U. auch gi(x)) wird per Simulation ermittelt, was dies zu einem nichtlinearen Optimierungsproblem macht.
• Schwierigkeiten bei der Optimierung von Simulationsmodellen erfordern eine Unterscheidung in diskrete stochastische und kontinuierliche deterministische Simulation.

Eigenschaften kontinuierlicher deterministischer Modelle

• Die Berechnungsdauer zur Auswertung liegt oft im Sekundenbereich
• Resultate sind Deterministisch.
• Gradienten sind numerisch relativ genau bestimmbar.

Eigenschaften diskreter stochastischer Modelle

• Die Berechnungsdauer einer Auswertung liegt im Minuten- bis Stundenbereich.
• Resultate sind Stochastisch.
• Gradienten können nur geschätzt werden.

Hybride Modelle

• Hybride Modelle mit stochastischen Anteilen verhalten sich ähnlich wie diskrete stochastische Modelle.
• Es wird betrachtet die Optimierung diskreter stochastischer Modelle.

Ziele dieses Kapitels

• Einordnung von Problemen, die bei der Optimierung stochastischer Simulationsmodelle auftreten.
• Anforderungen an "gute" Optimierungsalgorithmen werden definiert.
• Unterschiedliche Optimierungsansätze werden kennengelernt.
• Einordnung der Optimierung in den Prozess der modellbasierten Systemanalyse.
• Erkennen von simulationsspezifischen Problemen und Chancen bei der Optimierung.
• Einsatz der Optimierung in AnyLogic.

Gliederung dieses Kapitels

• Optimierungsansätze für stochastische Simulationsmodelle (9.1).
• Gradientenbestimmung und Sensitivitätsanalyse (9.2).
• Optimierung mit Metamodellen (9.3).
• Lokale Suchverfahren (9.4).
• Metaheuristiken und hybride Verfahren (9.5).

Grundsätzliche Probleme der Optimierungsansätze für Simulationsmodelle

• Die Zielfunktion ist nur implizit als Simulationsmodell bekannt
• Es gibt viele Faktoren, aber meistens recht einfache Nebenbedingungen.
• Der qualitative Einfluss der Faktoren ist nur teilweise bekannt.
• Es existieren mehrere Resultatvariablen, z.B. Kosten versus Durchlaufzeiten versus Auslastungen, wodurch es kein eindeutiges Optimum gibt.
• Stochastische Beobachtungen erlauben keine exakten Aussagen bzgl. des Vergleichs von Konfigurationen oder bzgl. der Gradienten.

Details über Simulationsmodelle

• Sei f(x) die durch das Simulationsmodell dargestellte Funktion, wobei x = (x1, ..., xn) der Parametervektor ist.
• f(x) ist ein Resultatwert, z.B. Erwartungswert der Verweilzeit.
• Per Simulation sind nur einzelne Realisierungen von f(x) beobachtbar.
• ˆf(x) ist ein Schätzer und das Konfidenzintervall von f(x) ∈ [ˆf(x) ± ε] mit Wahrscheinlichkeit 1 - α.
• Konsequenz bei der Ermittlung von f*(x) = min(f(x)) und x* = argmin(f(x)).
• f(x) < f(y) ist nur mit vorgegebener Wahrscheinlichkeit entscheidbar.
• Der Aufwand hängt von der Wahrscheinlichkeit und Differenz |f(x) − f(y)| ab.
• Falls kontinuierliche Parameter vorhanden sind, so sind ohne weitere Annahmen über f(x) generell keine Aussagen möglich.
• In vielen praktischen Beispielen ist f(x) über weite Teile des Parameterraums gutmütig, d.h. stetig mit nur langsamer Änderung des Gradienten.

Optimierung mit bisher vorgestellten Methoden:

• Vergleich von Systemkonfigurationen (siehe Kap. 7.1, 7.2).
• Auswahl einer Menge von Konfigurationen (siehe Kap. 7.3).
• Nutzt u.U. eine Konfiguration x, so dass |f(x*) − f(x)| < δ mit Wahrscheinlichkeit 1 - α.
• Kann als Optimierungsansatz eingesetzt werden, falls nur wenige Konfigurationen verglichen werden.
• Kann zum Screening von Konfigurationen in heuristischen Optimierungsverfahren eingesetzt werden.
• Experimente (Kap. 8) können genutzt werden den qualitativen Einfluss von Faktoren zu bestimmen und nicht relevante Faktoren zu eliminieren (Verkleinerung des Suchraums).

Optimierung in Mathematik und Informatik

• Bekannte Zielfunktion, die u.U. überlagert von bekannter stochastischer Störung ist.
• Im kontinuierlichen Fall globale Optimierung oft auf konvexe Probleme beschränkt oder Einsatz von Heuristiken.
• Starker Fokus auf Algorithmen für diskrete Probleme und deren Analyse.

Situation bei der Optimierung von Simulationsmodellen

• Unbekannte Zielfunktion mit unbekannter Störung.
• Nicht vorab bekannt ist, ob ein Simulationsmodell in die Klasse der konvexen Probleme fällt.
• Kaum Ansätze zur speziellen Behandlung diskreter Parameter.
• Die Optimierung von Simulationsmodellen ist ein aktuelles Forschungsgebiet!

Beispiele für Prozesskettenmodelle

• Ankunftsraten werden gesteuert und Verzweigungswahrscheinlichkeiten bestimmt.
• Parametertypen umfassen reellwertige, ganzzahlige und qualitative Werte.
• Ergebnisse umfassen Durchlaufzeiten, Lagerbestände und Auslastung von Ressourcen, jeweils mit Mittelwerten und Wahrscheinlichkeiten.

Beispiel für Client-Server Systeme

• Typ und Konfiguration des Servers sind relevant.
• Verbindungen und deren Kapazität müssen berücksichtigt werden.
• Das Protokoll ist ein wichtiger Faktor.
• Oft müssen Anforderungen aus SLAs erfüllt werden.
• Leistungsanforderungen sind oft nur verbal formuliert und Lastmodelle nur vage bekannt.

Beispiel für Call-Center

• Scheduling von Anrufern ist erforderlich.
• Mitarbeitereinsatzplanung ist essenziell.

Behandlung mehrdimensionaler Zielfunktionen

• Ziel ist die Optimierung von fi(x), wobei alle fi aus einem Simulationsmodell ermittelt werden können.
• Sei F(x) = (f1(x), ..., fm(x)), wobei F(x) ≤ F(y) gilt, falls fi(x) ≤ fi(y) für alle i.
• x ist lokales Minimum, falls F(x) ≤ F(y) für alle y in der Nachbarschaft N(x).
• x ist globales Minimum, falls F(x) ≤ F(y) für alle y ∈ W (zulässiger Bereich).
• Optimierungsansätze umfassen Pareto-Optimierung, Gewichtete Summe und Einführung von Nebenbedingungen.

Pareto-Optimierung

• Pareto-Menge P = {x ∈ W| ∃y ∈ W mit F(y) ≤ F(x) ∧ F(x) ≠ F(y)}.
• Lösungen oberhalb der Pareto-Front können verbessert werden.
• Lösungen auf der Pareto-Front sind unvergleichbar.
• Es handelt sich um graphische Darstellung nur im 2- oder 3-dimensionalen Fall.
• Es können nur einzelne Punkte der Pareto-Menge ermittelt werden.
• Simulationsprobleme gibt es mit dem Erkennen von Elementen der Pareto-Menge (siehe Vergleich von Systemkonfigurationen).

Abbildung auf eindimensionale Probleme

• Definiere eine eindimensionale Funktion g(F(x)), z.B. durch gewichtete Summation der fi(x).
• Oft müssen bestimmte Anforderungen bzgl. einzelner Leistungsmaße erfüllt sein, z.B. fi(x) ≤ ai.
• Einbeziehung als zusätzliche Nebenbedingung.
• Es wird die eindimensionale Optimierung mit Nebenbedingungen betrachtet.
• Behandlung der Nebenbedingungen ist entweder durch Einführung von Straffunktionen oder Suche nach dem Optimum innerhalb von W.

Optimierungs-Software

• AutoStat verwendet AutoMod/AutoShed als Simulatoren und Evolutionsstrategien als Algorithmen.
• OptQuest nutzt Arena, Taylor, QUEST, AnyLogic als Simulatoren und Scatter Search, Tabu Search, Neuronale Netze als Algorithmen.
• OPTMIZ verwendet SIMUL8 als Simulator und Neuronale Netze als Algorithmen.
• SimRunner2 nutzt ProModel, ServiceModel als Simulatoren und Evolutionsstrategien, Genetische Algorithmen als Algorithmen.
• WITNESS Optimizer nutzt WITNESS als Simulator und Simulated Annealing, Tabu Search als Algorithmen.
• OPEDo nutzt ProC/B, APNN-Toolbox als Simulatoren und RSM, Evolutionsstrategien, Pattern Search als Algorithmen.

Beobachtungen zur verfügbaren Optimierungssoftware

• Kommerzielle Werkzeuge werden breit eingesetzt, aber Details der verwendeten Methoden sind oft nicht bekannt.
• Das Konvergenzverhalten und die Qualität der gefundenen Lösungen sind unklar.
• Es gibt oft gute Ergebnisse für gutmütige Modelle, aber Probleme bei starken Schwankungen.
• Die Software ist oft wenig robust
• Stochastik wird nur eingeschränkt berücksichtigt (durch vorgegebene Zahl von Replikationen, Breite von Konfidenzintervallen).

Anforderungen an Optimierungsverfahren für Simulationsmodelle

• Garantierte Wahrscheinlichkeit einer korrekten Auswahl unter Vorgabe einer Konfidenzintervallbreite.
• Garantierte asymptotische Konvergenz gegen das globale/lokale Optimum, wenn die Simulationszeit jedes Experiments oder die Zahl der Experimente gegen unendlich geht.
• Garantierte Konvergenz, wenn davon ausgegangen würde, dass jede Simulation ein deterministisches Ergebnis liefert.
• Robustheit der Lösung, d.h. es wird mit hoher Wahrscheinlichkeit eine gute Lösung in akzeptabler Zeit gefunden.

Schritte vor der eigentlichen Optimierung

• Modellierung und Festlegung der Zielfunktion, inklusive Behandlung mehrdimensionaler Zielfunktionen, Festlegungen von Nebenbedingungen und Anforderungen an das zu erzielende Resultat.
• Festlegung möglicher Einflussfaktoren durch Reduktion der Faktorzahl (Screening oder Sensitivitätsanalyse), Festlegung der Wertebereiche und des Typs (kontinuierlich, diskret oder qualitativ).
• Auswahl eines Optimierungsverfahrens.

Verwendete Optimierungsmethoden

• Lokale Verfahren: Finden ein lokales Optimum in der Umgebung des Startpunkts → Einsatz zur globalen Optimierung durch mehrere zufällig gewählte Startpunkte.
• Globale Verfahren: Finden ein globales Optimum, wenn lange genug gelaufen und die untersuchte Funktion gewisse Bedingungen erfüllt.
• Hybride Verfahren: Oft Kombination von schnellen lokalen und langsamen globalen Verfahren.

Nutzung von Standardoptimierungsalgorithmen

• Simplexalgorithmus von Nelder-Mead: Heuristische Suche nach dem lokalen Optimum, benötigt jeweils besten und schlechtesten Punkt aus einer Menge von Punkten (Simplex); Nachteil: langsames Verfahren, viele Auswertungen.
• Gradientenbasierte Optimierung: Gradient muss ermittelt werden, Fehler im Gradienten führen zu falschen Suchrichtungen.

Simplexverfahren von Nelder-Mead (allgemeines Vorgehen)

• Schlechtester Punkt wird an der gegenüberliegenden Hyperebene gespiegelt.
• Falls neuer Punkt besser als zweitschlechtester bisheriger Punkt, ersetze schlechtesten Punkt durch neuen Punkt.
• Ist der neue Punkt besser als der beste bisherige Punkt, wird der Simplex gestreckt.
• Falls der aktuelle Punkt nicht erfolgreich war, verkleinere den Simplex in einer Dimension.
• Falls Grösse des Simplex kleiner ε, Abbruch und Ausgabe des besten gefundenen Wertes.

Verhalten des Verfahrens für deterministische Funktionen

• Die skizzierten Schritte werden iterativ durchgeführt bis die Abbruchbedingung erreicht ist (Simplex unterschreitet Größe).
• Das Verfahren erweist sich als relativ robust, ist aber oft auch langsam.
• Die Konvergenz ist von der Skalierung der Parameter abhängig.
• Nur wenige Konvergenzresultate existieren.
• Kann auch für restringierte Probleme eingesetzt werden, wobei f(x) auf einen sehr großen Wert gesetzt wird, wenn eine Nebenbedingung verletzt wird.
• Für diskrete Parameter i.d.R. nicht oder nur eingeschränkt nutzbar.

Besonderheiten (und Schwierigkeiten) bei Einsatz des Verfahrens in der Simulation

• Entscheidung über den schlechtesten und besten Punkt eines Simplex erfordert ein Ranking der Punkte.
• Der Vergleich des neuen Punktes mit vorhandenen Resultaten für den schlechtesten und zweitschlechtesten Punkt ist verzerrt.
• Stochastische Ergebnisse können zu irregulärem verhalten führen.
• Der Algorithmus wird trotzem zur Optimierung von Simulationsmodellen genutzt.
• Es gibt auch Wiederverwendung bereits vorhandener Resultate wobei die Auswahl dann statistisch nicht korrekt ist.

Metamodellbasierte Verfahren

• Ein einfaches Metamodell wird angepasst, um das Simulationsmodell zu simulieren.
• Mit Hilfe des Ersatzmodells wird eine Suchrichtung oder neue Suchpunkte bestimmt.
• Es findet eine wiederholtes testen statt.

Lokale Suchheuristiken

• Zufallsgesteuerte oder deterministische Suche nach einem lokalen Optimum.
• Dazu notwendig Vergleich von Konfigurationen (siehe Kapitel 7).

Metaheuristiken

• Kombination unterschiedlicher Heuristiken.
• Simultane Untersuchung mehrerer Punkte zur Abdeckung des zulässigen Bereichs.
• Auswahl guter/optimaler Konfigurationen aus einer Population ist der zentrale Aspekt (siehe Kapitel 7).

Gradientenbestimmung und Sensitivitätsanalyse (9.2)

• Basis vieler Optimierungsmethoden ist die Kenntnis der Gradienten.
• Gradienten sind bedeutsam, um den Einfluss der Faktoren auf das Ergebnis und die Stabilität einer Lösung abzuschätzen.
• Sei ∂f(x)/∂xi die partielle Ableitung von f an der Stelle x bzgl. der i-ten Komponente.
• Falls der Wert fast 0 ist beeinflusst der Parameter den Wert von f nur geringfügig .
• Betragsmäßig große Werte zeigen eine starke Beeinflussung an.
• Zur Optimierung zeigt der Gradient die Richtung der Vergrößerung/Verkleinerung des Funktionswertes.
• ∂f(x)/∂xi ≈ 0 für alle i ist ein Indikator, dass die notwendigen Bedingungen für ein lokales Optimum erfüllt sind.

Vorgehensweise zur Bestimmung von Gradienten

• Existiert keine vollständig befriedigende Methode ohne Kenntnis über die Verteilung der Beobachtungen von f(x).
• Methoden sind: Abschätzung aus Differenzenquotienten oder Metamodellen, Pertubationsanalyse zur Bestimmung von Gradienten aus einzelnen Simulationsläufen.
• Abschätzung für beliebige Simulationsmodelle ohne Eingriff (viele Experimente nötig), Pertubationsanalyse zur Bestimmung von Gradienten aus einzelnen Simulationsläufen(erfordert Eingriffe).

Abschätzung aus dem Differenzenquotienten:

• Kleines δ liefert genauere Approximation der partiellen Ableitung, ist aber auch weniger robust
• Die Auswertung einer Stochastischen Simulation kann nur geschätzt werden weshalb Mittelwertschätzer und Konfidenzintervalle bekannt sind
• Für kleine Werte unterscheiden sich die Ergebnisse kaum, dadurch ist nicht einmal das Vorzeichen bestimmten

Vorgehensweise zum Verbessern der Differenzquotienten:

• Simuliere an der Stelle x und an allen Stellen x + δei n unabhängige Replikationen oder so viele Replikationen vorzunehmende Breite eines Konfidenzintervall vorliegt

• Sei εi die Breite des Konfidenzintervalls für f(x + δei) und ε0 für f(x).

• Alternative: Simuliere gemeinsamen Zufallszahlen und untersuche, ob w = f(x + δei)

• Vorsicht, die Vergleiche sind bei Verwendung gleicher ZZs nicht unabhängig

Schätzung aus Metamodellen:

• Bestimme ein lineares Regressionsmodelle das Haupt und Nebenfaktoren berücksichtigt.
• Nutze nur Variablen Modelle deren Koeffizienten werden konvertiert
• Ableitung bzgl xi ist leicht bestimmbar
• Qualität der Ableitungen kann durch Konfidenzintervalle werden beschränkt

Vor- und Nachteile dieser Ansätze

• Die Methoden sind einfach durchführbar und erfordern keine Eingriffe in die Simulationssoftware.
• Konfidenzintervalle geben zumindest einen groben Hinweis auf die Qualität der Ableitungen.
• Der ermittelte Gradient kann in Standardoptimierungsverfahren verwendet werden
• Der Aufwand ist sehr hoch, da viele Experimente durchgeführt werden müssen und
• Fehler können den Gradienten der irre führen

Pertubationsanalyse

• Eine effizientere Methode für die Analyse ist die Nutzung einer Simulation ist die urpsrünglichen Trajektorie
• Für einer Experimetell wäre eine ZZ -λ-¹ ln(u) = -(λ + δ)-¹ ln(u)
• Während der Simulation müssen Abläufe nachgebildet werden.

Optimierung mit Metamodellen (9.3)

• Die zugrunde liegende Methode wird als Response Surface Methode bezichnet Hierbei beschreibt die Response Surface eines Modells mit zwei Parametern durch lineare Interpolation die simulierten Punkten

• Metamodell das an die Simulationsergebnisse angepasst wurde

• Eine gute Nachbildung der simulierten Ergebnisse

• Aussage über das Modellverhalten an anderen Punkten zur Optimum Suche

Es kann nicht erwartet werden, dass einfacher Modell gleich Simulation verhält.

Hieraus werden aus die Simulations, und die Verbesserungen von Metamodell zu den Simulations verbunden

• Lokale Metamodelle: Gelten in einem lokalen Bereich und Suchrichtung

• Globale Modelle: Gelten über den gesamten Bereich zur Globale optimierung

• Die Klassische Anwort Oberflächen Methode, arbeitet Iterativ durch Approximation. und nutzt Regressionen. Es ist ein heuristischer Ansatz der nur selte in Optimierungswerkzeuge zufinden ist.

• Üblicher Versuchsplan mit oder ohne Replication

• Für k Parameter werden mindestens k Experiment benötigt

Ablauf :

1. Definiere einen Berecih
2. Parameterwerte normieren [-1, 1]
3. Lineares Regressionsmodell bestimmen durch Designpunkte sodass die spalte der Matrix orthogonal Sind

Dann wird der Test gemacht ob Regression signifikant ist anosntne werden Variablen hinzugefügt

• Rcihtung des steilsten Anstieg wird durch die Werte der konvertienten gegeben.

Behandlung der ganzzahligen Datensätze im Modell

Hier werden Haupt Effekted er zweiten ordnung Betrachtenmit dY (d/dXb+2Bc= 0 B negative dann ist XS ein Maximum Die Verfahren hat einige Vorteile so wie Skalierunge nur die Abbrruch Kriterien unklar sind

Nebenbedinnugen

Der Suchradius

Lokale Sucj Verfahrem (9.4):

Funktionen von blackboz sind wichtig.

Blackbox Optimierung:

A proiri Inforamtion optimierung Suchmethoden für Lokale suche mit verbesserung

Lokale suchrichtung:

Eingabe Funktion akzeptanz Bedinungen Dann wird zufälliger weise ein kandiat heraus gesict und verienrt Nach abbruch werden ausagen getroffne udn konrete methooden unterschidenn sic in akzeptane etc

Stochastische Variationoperator:

Ist in der Regel wahlbar zu ganzen faktirn y=x*µ=-1, 0 ,1 Probleimspezifische Scirittwerte

Bestimmt strategie

Hierarching azkepptzer y falles f() Bei Variationen können fehler entstehen und man brauch ein Verfahren

Simuliertes abkühlung und so werte Verfahren Einte Determintische Verfahren die nur erlaubte Rhcirunteg werden

Dafür sind Rangbildungen wichtig zu finden Das ist nur ein Heursitk Abbruch bedingungen werden geprüft Bei diaskreleten optimal können Lokalistationen überprüfft werden

Metahasutriiken und Hybrid verfahren

Simutalteanalyse Mehrere Kandidatesnen Verbesserung der einzelenen durch lernen vond en gurens Kandidaten Vielzahl von Vereinfachrugnen wie Evolutionäre Algorithmen oder Aemeisenkoliunien

Individuume Evo

X: Parament Si strategie Parameter Muation für Kotnueitiche Parameter etc Initialusierunge der indidvidne und und Auswetriung Wichtigst das was gewählt wird und dás das abgebildete

Hierarching ist wichtig und hilft

Ziel Auswahl

Die Signifikant swahrsceinclihest muss wahrene den Parameterarumse

Vorhanennde Verfahreen werden genutzt Während Abflaufs eine Definition der Eite populstion Individuue komm in Elirte wenn auf grund der whtenshcinlichkeit gegebne ist

In dierser Sitzung kann man Vermeidung durch Verwerfn Durch Änderung kann T werend der OPtmieruug änern

Es giebit kein wirklich befdridenstes verfahren weshabl neere verbessungung KOmbinert und hyprided Aansetz werden

Globale SUche und Lokalet Optimierung um zu beschleungen

Vielversprechens Ansätz in Mehreren Zügen

Globale SUche nach viellenvrsprechender reuche SUceh Öertuimus

An die verfahern gilt Globale konvegrenz sowie einen gültet Bereich