Fraunhofer_Studie_ML_201809_erste-Seiten.pdf

VORWORT VORWORT Neueste Errungenschaften im Bereich des Maschinellen Ler- Weiterbildung in entsprechenden Bereichen, wie beispiels- nens (ML) haben einen enormen Beitrag zur Weiterentwick- weise »Data Science«. Nur so können Deutschland und lung von Künstlicher Intelligenz (KI) und ko...

VORWORT VORWORT Neueste Errungenschaften im Bereich des Maschinellen Ler- Weiterbildung in entsprechenden Bereichen, wie beispiels- nens (ML) haben einen enormen Beitrag zur Weiterentwick- weise »Data Science«. Nur so können Deutschland und lung von Künstlicher Intelligenz (KI) und kognitiven Systemen Europa im internationalen Wettbewerb um kluge Köpfe und geleistet. KI ist inzwischen zu einem globalen wirtschaftlich Talente mithalten. und strategisch hochrelevanten Faktor geworden. In Zukunft werden Menschen in vielen Kontexten lernenden Systemen Wichtig ist aber auch eine faktenbasierte Auseinander- begegnen. Es gibt kaum einen Bereich, der nicht von ML- und setzung in der Breite zu den Einsatzmöglichkeiten und KI-basierten Technologien entscheidend transformiert wird: der Gestaltung von KI- und ML-basierten Technologien, sei es die Produktion von Gütern im Kontext Industrie 4.0, wie sie beispielsweise in der Plattform Lernende Systeme das Gesundheitswesen mit KI-Assistenten für eine bessere angelegt ist. Ängsten und Mythen ebenso wie übersteigerten Diagnostik, unsere Mobilität mit autonomen Fahrzeugen Erwartungen müssen wissenschaftliche Erkenntnisse entge- oder eine saubere und sichere Energieversorgung, wo gengesetzt werden. intelligente Computerprogramme eine optimale Steuerung gewährleisten. Aber auch unsere Ausbildung und Arbeitswelt Die vorliegende Publikation – basierend auf den Ergebnissen werden zusehends von intelligenten Systemen geprägt eines aktuellen Forschungsprojekts im Auftrag des BMBF – sein, die uns helfen können und die von uns lernen. liefert einen wichtigen Beitrag zur öffentlichen Debatte. Sie ordnet wesentliche Begriffe des Maschinellen Lernens Deutschland bringt im Bereich der ML- und KI-Forschung sehr wissenschaftlich ein, gibt einen Überblick zu aktuellen Her- gute Voraussetzungen mit und hat frühzeitige Pionierarbeit ausforderungen und künftigen Forschungsaufgaben und stellt – beispielsweise auf dem Gebiet der immer noch relevanten Deutschlands Position in der Anwendung von Maschinellem Stützvektormaschinen – geleistet. Gleichwohl muss uns Lernen dar. hier noch eine stärkere und schnellere anwendungsnahe Umsetzung von KI in konkrete Produkt-, Prozess- und Dienst- Den Leserinnen und Lesern dieser Ergebnisbroschüre wünsche leistungsinnovationen gelingen. Der globale Wettbewerb ist ich viele interessante Einblicke. Auf den weiteren Austausch enorm stark, insbesondere von ostasiatischer und nordame- zu den Potenzialen und Auswirkungen von KI-basierten rikanischer Seite. Deutschland und Europa müssen der Kon- Produkten und Dienstleistungen freue ich mich sehr. kurrenz eigene Innovationen entgegensetzen. Nicht zuletzt, weil wir dadurch mittelbar auch eine auf unserem Rechts- und Wertesystem basierte KI in die Anwendung bringen. Um das Wertschöpfungspotenzial von ML und KI zu nutzen und dem hohen Fachkräftemangel zu begegnen, bedarf es Prof. Dr.-Ing. Reimund Neugebauer auch einer zielgerichteten und interdisziplinären Aus- und Präsident der Fraunhofer-Gesellschaft e. V. 5 MASCHINELLES LERNEN EXECUTIVE SUMMARY Kaum ein anderes Forschungsfeld hat in letzter Zeit so viel Statistiken zu Publikationen in wissenschaftlichen Fachzeitschrif- Aufsehen erregt wie das Maschinelle Lernen (ML) mit den ten zeigen, dass 60 % aller Publikationen zu ML aus China, den damit einhergehenden rasanten Fortschritten auf dem Gebiet USA, der EU und Indien kommen. China weist hier ein beson- der Künstlichen Intelligenz (KI). ders hohes quantitatives Wachstum von jährlich 17,5 % im Zeit- raum 2006 bis 2016 auf. Sechs der zehn meist publizierenden Diese Publikation gibt eine kompakte Einführung in die wich- Hochschulen und Forschungseinrichtungen kommen aus China. tigsten Konzepte und Methoden des Maschinellen Lernens, 51 % der erfassten Publikationen können dem Anwendungsfeld einen Überblick über Herausforderungen und neue Forschungs- der Bild- und Videoauswertung zugeordnet werden, gefolgt fragen sowie eine Übersicht zu Akteuren, Anwendungsfeldern von 18 % zur Sprachverarbeitung. Bei den Publikationen zum und sozioökonomischen Rahmenbedingungen der Forschung Deep Learning kann seit 2013 weltweit ein merkbarer Anstieg mit Fokus auf den Standort Deutschland. Die Basis hierfür ist verzeichnet werden. Davor war der Anteil vernachlässigbar das vom BMBF geförderte wissenschaftliche Projekt »Maschinel- gering, und auch 2016 ist er mit 2,6 % in Fachzeitschriften und les Lernen – Kompetenzen, Anwendungen und Forschungsbe- 6,8 % in Konferenzbeiträgen geringer als erwartet. darf«, das vom Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS, dem Fraunhofer-Zentrum für In Europa entfallen die meisten Publikationen auf Groß- Internationales Management und Wissensökonomie IMW sowie britannien, gefolgt von Deutschland. Innerhalb von Deutsch- der Zentrale der Fraunhofer-Gesellschaft durchgeführt wurde. land gib es jedoch regionale Unterschiede. Die Bundesländer Neben der statistischen Auswertung von wissenschaftlichen mit der höchsten Publikations- und Patendichte sind Baden- Publikationen, Patenten und Projekten wurden zahlreiche Württemberg, Bayern und Nordrhein-Westfalen. Marktstudien und wissenschaftliche Publikationen analysiert sowie Interviews mit 18 Expertinnen und Experten auf dem In unserer Patentrecherche als Indikator für die technologische Gebiet des ML durchgeführt, ebenso wie ein Workshop mit Leistungsfähigkeit von Regionen und Einrichtungen entfallen 17 Fachleuten aus Wissenschaft, Wirtschaft und Politik. die Hauptaktivitäten auf die USA, China und Südkorea. 73 % aller im Zeitraum 2006 bis 2016 erfassten Patente stammen In Expertenkreisen wird ML als Schlüsseltechnologie für aus diesen Ländern, mit den Unternehmen Microsoft, Google, moderne KI-Techniken gesehen, weshalb insbesondere im Amazon, Facebook, Samsung (Südkorea) und Huawei (China) ökonomischen Kontext KI und ML oft synonym verwendet an der Spitze. In Deutschland sind die patentstärksten Akteure werden. Maschinelles Lernen und insbesondere das die Siemens AG, Robert Bosch GmbH, Deutsche Telekom AG, sogenannte Deep Learning (DL) eröffnen völlig neue Möglich- Daimler AG, BMW AG und SAP SE. Deutsche mittelständische keiten in der automatischen Sprachverarbeitung, Bildanalyse, Unternehmen mit 49 bis 249 Mitarbeitenden weisen vergleichs- medizinischen Diagnostik, Prozesssteuerung und dem weise wenige Patentaktivitäten auf. Im Hinblick auf die Stand- Kundenmanagement. Wirtschaftsmedien sprachen 2017 vom orte von KI-Start-ups ist Berlin, wo über 50 Unternehmen ihren »Jahr der KI« und die Anwendungsmöglichkeiten werden mit Sitz haben, nach London die zweitstärkste Region in Europa. dem Fortschreiten der Digitalisierung weiter steigen. Um den Standort Deutschland international zu stärken, haben Die wissenschaftliche ML-Forschung ist längst nicht ausge- die konsultierten Fachleute ausdrücklich auf die Aus- und schöpft und insbesondere Forschungsfragen zu ML mit extrem Weiterbildungssituation hingewiesen. Ihnen zufolge muss in großen oder sehr kleinen Datenmengen, zur Kombination von Deutschland noch viel stärker ML-bezogen aus- und weiter- ML mit physikalischem oder Expertenwissen sowie Sicherheit gebildet werden, nicht nur in der Informatik, sondern auch und Transparenz von ML-Modellen sind hochaktuell und in den Anwendungsdisziplinen. Gleichzeitig sollten Aus- und hochrelevant. Weiterbildungsangebote stärker interdisziplinär orientiert sein 6  ExECUTIVE SUMMARy um KI-basierte Kompetenzen in der beruflichen Breite aufzu- Herausforderung gesehen, insbesondere in der Medizin und bauen. Zusätzlich müssen entsprechende Arbeitskräfte global der industriellen Produktion. Hier sind Governance-Strukturen, angeworben werden, was angesichts des weltweiten Wett- die den kontrollierbaren und sicheren Datenaustausch bewerbs um Talente sowie der zu erwartenden steigenden ermöglichen, sowie datenschutzrechtliche Bedingungen zu Nachfrage nach ML-basierten Produkten und Dienstleistungen berücksichtigen oder anzupassen. eine Herausforderung darstellt. In Zukunft werden Maschinen zusehends entscheidungs- Deutschland verfügt über eine gute wissenschaftliche Basis in relevante Ergebnisse generieren. Hierzu ist es wichtig, auf ML. Für die Sicherung der Wettbewerbsfähigkeit ist ausschlag- der technologischen Seite die Sicherheit, Robustheit und gebend, den Anwendungsbezug in der Forschung zu stärken hinreichende Nachvollziehbarkeit von automatisierten Ent- und dies beispielsweise auch in öffentlichen Forschungsaus- scheidungsprozessen zu gewährleisten. Gleichzeitig muss schreibungen stärker einzufordern. Ferner wurde konstatiert, dafür gesorgt werden, dass ML-Anwendungen mit juristischen dass derzeitige Maßnahmen zur Unternehmensförderung eher Fragen wie Haftung und Verantwortlichkeit für algorithmisch junge Start-ups anstatt etablierte Traditionsunternehmen an- getroffene Entscheidungen vereinbar und auch technisch um- sprechen. Im Hinblick auf die Förderung der Anwendung von setzbar sind. Dies auszuformulieren und regulativ umzusetzen ML in Deutschland liegt gerade hier viel Potenzial, insofern ist ein wichtiges und komplexes Anliegen, das einen inter- und sollten KMU durch mehr Fachinformationen zum Einsatz und transdisziplinären Ansatz erfordert. Für die weitere Verbreitung zur Nutzung von ML unterstützt werden. maschinell basierter Lernverfahren in die Anwendung ist nicht zuletzt auch die gesellschaftliche Akzeptanz von zentraler Der Zugang zu hinreichend großen und qualitativ hoch- Bedeutung. Hierfür ist eine breite öffentliche Diskussion wertigen Datenbeständen wurde für den Erfolg und die und Einbindung verschiedener gesellschaftlicher Gruppen Wettbewerbsfähigkeit Deutschlands als bislang ungelöste erforderlich. 7 MASCHINELLES LERNEN 1 KONZEPTE, METHODEN UND GRENZEN DES MASCHINELLEN LERNENS 1.1 Maschinelles Lernen und Künstliche Intelligenz zu beeinflussen. Es ist ein enormer globaler Wettbewerb rund um dieses Zukunftsfeld entfacht, der insbesondere zwischen In Expertenkreisen wird Maschinelles Lernen als Schlüssel- den USA und China ausgetragen wird. technologie der Künstlichen Intelligenz verstanden. Künstliche Intelligenz ist ein Teilgebiet der Informatik mit dem Ziel, Die oftmals erstaunlich scheinenden Leistungen ML- und KI- Maschinen zu befähigen, Aufgaben »intelligent« auszuführen. basierter Systeme implizieren jedoch nicht, dass die Maschine Dabei ist weder festgelegt, was »intelligent« bedeutet, noch irgendein Verständnis oder gar Bewusstsein davon hat, welche welche Techniken zum Einsatz kommen. Erste kommerziell Daten sie verarbeitet, warum und in welchem Kontext sie bedeutende Erfolge im Bereich der KI erzielten sogenannte das tut und welche Bedeutung die Daten haben. Auch eine Expertensysteme mit manuell konstruierter Wissensbasis. Mit menschenähnliche »Künstliche Universalintelligenz« oder derartigen manuellen Wissenseingaben oder gar der expliziten gar eine »Künstliche Superintelligenz«, wie sie häufig in den Programmierung eines Lösungswegs ist man bei komplexeren Medien dargestellt und von einigen Forschern und Industrie- Aufgaben der KI jedoch gescheitert. Eine Alternative hierzu vertretern propagiert wird, spielt absehbar realistischerweise bietet das Maschinelle Lernen, das heute tatsächlich die keine Rolle. Die diskutierten Szenarien machen allerdings auf Schlüsseltechnologie intelligenter Systeme darstellt. etwaige generelle Risiken aufmerksam.1 Maschinelles Lernen bezweckt die Generierung von Die existierenden ML-Anwendungen sind mit großem Auf- »Wissen« aus »Erfahrung«, indem Lernalgorithmen aus Bei- wand konstruiert und lediglich für enge Aufgaben trainiert spielen ein komplexes Modell entwickeln. Das Modell, und und einsatzbereit. Die derzeitige Forschung beschäftigt damit die automatisch erworbene Wissensrepräsentation, sich vorrangig damit, den Trainingsaufwand zu reduzieren, kann anschließend auf neue, potenziell unbekannte Daten Robustheit, Sicherheit und Transparenz der Modelle zu derselben Art angewendet werden. Immer wenn Prozesse verbessern, sie leichter an neue Aufgaben anzupassen und zu kompliziert sind, um sie analytisch zu beschreiben, aber die Kompetenzen von Mensch und Maschinen zweckmäßig genügend viele Beispieldaten – etwa Sensordaten, Bilder zu kombinieren. oder Texte – verfügbar sind, bietet sich Maschinelles Lernen an. Mit den gelernten Modellen können Vorhersagen ML-basierte Maschinen werden zukünftig in vielen Bereichen getroffen oder Empfehlungen und Entscheidungen generiert zusehends Entscheidungen selbstständig treffen können. werden – ganz ohne im Vorhinein festgelegte Regeln oder Das ruft aus unterschiedlichen Perspektiven neue rechtliche Berechnungsvorschriften. Fragestellungen auf den Plan, beispielsweise zur Haftung bei Schäden und Mängeln, zur Verantwortung von Inhalten und ML-Anwendungen oder »lernende Maschinen« sind nicht nur Urheberrechtsfragen, zur Transparenz von Entscheidungen, auf physische Geräte und Roboter beschränkt, sondern kön- zum Daten- und Verbraucherschutz oder zur Frage, inwieweit nen auch rein digitale Anwendungen in IT-Systemen sein, wie den Entscheidungen von solchen Maschinen Folge zu verschiedene Arten von »Robos« und Bots, zum Beispiel Chat- leisten ist. Die zentrale ethische Herausforderung ist es, die bots, Social Bots, Gamebots oder Robo-Player, Robo-Advisors Maschinen so zu gestalten, dass sie mit unseren Gesell- oder Robo-Journalisten. ML-Techniken und KI-Anwendungen schafts-, Rechts- und Wertevorstellungen kompatibel sind. sind dabei, sämtliche Branchen und Lebensbereiche nachhaltig Diese gesellschaftliche Debatte muss jetzt beginnen.2 1 De Spiegeleire/Maas/Sweijs 2017 2 Bitkom 2017 8  KONZEPTE, METHODEN UND GRENZEN DES MASCHINELLEN LERNENS 1.2 Ein kurzer historischer Überblick mit wenigen lokalen Vernetzungen in ihrer Ausdrucksfähigkeit beschränkt waren. Dies führte in den 1970er Jahren zur Sta- Maschinelles Lernen kann auf eine recht lange Geschichte gnation der KI-Forschung, insbesondere an KNN, und leitete zurückblicken und ist aus Methoden der Statistik und KI den sogenannten ersten »KI-Winter« ein. hervorgegangen. Angeregt durch das Verständnis verteilter neuronaler Prozesse im Gehirn entstanden bereits in den In den 1980er Jahren konzentrierte sich die Forschung auf späten 1940er Jahren erste Konzepte von Künstlichen symbolische Expertensysteme. Ihre Wissensbasis bestand aus Neuronalen Netzen (KNN) und fanden zehn Jahre später manuell eingegebenen logischen Regeln, die sich auf manuell erste Implementierungen. Ende der 1960er Jahre haben zwei selektierte Merkmale oder ebenfalls manuell konstruierte bekannte KI-Wissenschaftler, Minsky und Papert, gezeigt, dass Objekthierarchien bezogen. Solche Wissensrepräsentationen damals ein einziges Neuron schon die elementare Entweder- bezeichnet man als »symbolisches Wissen«. Es stellte sich aber oder-Logik nicht lernen konnte und größere Neuronale Netze heraus, dass ein konsistenter Ausbau größerer Wissensbasen Tabelle 1: Überblick zu ausgewählten Meilensteinen im Einsatz von Maschinellem Lernen heute ML-basierte Systeme sind inzwischen in der Lage, I radiologische Bilder so gut wie Mediziner zu analysieren I automatisch unklare Bilder zu vervollständigen I selbst KI-Software zu schreiben und zu trainieren I Börsengeschäfte anhand eigener Prognosen selbstständig durchzuführen I in komplexen Spielen wie Go und Poker gegen Menschen zu gewinnen I sich selbst Wissen, Spiele und Strategien beizubringen 2017 KI (Alpha Go) gewinnt im Go-Spiel gegen den »besten Spieler der Weltrangliste« Ke Jie 2011 KI gewinnt im Quiz-Spiel (IBM Watson) 2010er Bedeutende Erfolge mit Deep Learning (v. a. in der Sprachverarbeitung, Objekterkennung, Mustererkennung, Bioinformatik) 2000er Popularitätsgewinn des ML: Revival der Neuronalen Netze (Big Data und schnelle Computer); Verbreitung der Kernel-Methoden des ML 1996 KI gewinnt im Schach gegen den Weltmeister Kasparow (IBM Deep Blue) 1990er Durchbruch: Stützvektormaschinen (SVM) 1985-1995 Stagnation der Forschung und Entwicklung: Aufgabe der Expertensysteme (zu hohe Komplexität und langsame Computer) 1980er Praktische Anwendung der »Back Propagation«-Methode für ML und KNN; Forschung an Expertensystemen 1980er Boom der humanoiden Robotik (Japan) 1974-1980 Stagnation der FuE: Scheitern Neuronaler Netze (zu langsame Computer) 1960er Entwicklung: Bayessche Netze, probabilistisches ML und semantische Netze 1950er Pionierarbeiten im Maschinellen Lernen (ML); Begriffsprägung der Künstlichen Intelligenz (KI) 1940er Theorie der »Künstlichen Neuronalen Netze« (KNN) 9 MASCHINELLES LERNEN immer schwerer wurde. Man erkannte, dass praktisch niemals als sogenannte Labels mitgeliefert werden. Die Angabe von alle denkbaren Vorbedingungen für eine Aktion explizit an- Labels bedeutet meist mehr Arbeit für die Datenvorver- gegeben werden können. Zudem traten Probleme im Umgang arbeitung, ist aber notwendig, wenn Objekte klassifiziert mit neuen Informationen auf, die bereits eingegebenem und Werte geschätzt oder vorhergesagt werden sollen. widersprachen. Das führte Ende der 1980er zum zweiten Beim unüberwachten Lernen hingegen reichen die rohen »KI-Winter«. Beispieldaten aus, um grundlegende Muster in den Daten zu entdecken. Beim bestärkenden Lernen nutzen Maschinen Mitte der 1980er Jahre wurden Neuronale Netze zwar durch Feedback aus ihrer Interaktion mit der Umwelt, um ihre die Back-Propagation-Methode wieder interessant. Für prakti- zukünftigen Aktionen zu verbessern und Fehler zu verringern. sche Anwendungen stellten sich ab 1995 aber Lernmethoden Diese Art des Lernens kommt häufig in der Robotik zum wie Stützvektormaschinen als handhabbarer heraus. Einsatz, beispielsweise zum Erlernen der besten Greifbewe- gungen für Objekte. Erst um die Jahrtausendwende ermöglichten Fortschritte in den Computertechnologien und das Aufkommen von »Big Es gibt inzwischen eine Vielzahl von Modelltypen und Lern- Data« das Lernen von sehr komplexen, sogenannten »tiefen« verfahren bzw. konkreten Lernalgorithmen, die jeweils für Künstlichen Neuronalen Netzen. Damit begann der Erfolg der unterschiedliche Aufgaben besonders gut geeignet sind. Die heutigen KI. meist verbreiteten sind in Tabelle 2 zusammengestellt. 1.3 Lernaufgaben, Lernstile, Modelle und Algorithmen Kaggle, eine Plattform für ML-Wettbewerbe, hat 2017 in einer Umfrage nach den verwendeten Methoden gefragt. Das Bei maschinellen Lernverfahren unterscheidet man Lernstile, Ergebnis auf Basis von 7 301 Antworten zeigt Abbildung 1. die für jeweils andere Zwecke geeignet sind. Je nachdem, Ensemble-Methoden und »Gradient boosted machines« welche Zusatzinformation zur Verfügung steht, können kombinieren mehrere Modelle, meist Entscheidungsbäume, andere Aufgaben gelernt werden. Beim überwachten für Klassifikations- und Regressionsaufgaben. CNN und RNN Lernen müssen die richtigen Antworten zu den Beispielen gehören zu den tiefen Neuronalen Netzen. Tabelle 2: Gängige Lernverfahren und ihre Modelle Lernstil Lernaufgabe Lernverfahren Modell Überwacht Regression Lineare Regression Regressionsgerade Klassifikations- und Regressionsbaum- Regressionsbaum verfahren (CART) Klassifikation Logistische Regression Trennlinie Iterative Dichotomizer (ID3) Entscheidungsbaum Stützvektormaschine (SVM) Hyperebene Bayessche Inferenz Bayessche Modelle Unüberwacht Clustering K-Means Clustermittelpunkte Dimensionsreduktion Kernel Principal Component Zusammengesetzte Merkmale Analysis (PCA) Bestärkend Sequentielles Entscheiden Q-Lernen Strategien Verschiedene Verschiedene Rückwärtspropagierung Künstliche Neuronale Netze 10  KONZEPTE, METHODEN UND GRENZEN DES MASCHINELLEN LERNENS Abbildung 1: Verwendete Methoden der von Kaggle befragten Data Scientists und ML-Fachleute3 Logistische Regression 63,5 % Entscheidungsbäume 49,9 % Random Forests 46,3 % Neuronale Netze 37,6 % Bayessche Inferenzen 30,6 % Ensemble-Methoden 28,5 % Stützvektormaschinen 26,7 % Gradient Boosted Machines 23,9 % Faltungsnetze (CNN) 18,9 % Rekurrente Neuronale Netze (RNN) 12,3 % Andere 8,3 % 1.4 Tiefe Neuronale Netze 3 oft nur sinnvoll mit sehr großen Datenmengen. Da es sich dem Menschen nicht ohne weiteres erschließt, was die Gewichtun- Ab 2006 verzeichnete das Deep Learning oder das Lernen gen bei einem KNN bedeuten und wie genau die Ausgaben mit tiefen Künstlichen Neuronalen Netzen enorme Fort- zustande kommen, spricht man hier von »subsymbolischen« schritte, insbesondere in der Analyse von Bild- und Video-, Modellen, im Gegensatz zu symbolischen Modellen wie den Sprach- und Textdaten. Inzwischen können Maschinen mit Entscheidungsbäumen (siehe Abb. 3) oder den Wissensbasen tiefen KNN in einigen Fällen Gesichter und Objekte mit einer früherer Expertensysteme. geringeren Fehlerquote identifizieren als Menschen und sogar Fachleute4. Außerdem können solche Maschinen neuartige Es gibt eine Vielzahl von Netzarchitekturen, die sich für jeweils Lernaufgaben mit komplexen Ergebnissen lösen wie Texte unterschiedliche Datentypen und Aufgabenstellungen als wir- übersetzen, Fragen und E-Mails beantworten, Nachrichten kungsvoll erwiesen haben. Da die Netze im Ganzen von den zu Berichten verdichten, Musik und Texte komponieren oder Rohdaten bis zur Ausgabe trainiert werden können, spricht Bilder produzieren. man auch von Ende-zu-Ende-Lernen. Eine sehr erfolgreiche Anwendung von tiefen KNN sind die »Deep Q-Networks« im Die tiefen KNN bestehen aus vielen in Software realisierten bestärkenden Ende-zu-Ende-Lernen5 für Spiele und Roboter. Schichten von »Knoten«, die als künstliche Neuronen be- zeichnet werden (siehe Abb. 2). Beim Lernen werden die Ge- 1.5 Herausforderungen des Maschinellen Lernens wichte, das sind Zahlenwerte an den Verbindungen zwischen den Knoten, solange verändert, bis die Ausgaben gut genug Beim Maschinellen Lernen als datengestützter Technologie sind. In ihren inneren Schichten gewinnen die Netze aus den gibt es ganz andere Herausforderungen als bei der klassischen Rohdaten selbstständig kompakte Darstellungen, wodurch Programmierung. Generell gilt: je mehr Trainingsdaten ein viele Vorverarbeitungsprogramme überflüssig werden und die Lernalgorithmus erhält, desto eher kann er sein Modell eigentliche Aufgabe leichter lernbar wird. Tiefe KNN bilden verbessern und die Fehlerquote verringern. Dabei besteht die ausdrucksstarke Modelle, die sich außerdem effizient in Kunst darin, das Modell allgemein genug zu halten, damit parallelen Rechnersystemen trainieren lassen. Das funktioniert es auch auf neuen Daten, die nicht in der Trainingsphase 3 Kaggle 2017 4 He et al. 2015 5 Mnih et al. 2015 11 MASCHINELLES LERNEN Abbildung 2: Schematische Darstellung eines KNN, hier in Form eines Feed-forward Network – eigene Darstellung Summierung und Ausgangswert Eingangswerte Gewichte Aktivierungsfunktion w11 x1 ∑α w12 w13 w1n... x2 ∑α y1... x3 ∑α y2...... xn ∑α Eingabeschicht Verdeckte Zwischenschicht Ausgabeschicht vorkamen, gut funktioniert. Außerdem sollen die Modelle ro- Abbildung 3: Schematische Darstellung eines Entscheidungsbaums6 bust sein, also auf ähnliche Eingaben auch ähnlich reagieren. Alter Die Qualität eines Modells hängt auch von der Qualität der alt jung Trainingsdaten ab. Werden dem Algorithmus zu viele falsche Beispiele gezeigt, kann er nicht die korrekten Antworten Sorte nein lernen. Wenn die Beispiele nicht repräsentativ sind, sind die veredelt natürlich Ausgaben bei neuartigen Eingaben auch mit größerer Un- ja Boden sicherheit behaftet. Manche Modelle können aber zusammen mit ihrer Ausgabe auch eine Einschätzung abliefern, wie reichhaltig mager fundiert die Ausgabe ist. ja nein Eine wünschenswerte und wichtige Eigenschaft ist die Nachvollziehbarkeit der Modelle im Allgemeinen und ihrer Ergebnisse im Einzelfall. Entscheidungsbäume lassen sich für erfolgreiche ML-Anwendungen halten. Die Wahl der besonders gut interpretieren, tiefe Neuronale Netze hingegen Methode sollte sich immer nach den Anforderungen der schlecht. Aufgabe richten. In Deutschland gibt es auch zukünftig viele Einsatzbereiche für klassische Lernverfahren, die weniger Die gute Skalierbarkeit mit steigenden Datenmengen einer- Daten benötigen – wie die hier stark vertretenen Stützvektor- seits und die schlechte Nachvollziehbarkeit andererseits sind maschinen und Kernmethoden. Noch größeres Potenzial Gründe, weshalb die im Projekt konsultierten Fachleute sehen die Fachleute aber in der Verbindung von maschinellen das tiefe Lernen für notwendig, aber nicht ausreichend Lernverfahren mit anderen Wissensformen.6 6 Snider 2017 12