ISTQB CT-AI Lehrplan (DE) 2021 PDF

Lehrplan Certified Tester AI Testing (CT-AI) Version 2021 1.0D International Software Testing Qualifications Board Deutschsprachige Ausgabe Herausgegeben durch German Testing Board e. V. in Zusammenarbeit mit dem Austrian Testing Board und dem Swiss Testing Board Der englischsprachige Lehrplan wurde zur Verfügung gestellt von Alliance for Qualification, Artificial Intelligence United, Chinese Software Testing Qualifications Board und Korean Software Testing Qualifications Board Certified Tester AI Testing (CT-AI) Lehrplan Copyright-Hinweis © International Software Testing Qualifications Board (im Folgenden ISTQB® genannt) Übersetzung des englischsprachigen Lehrplans des International Software Testing Qualifications Board (ISTQB®), Originaltitel: Certified Tester AI Testing (CT-AI) Syllabus, Version V1.0 2021. Dieser Lehrplan Certified Tester AI-Testing, ISTQB® Version 2021, V1.0D, 2022/08/12 („das Werk“) ist urheberrechtlich geschützt. Inhaber der ausschließlichen Nutzungsrechte an dem Werk sind das German Testing Board (GTB), das Austrian Testing Board (ATB) und das Swiss Testing Board (STB). Die Nutzung des Werks ist – soweit sie nicht nach den nachfolgenden Bestimmungen und dem Gesetz über Urheberrechte und verwandte Schutzrechte vom 9. September 1965 (UrhG) erlaubt ist – nur mit ausdrücklicher Zustimmung des GTB gestattet. Dies gilt insbesondere für die Vervielfältigung, Verbreitung, Bearbeitung, Veränderung, Übersetzung, Mikroverfilmung, Speicherung und Verarbeitung in elektronischen Systemen sowie die öffentliche Zugänglichmachung. Dessen ungeachtet ist die Nutzung des Werks einschließlich der Übernahme des Wortlauts, der Reihenfolge sowie Nummerierung der in dem Werk enthaltenen Kapitelüberschriften für die Zwecke der Anfertigung von Veröffentlichungen gestattet. Die Verwendung der in diesem Werk enthaltenen Informationen erfolgt auf die alleinige Gefahr des Nutzers. GTB, ATB und STB übernehmen insbesondere keine Gewähr für die Vollständigkeit, die technische Richtigkeit, die Konformität mit gesetzlichen Anforderungen oder Normen sowie die wirtschaftliche Verwertbarkeit der Informationen. Es werden durch dieses Dokument keinerlei Produktempfehlungen ausgesprochen. Die Haftung von GTB, ATB und STB gegenüber dem Nutzer des Werks ist im Übrigen auf Vorsatz und grobe Fahrlässigkeit beschränkt. Jede Nutzung des Werks oder von Teilen des Werks ist nur unter Nennung des GTB, ATB und STB als Inhaber der ausschließlichen Nutzungsrechte sowie der Autoren als Quelle gestattet. ISTQB® ist eine eingetragene Marke des International Software Testing Qualifications Board. Englischsprachiger Lehrplan Copyright © 2021, die Autoren Klaudia Dussa-Zieger (Vorsitz), Werner Henschelchen, Vipul Kocher, Qin Liu, Stuart Reid, Kyle Siemens, und Adam Leon Smith. Alle Rechte vorbehalten. Die Autoren übertragen hiermit das Urheberrecht an das ISTQB®. Die Autoren (als derzeitige Inhaber des Urheberrechts) und das ISTQB® (als künftiger Inhaber des Urheberrechts) haben den folgenden Nutzungsbedingungen zugestimmt: Auszüge aus diesem Dokument dürfen für nichtkommerzielle Zwecke kopiert werden, wenn die Quelle angegeben wird. Jeder zugelassene Schulungsanbieter darf diesen Lehrplan als Grundlage für einen Schulungskurs verwenden, wenn die Autoren und das ISTQB® als Quelle und Urheberrechtsinhaber des Lehrplans genannt werden und vorausgesetzt, dass in der Werbung für einen solchen Schulungskurs der Lehrplan erst dann erwähnt wird, wenn die offizielle Akkreditierung der Schulungsunterlagen durch ein vom ISTQB® anerkanntes Mitgliedsgremium erfolgt ist. Jede Einzelperson oder Gruppe von Einzelpersonen kann diesen Lehrplan als Grundlage für Artikel und Bücher verwenden, wenn die Autoren und das ISTQB® als Quelle und Urheberrechtsinhaber des Lehrplans genannt werden. Jedes vom ISTQB® anerkannte Mitgliedskomitee kann diesen Lehrplan übersetzen, sofern es den oben genannten Copyright-Hinweis in der übersetzten Version des Lehrplans wiedergibt. Jede andere Verwendung dieses Lehrplans ist ohne vorherige schriftliche Genehmigung des ISTQB® untersagt. Version 2021 1.0D Seite 2 von 104 2022/08/12 © International Software Testing Qualifications Board Certified Tester AI Testing (CT-AI) Lehrplan Änderungsübersicht Originalausgabe Version Datum Bemerkungen 1.0 2021/10/01 Freigabe für GA Änderungsübersicht deutschsprachige Ausgabe Version Datum Bemerkungen 1.0D 2022/08/12 Übersetzungung durch GTB e.V. mit ATB und STB Version 2021 1.0D Seite 3 von 104 2022/08/12 © International Software Testing Qualifications Board Certified Tester AI Testing (CT-AI) Lehrplan Inhaltsverzeichnis Copyright-Hinweis................................................................................................................................... 2 Änderungsübersicht Originalausgabe..................................................................................................... 3 Änderungsübersicht deutschsprachige Ausgabe................................................................................... 3 Inhaltsverzeichnis.................................................................................................................................... 4 Danksagung............................................................................................................................................ 8 0 Einführung............................................................................................................................... 9 0.1 Zweck dieses Syllabus........................................................................................................... 9 0.2 Der Certified Tester AI Testing............................................................................................... 9 0.3 Prüfbare Lernziele und kognitive Stufen des Wissens........................................................... 9 0.4 Praktische Kompetenzebenen............................................................................................. 10 0.5 Die Prüfung zum Certified Tester AI Testing........................................................................ 10 0.6 Akkreditierung....................................................................................................................... 11 0.7 Detaillierungsgrad................................................................................................................. 11 0.8 Aufbau des Lehrplans........................................................................................................... 12 1 Einführung in KI - 105 Minuten.............................................................................................. 13 1.1 Definition von KI und KI-Effekt............................................................................................. 14 1.2 Schwache KI, Allgemeine KI und Super-KI.......................................................................... 14 1.3 KI-basierte und konventionelle Systeme.............................................................................. 14 1.4 KI-Techniken........................................................................................................................ 15 1.5 KI-Entwicklungs-Frameworks............................................................................................... 15 1.6 Hardware für KI-basierte Systeme....................................................................................... 16 1.7 KI-als-Dienst (AIaaS)............................................................................................................ 17 1.7.1 Verträge für KI-als-Dienst................................................................................................ 17 1.7.2 Beispiele für KI-als-Dienst............................................................................................... 18 1.8 Vortrainierte Modelle............................................................................................................ 18 1.8.1 Einführung in vortrainierte Modelle................................................................................. 18 1.8.2 Transferlernen................................................................................................................. 18 1.8.3 Risiken bei der Verwendung von vortrainierten Modellen und Transferlernen............... 19 1.9 Normen, Vorschriften und KI................................................................................................ 20 2 Qualitätsmerkmale für KI-basierte Systeme - 105 Minuten................................................... 21 2.1 Flexibilität und Anpassbarkeit............................................................................................... 22 2.2 Autonomie............................................................................................................................ 22 Version 2021 1.0D Seite 4 von 104 2022/08/12 © International Software Testing Qualifications Board Certified Tester AI Testing (CT-AI) Lehrplan 2.3 Evolution............................................................................................................................... 22 2.4 Verzerrung............................................................................................................................ 23 2.5 Ethik...................................................................................................................................... 24 2.6 Nebenwirkungen und Belohnungs‐Hacking......................................................................... 24 2.7 Transparenz, Interpretierbarkeit und Erklärbarkeit............................................................... 25 2.8 Funktionale Sicherheit und KI.............................................................................................. 25 3 Maschinelles Lernen (ML) - Überblick - 145 Minuten............................................................ 27 3.1 Arten von ML........................................................................................................................ 28 3.1.1 Überwachtes Lernen....................................................................................................... 28 3.1.2 Unüberwachtes Lernen................................................................................................... 28 3.1.3 Bestärkendes Lernen...................................................................................................... 29 3.2 ML-Workflow......................................................................................................................... 29 3.3 Auswahl einer Art von ML..................................................................................................... 32 3.4 Faktoren, die bei der Auswahl von ML-Algorithmen eine Rolle spielen............................... 32 3.5 Überanpassung und Unteranpassung.................................................................................. 33 3.5.1 Überanpassung............................................................................................................... 33 3.5.2 Unteranpassung.............................................................................................................. 33 3.5.3 Praktische Übung: Demonstration von Überanpassung und Unteranpassung.............. 33 4 ML - Daten - 230 Minuten...................................................................................................... 34 4.1 Datenvorbereitung als Teil des ML-Workflows..................................................................... 35 4.1.1 Herausforderungen bei der Datenvorbereitung............................................................... 36 4.1.2 Praktische Übung: Datenvorbereitung für ML................................................................. 36 4.2 Trainings-, Validierungs- und Testdatensätze im ML-Workflow........................................... 37 4.2.1 Praktische Übung: Identifizieren von Trainings- und Testdaten und Erstellen eines ML- Modells............................................................................................................................ 38 4.3 Probleme mit der Datensatzqualität..................................................................................... 38 4.4 Datenqualität und ihre Auswirkungen auf das ML-Modell.................................................... 39 4.5 Datenkennzeichnung für überwachtes Lernen..................................................................... 40 4.5.1 Ansätze zur Datenkennzeichnung.................................................................................. 40 4.5.2 Falsch gekennzeichnete Daten in Datensätzen.............................................................. 40 5 Funktionale Leistungsmetriken von ML - 120 Minuten.......................................................... 42 5.1 Konfusionsmatrix.................................................................................................................. 43 5.2 Zusätzliche funktionale Leistungsmetriken von ML für Klassifikation, Regression und Clusterbildung....................................................................................................................... 44 5.3 Beschränkungen der funktionalen Leistungsmetriken von ML............................................. 44 5.4 Auswahl funktionaler Leistungsmetriken von ML................................................................. 45 Version 2021 1.0D Seite 5 von 104 2022/08/12 © International Software Testing Qualifications Board Certified Tester AI Testing (CT-AI) Lehrplan 5.4.1 Praktische Übung: Evaluieren eines erstellten ML-Modells............................................ 46 5.5 Benchmark-Suiten für ML..................................................................................................... 46 6 ML - Neuronale Netzwerke und Testen - 65 Minuten............................................................ 47 6.1 Neuronale Netzwerke........................................................................................................... 48 6.1.1 Praktische Übung: Implementierung eines einfachen Perzeptrons................................ 49 6.2 Überdeckungsmaße für neuronale Netzwerke..................................................................... 50 7 Testen KI-basierter Systeme im Überblick - 115 Minuten..................................................... 52 7.1 Spezifikation KI-basierter Systeme...................................................................................... 53 7.2 Teststufen für KI-basierte Systeme...................................................................................... 53 7.2.1 Eingabedatentest............................................................................................................ 54 7.2.2 ML-Modelltest.................................................................................................................. 54 7.2.3 Komponententest............................................................................................................ 54 7.2.4 Komponenten-Integrationstest........................................................................................ 54 7.2.5 Systemtest....................................................................................................................... 55 7.2.6 Abnahmetest................................................................................................................... 55 7.3 Testdaten zum Testen KI-basierter Systeme....................................................................... 55 7.4 Testen auf Automatisierungsverzerrungen in KI-basierten Systemen................................. 56 7.5 Dokumentieren einer KI-Komponente.................................................................................. 56 7.6 Testen auf Konzeptdrift........................................................................................................ 57 7.7 Auswahl einer Testvorgehensweise für ein ML-System...................................................... 57 8 Testen KI-spezifischer Qualitätsmerkmale - 150 Minuten..................................................... 60 8.1 Herausforderungen beim Testen selbstlernender Systeme................................................. 61 8.2 Test autonomer KI-basierter Systeme.................................................................................. 62 8.3 Testen auf algorithmische, stichprobenartige und unangemessene Verzerrungen............. 62 8.4 Herausforderungen beim Testen probabilistischer und nicht-deterministischer KI-basierter Systeme................................................................................................................................ 63 8.5 Herausforderungen beim Testen komplexer KI-basierter Systeme..................................... 63 8.6 Testen der Transparenz, Interpretierbarkeit und Erklärbarkeit KI-basierter Systeme......... 64 8.6.1 Praktische Übung: Modell-Erklärbarkeit.......................................................................... 65 8.7 Testorakel für KI-basierte Systeme...................................................................................... 65 8.8 Testziele und Akzeptanzkriterien......................................................................................... 66 9 Methoden und Verfahren für das Testen KI-basierter Systeme - 245 Minuten..................... 68 9.1 Gegnerische Angriffe und Datenverunreinigung.................................................................. 69 9.1.1 Gegnerische Angriffe....................................................................................................... 69 9.1.2 Datenverunreinigung....................................................................................................... 69 Version 2021 1.0D Seite 6 von 104 2022/08/12 © International Software Testing Qualifications Board Certified Tester AI Testing (CT-AI) Lehrplan 9.2 Paarweises Testen............................................................................................................... 70 9.2.1 Praktische Übung: Paarweises Testen........................................................................... 71 9.3 Vergleichendes Testen......................................................................................................... 71 9.4 A/B-Testen............................................................................................................................ 71 9.5 Metamorphes Testen (MT)................................................................................................... 72 9.5.1 Praktische Übung: Metamorphes Testen........................................................................ 73 9.6 Erfahrungsbasiertes Testen KI-basierter Systeme.............................................................. 74 9.6.1 Praktische Übung: Exploratives Testen und explorative Datenanalyse (EDA)............... 75 9.7 Auswahl von Testverfahren für KI-basierte Systeme........................................................... 76 10 Testumgebungen für KI-basierte Systeme - 30 Minuten....................................................... 77 10.1 Testumgebungen für KI-basierte Systeme........................................................................... 78 10.2 Virtuelle Testumgebungen für KI-basierte Systeme............................................................. 78 11 Einsatz von KI für Tests - 195 Minuten.................................................................................. 80 11.1 KI-Techniken für das Testen................................................................................................ 81 11.1.1 Praktische Übung: Der Einsatz von KI bei Tests............................................................ 81 11.2 Einsatz von KI zur Analyse gemeldeter Fehler.................................................................... 81 11.3 Einsatz von KI für die Testfallgenerierung............................................................................ 82 11.4 Einsatz von KI für die Optimierung von Regressionstestsuiten........................................... 82 11.5 Einsatz von KI für die Fehlervorhersage.............................................................................. 83 11.5.1 Praktische Übung: Aufbau eines Fehlervorhersagesystems.......................................... 83 11.6 Einsatz von KI zum Testen von Benutzungsschnittstellen................................................... 83 11.6.1 Einsatz von KI zum Testen über die grafische Benutzungsschnittstelle (GUI)............... 83 11.6.2 Einsatz von KI zum Testen der GUI................................................................................ 84 12 Referenzen............................................................................................................................ 85 12.1 Normen und Standards [S]................................................................................................... 85 12.2 ISTQB®-Dokumente [I]......................................................................................................... 85 12.3 Bücher und Artikel [B]........................................................................................................... 86 12.4 Andere Referenzen [R]......................................................................................................... 88 Anhang A - Abkürzungen...................................................................................................................... 91 Anhang B - KI-spezifische und andere Begriffe.................................................................................... 92 Index 102 Version 2021 1.0D Seite 7 von 104 2022/08/12 © International Software Testing Qualifications Board Certified Tester AI Testing (CT-AI) Lehrplan Danksagung Der englischsprachige Lehrplan wurde von der Generalversammlung des ISTQB® am 1. Oktober 2021 formell freigegeben. Er wurde von einem Team des International Software Testing Qualifications Board erstellt: Klaudia Dussa-Zieger (Vorsitz), Werner Henschelchen, Vipul Kocher, Qin Liu, Stuart Reid, Kyle Siemens und Adam Leon Smith. Das Team dankt den Autoren der drei beigetragenen Lehrpläne; A4Q: Rex Black, Bruno Legeard, Jeremias Rößler, Adam Leon Smith, Stephan Goericke, Werner Henschelchen AiU: Hauptautoren Vipul Kocher, Saurabh Bansal, Srinivas Padmanabhuni und Sonika Bengani sowie die Co-Autoren Rik Marselis, José M. Diaz Delgado CSTQB/KSTQB: Qin Liu, Stuart Reid Das Team dankt den Arbeitsgruppen "Exam", "Glossary" und "Marketing" für ihre Unterstützung bei der Entwicklung des Lehrplans, Graham Bath für seine technische Bearbeitung und den Mitglieds-Boards für ihre Anregungen und Beiträge. Die folgenden Personen haben an den Reviews und der Kommentierung dieses Lehrplans mitgewirkt: Laura Albert, Reto Armuzzi, Árpád Beszédes, Armin Born, Géza Bujdosó, Renzo Cerquozzi, Sudeep Chatterjee, Seunghee Choi, Young-jae Choi, Piet de Roo, Myriam Christener, Jean-Baptiste Crouigneau, Guofu Ding,Erwin Engelsma, Hongfei Fan, Péter Földházi Jr., Tamás Gergely, Ferdinand Gramsamer, Attila Gyúri, Matthias Hamburg, Tobias Horn, Jarosław Hryszko, Beata Karpinska, Joan Killeen, Rik Kochuyt, Thomas Letzkus, Chunhui Li, Haiying Liu, Gary Mogyorodi, Rik Marselis, Imre Mészáros, Tetsu Nagata, Ingvar Nordström, Gábor Péterffy, Tal Pe'er, Ralph Pichler, Nishan Portoyan, Meile Posthuma, Adam Roman, Gerhard Runze, Andrew Rutz, Klaus Skafte, Mike Smith, Payal Sobti, Péter Sótér, Michael Stahl, Chris van Bael, Stephanie van Dijck, Robert Werkhoven, Paul Weymouth, Dong Xin, Ester Zabar, Claude Zhang. Die deutschsprachige Fassung wurde erstellt durch: Dr. Klaudia Dussa-Zieger, Thorsten Geiselhart, Prof. Dr. Ralf Reißing, Dr. Stephan Weißleder und Prof. Dr. Mario Winter (Leitung). Das Team dankt den Arbeitsgruppen "Prüfung" und "Glossar", den Reviewern sowie dem Vorstand des GTB e.V. für ihre Unterstützung bei der Lokalisierung dieses Dokuments. Version 2021 1.0D Seite 8 von 104 2022/08/12 © International Software Testing Qualifications Board Certified Tester AI Testing (CT-AI) Lehrplan 0 Einführung 0.1 Zweck dieses Syllabus Dieser Lehrplan bildet die Grundlage für den ISTQB® Certified Tester AI Testing. Das ISTQB® stellt diesen Lehrplan wie folgt zur Verfügung: 1. Nationalen Mitglieds-Boards, die den Lehrplan in ihre nationale(n) Sprache(n) übersetzen und Seminaranbieter akkreditieren dürfen. Nationale Mitglieds-Boards dürfen den Lehrplan an die Anforderungen ihrer nationale(n) Sprache(n) anpassen und Referenzen auf lokale Veröffentlichungen hinzufügen. 2. Zertifizierungsstellen zur Ableitung von Prüfungsfragen in ihre nationale(n) Sprache(n), die an die Lernziele dieses Lehrplans angepasst sind. 3. Seminaranbietern zur Erstellung von Kursmaterialien und zur Bestimmung angemessener Lehrmethoden. 4. Zertifizierungskandidaten zur Vorbereitung auf die Zertifizierungsprüfung (entweder als Teil eines Seminars oder unabhängig davon). 5. Der internationalen Software- und Systementwicklungs-Community zur Förderung der Weiterbildung und des Berufsbildes des Software- und Systemtesters und als Grundlage für Bücher und Fachartikel. 0.2 Der Certified Tester AI Testing Der Certified Tester AI Testing richtet sich an alle in das Thema Softwaretesten involvierten Personen, die ihr Wissen über das Testen KI-basierter Systeme und/oder die Nutzung von KI zum Testen vertiefen wollen, bzw. an Personen, die sich in ihrer beruflichen Laufbahn auf diese Themen spezialisieren wollen. Dazu gehören Personen in Funktionen wie Tester, Testanalysten, Datenanalysten, Testingenieure, Testberater, Testmanager, Usability-Tester und Softwareentwickler. Diese Zertifizierung eignet sich auch für alle, die ein grundlegendes Verständnis für das Testen KI-basierter Systeme und/oder KI für das Testen erlangen möchten, wie z. B. Projektmanager, Qualitätsmanager, Softwareentwicklungsmanager, Business-Analysten, Mitglieder von Operations-Teams, IT-Direktoren und Unternehmensberater. Das Dokument Certified Tester AI Testing (CT-KI) Überblick über den Lehrplan [I03] ist ein separates Dokument, das die folgenden Informationen enthält: Geschäftlicher Nutzen des Lehrplans. Verfolgbarkeitsmatrix zwischen geschäftlichem Nutzen und Lernzielen. Zusammenfassung dieses Lehrplans. Beziehungen zwischen den Lehrplänen. 0.3 Prüfbare Lernziele und kognitive Stufen des Wissens Die Lernziele unterstützen den geschäftlichen Nutzen und werden bei der Erstellung der Certified Tester AI Testing-Prüfungen verwendet. Die Kandidaten können aufgefordert werden, ein Schlüsselwort oder ein Konzept, das in einem der elf Kapitel erwähnt wird, zu erkennen, sich daran zu erinnern oder abzurufen. Die spezifischen Lernziele sind zu Beginn jedes Kapitels aufgeführt und wie folgt klassifiziert: Version 2021 1.0D Seite 9 von 104 2022/08/12 © International Software Testing Qualifications Board Certified Tester AI Testing (CT-AI) Lehrplan K1: Erinnern K2: Verstehen K3: Anwenden K4: Analysieren Alle Begriffe, die als Schlüsselwörter direkt unter den Kapitelüberschriften aufgeführt sind, müssen auswendig gelernt werden (K1), auch wenn sie nicht ausdrücklich in den Lernzielen erwähnt werden. 0.4 Praktische Kompetenzebenen Der Certified Tester AI Testing umfasst praxisnahe Lernziele, die sich auf praxisnahe Fähigkeiten und Kompetenzen konzentrieren. Die folgenden Stufen gelten für praxisnahe Ziele (wie in der Liste unten gezeigt): H0: Live-Demo einer Übung oder aufgezeichnetes Video. H1: Angeleitete Übung, die Lernenden folgen einer Abfolge von Schritten, die der Trainer vorgibt. H2: Übung mit Hinweisen, die Lernenden erhalten eine Aufgabe mit entsprechenden Hinweisen, so dass die Aufgabe innerhalb des vorgegebenen Zeitrahmens gelöst werden kann, oder sie nehmen an einer Diskussion teil. Die Kompetenzen werden durch praktische Übungen erworben, wie sie in der folgenden Liste aufgeführt sind: (HO-3.5.1 H0) Demonstrieren von Überanpassung und Unteranpassung. (HO-4.1.1 H2) Durchführen der Datenvorbereitung zur Unterstützung der Erstellung eines ML- Modells. (HO-4.2.1 H2) Identifizieren von Trainings- und Testdatensätzen und Erstellen eines ML- Modells. (HO-5.4.1 H2) Evaluieren des erstellten ML-Modells anhand ausgewählter funktionaler Leistungsmetriken von ML. (HO-6.1.1 H1) Beobachten der Implementierung eines Perzeptrons. (HO-8.6.1 H2) Verwenden eines Werkzeugs um zu zeigen, wie Erklärbarkeit von Testern genutzt werden kann. (HO-9.2.1 H2) Anwenden von paarweisem Testen für Entwurf und Ausführung von Testfällen für ein KI-basiertes System. (HO-9.5.1 H2) Anwenden von metamorphem Testen, um Testfälle für ein bestimmtes Szenario zu entwerfen und auszuführen. (HO-9.6.1 H2) Anwenden von explorativem Testen auf ein KI-basiertes System. (HO-11.1.1 H2) Erläutern von Tätigkeiten im Testbereich, bei denen der Einsatz von KI weniger wahrscheinlich ist, an Hand von Beispielen. (HO-11.5.1 H2) Implementieren eines einfachen KI-basierten Fehlerprognosesystems. 0.5 Die Prüfung zum Certified Tester AI Testing Die Prüfung zum Certified Tester AI Testing stützt sich auf diesen Lehrplan. Für die Beantwortung der Prüfungsfragen kann es erforderlich sein, Material zu verwenden, das auf mehr als einem Abschnitt dieses Lehrplans basiert. Alle Abschnitte des Lehrplans sind prüfungsrelevant, mit Ausnahme dieser Einführung und der Anhänge. Normen und Bücher sind als Referenz aufgeführt, aber ihr Inhalt ist nicht Version 2021 1.0D Seite 10 von 104 2022/08/12 © International Software Testing Qualifications Board Certified Tester AI Testing (CT-AI) Lehrplan prüfungsrelevant, abgesehen von dem, was im Lehrplan selbst aus diesen Normen und Büchern zusammengefasst ist. Hinweis zur Zulassungsvoraussetzung: Das ISTQB® Certified Tester Foundation Level Zertifikat muss vor der Prüfung zum Certified Tester AI Testing erworben werden. 0.6 Akkreditierung Ein nationales ISTQB-Mitglieds-Board kann Seminaranbieter akkreditieren, deren Kursmaterial diesem Lehrplan entspricht. Seminaranbieter sollten die Akkreditierungsrichtlinien von dem Mitglieds-Board (in Deutschland: German Testing Board e.V.; in der Schweiz: Swiss Testing Board; in Österreich: Austrian Testing Board) oder bei der Organisation beziehen, welche die Akkreditierung durchführt. Ein akkreditierter Kurs wird als konform zu diesem Lehrplan anerkannt und darf eine ISTQB®-Prüfung als Teil des Kurses haben. Die Akkreditierungsrichtlinien für diesen Lehrplan folgen den allgemeinen Akkreditierungsrichtlinien, die von der Arbeitsgruppe Prozessmanagement und Compliance veröffentlicht wurden. 0.7 Detaillierungsgrad Der Detaillierungsgrad dieses Lehrplans ermöglicht international einheitliche Kurse und Prüfungen. Um dieses Ziel zu erreichen, umfasst der Lehrplan: Allgemeine Lehrziele, welche die Intention des Certified Tester AI Testing beschreiben. Eine Liste von Begriffen, die sich die Lernenden merken können müssen. Lern- und Praxisziele für jeden Wissensbereich, welche die zu erreichenden Lernergebnisse beschreiben. Eine Beschreibung der Schlüsselkonzepte, einschließlich Verweisen auf Quellen wie anerkannte Literatur oder Normen. Der Inhalt des Lehrplans ist keine Beschreibung des gesamten Wissensbereichs für das Testen KI- basierter Systeme; er spiegelt den Detaillierungsgrad wider, der in den Schulungen zum Certified Tester Specialist AI Testing behandelt wird. Er konzentriert sich auf die Einführung in die grundlegenden Konzepte der künstlichen Intelligenz (KI) und des maschinellen Lernens im Besonderen und darauf, wie Systeme, die auf diesen Techniken basieren, getestet werden können. Version 2021 1.0D Seite 11 von 104 2022/08/12 © International Software Testing Qualifications Board Certified Tester AI Testing (CT-AI) Lehrplan 0.8 Aufbau des Lehrplans Es gibt elf Kapitel mit prüfbarem Inhalt. Die oberste Überschrift jedes Kapitels gibt die Zeit für das jeweilige Kapitel an; unterhalb der Kapitelebene wird keine Zeitangabe gemacht. Für akkreditierte Ausbildungskurse erfordert der Lehrplan mindestens 25,1 Unterrichtsstunden, die sich wie folgt auf die elf Kapitel verteilen: Kapitel 1 Einführung in KI 105 Minuten Kapitel 2 Qualitätsmerkmale für KI-basierte Systeme 105 Minuten Kapitel 3 Maschinelles Lernen (ML) - Überblick 145 Minuten Kapitel 4 ML - Daten 230 Minuten Kapitel 5 Funktionale Leistungsmetriken von ML 120 Minuten Kapitel 6 ML - Neuronale Netzwerke und Tests 65 Minuten Kapitel 7 Testen KI-basierter Systeme im Überblick 115 Minuten Kapitel 8 Testen KI-spezifischer Qualitätsmerkmale 150 Minuten Kapitel 9 Methoden und Verfahren für das Testen KI-basierter Systeme 245 Minuten Kapitel 10 Testumgebungen für KI-basierte Systeme 30 Minuten Kapitel 11 Einsatz von KI für Tests 195 Minuten 1505 Minuten Version 2021 1.0D Seite 12 von 104 2022/08/12 © International Software Testing Qualifications Board Certified Tester AI Testing (CT-AI) Lehrplan 1 Einführung in KI - 105 Minuten Schlüsselbegriffe Keine KI-spezifische Schlüsselwörter KI-als-Dienst (AI as a Service, AIaaS), KI-Entwicklungs-Framework, KI-Effekt, KI-basiertes System, künstliche Intelligenz (KI), neuronales Netzwerk, Deep Learning (DL), tiefes neuronales Netzwerk, allgemeine KI, Datenschutz-Grundverordnung (DSGVO), maschinelles Lernen (ML), schwache KI, vortrainiertes Modell, Super-KI, technologische Singularität, Transferlernen Lernziele für Kapitel 1: 1.1 Definition von KI und KI-Effekt AI 1-1.1.1 K2 Beschreiben des KI-Effekts und wie er die Definition von KI beeinflusst 1.2 Schwache, Allgemeine und Super-KI AI-1.2.1 K2 Unterscheiden zwischen schwacher KI, allgemeiner KI und Super-KI 1.3 KI-basierte und konventionelle Systeme AI-1.3.1 K2 Unterscheiden zwischen KI-basierten Systemen und herkömmlichen Systemen 1.4 KI-Techniken AI-1.4.1 K1 Erkennen verschiedener Techniken zur Implementierung von KI 1.5 KI-Entwicklungs-Frameworks AI-1.5.1 K1 Identifizieren gängiger KI-Entwicklungs-Frameworks 1.6 Hardware für KI-basierte Systeme AI-1.6.1 K2 Vergleichen der verfügbaren Hardwareoptionen für die Implementierung KI-basierter Systeme 1.7 KI-als-Dienst (AIaaS) AI-1.7.1 K2 Erklären des Konzepts von KI-als-Dienst (AIaaS) 1.8 Vortrainierte Modelle AI-1.8.1 K2 Erläutern der Verwendung vortrainierter KI-Modelle und damit verbundener Risiken 1.9 Normen, Vorschriften und AI AI-1.9.1 K2 Beschreiben, inwiefern Normen für KI-basierte Systeme gelten 1 Zur besseren Referenzierbarkeit des englischsprachigen Lehrplans werden die Lernziele auch im deutschsprachigen Lehrplan mit AI-x.y.z nummeriert. Version 2021 1.0D Seite 13 von 104 2022/08/12 © International Software Testing Qualifications Board Certified Tester AI Testing (CT-AI) Lehrplan 1.1 Definition von KI und KI-Effekt Der Begriff künstliche Intelligenz (KI) geht auf die 1950er Jahre zurück und bezieht sich auf das Ziel, "intelligente" Maschinen zu bauen und zu programmieren, die in der Lage sind, den Menschen zu imitieren. Die heutige Definition hat sich erheblich weiterentwickelt, und die folgende Definition fasst das Konzept zusammen [S01]: Die Fähigkeit eines technischen Systems, Wissen und Fertigkeiten zu erwerben, zu verarbeiten und anzuwenden. Die Art und Weise, wie die Menschen die Bedeutung von KI verstehen, hängt von ihrer aktuellen Wahrnehmung ab. In den 1970er Jahren lag die Vorstellung eines Computersystems, das einen Menschen im Schach schlagen konnte, noch in der Zukunft, und die meisten hielten dies für KI. Heute, mehr als zwanzig Jahre nachdem das computergestützte System Deep Blue den Schachweltmeister Garri Kasparow besiegt hat, wird der in diesem System implementierte "Brute-Force"-Ansatz von vielen nicht als echte künstliche Intelligenz angesehen (d. h. das System lernte nicht aus Daten und war nicht in der Lage, selbst zu lernen). Ähnlich verhielt es sich mit den Expertensystemen der 1970er und 1980er Jahre, die menschliches Fachwissen in Form von Regeln enthielten, die wiederholt ausgeführt werden konnten, ohne dass der Experte anwesend war. Diese wurden damals als KI betrachtet, gelten aber heute nicht mehr als solche. Die sich ändernde Wahrnehmung dessen, was KI ausmacht, ist als "KI-Effekt" bekannt [R01]. In dem Maße, wie sich die Wahrnehmung von KI in der Gesellschaft ändert, ändert sich auch ihre Definition. Infolgedessen wird sich jede Definition von heute in der Zukunft wahrscheinlich ändern und nicht mehr mit der aus der Vergangenheit übereinstimmen. 1.2 Schwache KI, Allgemeine KI und Super-KI Auf einer abstrakten Ebene kann man KI in drei Kategorien unterteilen: Systeme der schwachen KI können eine bestimmte Aufgabe mit begrenztem Kontext ausführen. Diese Form der KI ist derzeit weit verbreitet. Zum Beispiel Systeme, die Spiele spielen, Spam-Filter, Testfallgeneratoren und Sprachassistenten. Systeme der allgemeinen KI (auch bekannt als starke KI) haben allgemeine (weitreichende) kognitive Fähigkeiten, die denen des Menschen ähneln. Diese KI-basierten Systeme können wie Menschen denken und ihre Umwelt verstehen sowie entsprechend handeln. Bis zum Jahr 2021 gibt es noch keine allgemeinen KI-Systeme. Systeme der Super-KI sind in der Lage, die menschliche Wahrnehmung nachzubilden (allgemeine KI) und verfügen über eine enorme Verarbeitungsleistung, einen praktisch unbegrenzten Speicher und Zugang zu allem menschlichen Wissen (z. B. durch Zugang zum Internet). Man geht davon aus, dass Super-KI-Systeme nach kurzer Zeit klüger sein werden als Menschen. Der Punkt, an dem KI-basierte Systeme von allgemeiner KI zu Super-KI übergehen, wird häufig als technologische Singularität bezeichnet [B01]. 1.3 KI-basierte und konventionelle Systeme In einem typischen konventionellen Computersystem wird die Funktion der Software von Menschen in z. B. einer imperativen Programmiersprache programmiert, die Konstrukte wie if-then-else und Schleifen enthält. Für Menschen ist es so relativ einfach nachzuvollziehen, wie das System Eingaben in Ausgaben umwandelt. In einem KI-basierten System, das maschinelles Lernen (ML) einsetzt, verwendet das System Muster in Daten, um zu bestimmen, wie es in Zukunft auf neue Daten reagieren soll (siehe Kapitel 3 für eine ausführliche Erläuterung von ML). So wird beispielsweise ein KI-basierter Bildprozessor, der Bilder von Katzen erkennen soll, mit einer Reihe von Bildern trainiert, von denen Version 2021 1.0D Seite 14 von 104 2022/08/12 © International Software Testing Qualifications Board Certified Tester AI Testing (CT-AI) Lehrplan bekannt ist, dass sie Katzen enthalten. Die KI bestimmt selbständig, welche Muster oder Merkmale in den Daten zur Identifizierung von Katzen verwendet werden können. Diese Muster und Regeln werden dann auf neue Bilder angewandt, um festzustellen, ob sie Katzen enthalten. Bei vielen KI-basierten Systemen führt dies dazu, dass das Vorhersage-Verfahren für den Menschen weniger leicht nachvollziehbar ist (siehe Abschnitt 2.8). In der Praxis können KI-basierte Systeme durch eine Vielzahl von Techniken implementiert werden (siehe Abschnitt 1.4), und der "KI-Effekt" (siehe Abschnitt 1.1) kann beeinflussen, was aktuell als KI- basiertes System und was als konventionelles System gilt. 1.4 KI-Techniken KI kann mit einer breiten Palette von Techniken implementiert werden (siehe [B02] für weitere Einzelheiten), wie z. B.: Fuzzy-Logik Suchalgorithmen Argumentationsverfahren o Regelmaschinen o Deduktive Klassifikatoren o Fallbezogene Argumentation (auch fallbasiertes Schließen, case-based reasoning) o Prozedurale Argumentation Verfahren des maschinellen Lernens o Neuronale Netze o Bayessche Modelle o Entscheidungsbäume o Random Forest o Lineare Regression o Logistische Regression o Clusterbildungsalgorithmen o Genetische Algorithmen o Stützvektormaschinen (support vector machine, SVM) KI-basierte Systeme setzen in der Regel eines oder mehrere dieser Verfahren ein. 1.5 KI-Entwicklungs-Frameworks Es gibt viele KI-Entwicklungs-Frameworks, von denen einige auf bestimmte Bereiche spezialisiert sind. Diese Frameworks unterstützen eine Reihe von Aktivitäten wie die Datenvorbereitung, die Auswahl von Algorithmen und die Kompilierung von Modellen für die Ausführung auf verschiedenen Prozessoren wie zentrale Recheneinheiten (CPUs), Grafikprozessoren (graphic processing unit, GPUs) oder Tensorprozessoren (tensor processing unit, TPUs). Die Auswahl eines bestimmten Frameworks kann auch von bestimmten Aspekten wie der für die Implementierung verwendeten Programmiersprache und ihrer Benutzerfreundlichkeit abhängen. Die folgenden Frameworks gehören zu den beliebtesten (Stand: 2021): Apache MxNet: Ein Open-Source-Framework für Deep Learning, das von Amazon für Amazon Web Services (AWS) verwendet wird [R02]. Version 2021 1.0D Seite 15 von 104 2022/08/12 © International Software Testing Qualifications Board Certified Tester AI Testing (CT-AI) Lehrplan CNTK: Das Microsoft Cognitive Toolkit (CNTK) ist ein Open-Source-Toolkit für Deep Learning [R03]. IBM Watson Studio: Eine Tool-Suite, welche die Entwicklung von KI-Lösungen unterstützt [R04]. Keras: Eine Open-Source-API auf hoher (Abstraktions-)Ebene, die in Python geschrieben ist und auf TensorFlow und CNTK aufsetzen kann [R06]. PyTorch: Eine Open-Source-ML-Bibliothek, die von Facebook betrieben wird und für Anwendungen zur Bildverarbeitung und Verarbeitung natürlicher Sprache (NLP) verwendet wird. Es werden sowohl Python- als auch C++-Schnittstellen unterstützt [R07]. Scikit-learn: Eine Open-Source-Bibliothek für maschinelles Lernen für die Programmiersprache Python [R08]. TensorFlow: Ein Open-Source-ML-Framework auf der Grundlage von Datenflussgraphen für skalierbares maschinelles Lernen, bereitgestellt von Google [R05]. Zu beachten ist, dass diese KI-Entwicklungs-Frameworks ständig weiterentwickelt, miteinander kombiniert und durch neue Frameworks ersetzt werden. 1.6 Hardware für KI-basierte Systeme Für das Training von ML-Modellen (siehe Kapitel 3) und die Modellimplementierung wird eine Vielzahl von Hardware verwendet. Ein Modell zur Spracherkennung kann beispielsweise auf einem einfachen Smartphone ausgeführt werden, obwohl zum Trainieren des Modells der Zugriff auf die Leistung von Cloud-Computing erforderlich ist. Ein gängiger Ansatz für den Fall, dass das Zielsystem nicht mit dem Internet verbunden ist, besteht darin, das Modell in der Cloud zu trainieren und es dann auf dem Zielsystem auszuführen. ML profitiert in der Regel von Hardware, welche die folgenden Eigenschaften unterstützt: Arithmetik mit geringer Genauigkeit: Hier werden weniger Bits für die Berechnung verwendet (z. B. 8 statt 32 Bits, was in der Regel für ML ausreicht). Die Fähigkeit, mit großen Datenstrukturen zu arbeiten (z. B. zur Unterstützung von Matrixmultiplikationen). Massiv parallele (nebenläufige) Verarbeitung. Universelle CPUs bieten Unterstützung für komplexe Operationen, die für ML-Anwendungen in der Regel nicht erforderlich sind, und verfügen nur über einige wenige Kerne. Daher ist ihre Architektur für das Training und die Ausführung von ML-Modellen weniger effizient als die von GPUs, die Tausende von Kernen haben und für die massiv parallele, aber relativ einfache Verarbeitung von Bildern ausgelegt sind. Infolgedessen sind GPUs bei ML-Anwendungen in der Regel leistungsfähiger als CPUs, obwohl CPUs in der Regel höher getaktet sind. Für ML in kleinem Maßstab sind GPUs im Allgemeinen die beste Option. Es gibt Hardware, die speziell für KI entwickelt wurde, z. B. anwendungsspezifische integrierte Schaltungen (ASICs) und System on a Chip (SoC). Diese KI-spezifischen Lösungen verfügen über Merkmale wie mehrere Kerne, eine spezielle Datenverwaltung und die Fähigkeit zur speicherinternen Verarbeitung. Sie eignen sich am besten für Edge Computing zur prozessnahen Datenerfassung und -verarbeitung [R11], während das Training des ML-Modells in der Cloud erfolgt. Hardware mit speziellen KI-Architekturen befindet sich derzeit (Stand 2021) in der Entwicklung. Dazu gehören neuromorphe Prozessoren [B03], die nicht die traditionelle von-Neumann-Architektur verwenden, sondern eine Architektur, welche die Neuronen des Gehirns näherungsweise imitiert. Beispiele für Anbieter von KI-Hardware und deren Prozessoren sind (Stand: 2021): Version 2021 1.0D Seite 16 von 104 2022/08/12 © International Software Testing Qualifications Board Certified Tester AI Testing (CT-AI) Lehrplan NVIDIA: Das Unternehmen bietet eine Reihe von Grafikprozessoren und KI-spezifischen Prozessoren an, wie z. B. Volta [R09]. Google: Das Unternehmen hat anwendungsspezifische integrierte Schaltkreise sowohl für das Training als auch für das logische Schlussfolgern (Inferenz) entwickelt. Google TPUs [R10] können von Nutzern in der Google Cloud genutzt werden, während die Edge TPU [R11] ein speziell entwickelter ASIC ist, der für die Ausführung von KI auf einzelnen Geräten entwickelt wurde. Intel: Das Unternehmen bietet Nervana-Prozessoren für neuronale Netze [R12] für Deep Learning (sowohl Training als auch Inferenz) und Movidius Myriad-Bildverarbeitungseinheiten für Inferenzen in Anwendungen für Computer Vision und neuronale Netze. Mobileye: Das Unternehmen stellt die EyeQ-Familie als SoC [R13] her, die komplexe und rechenintensive Bildverarbeitung unterstützen. Diese haben einen niedrigen Stromverbrauch und sind für den Einsatz in Fahrzeugen gedacht. Apple: Das Unternehmen stellt den Bionic-Chip für die lokale KI in iPhones her [B04]. Huawei: Ihr Kirin 970-Chip für Smartphones verfügt über die integrierte Verarbeitung neuronaler Netze für KI-Anwendungen [B05]. 1.7 KI-als-Dienst (AIaaS) KI-Komponenten, z B. ML-Modelle, können innerhalb einer Organisation erstellt, von einem Drittanbieter heruntergeladen oder als Dienst im Internet (AI-as-a-Service, AIaaS) genutzt werden. Auch ein hybrider Ansatz ist möglich, bei dem ein Teil der KI-Funktionalität innerhalb des Systems und ein Teil als Dienst bereitgestellt wird. Bei der Nutzung von ML als Dienst wird der Zugang zu einem ML-Modell über das Internet bereitgestellt. Außerdem kann auch Unterstützung bei der Datenvorbereitung und -speicherung, dem Modelltraining, der Evaluierung, dem Tuning, dem Testen und der Bereitstellung geleistet werden. Drittanbieter (z. B. AWS, Microsoft) bieten spezielle KI-Dienste wie Gesichts- und Spracherkennung an. Dadurch können Einzelpersonen und Unternehmen KI mithilfe von Cloud-basierten Diensten implementieren, selbst wenn sie nicht über ausreichende Ressourcen und Fachkenntnisse verfügen, um eigene KI-Dienste zu entwickeln. Darüber hinaus wurden ML-Modelle, die als Teil eines Drittanbieter-Dienste bereitgestellt werden, wahrscheinlich auf einem größeren und vielfältigeren Trainingsdatensatz trainiert, als er vielen Akteuren zur Verfügung steht, z. B. solchen, die erst seit kurzem auf dem KI-Markt tätig sind. 1.7.1 Verträge für KI-als-Dienst KI-Dienste werden in der Regel mit ähnlichen Verträgen wie für nicht KI-basierte Software als Dienst (Software-as-a-Service, SaaS) bereitgestellt. Ein Vertrag für AIaaS umfasst in der Regel eine Dienstleistungs-Güte-Vereinbarung (Service Level Agreement, SLA), in der Verfügbarkeits- und IT- Sicherheitsverpflichtungen festgelegt sind. Solche SLAs umfassen in der Regel eine Verfügbarkeit für den Dienst (z. B. 99,99 % Verfügbarkeit) und eine Reaktionszeit für die Behebung von Fehlerzuständen, definieren aber selten in ähnlicher Weise funktionale Leistungsmetriken von ML (wie z. B. Genauigkeit) (siehe Kapitel 5). AIaaS wird häufig auf Basis eines Abonnements bezahlt, und wenn die vertraglich vereinbarte Verfügbarkeit und/oder Reaktionszeit nicht eingehalten wird, bietet der Dienst-Anbieter in der Regel Gutschriften für künftige Dienst-Nutzungen an. Abgesehen von diesen Gutschriften sehen die meisten AIaaS-Verträge eine begrenzte Haftung vor (abgesehen von den gezahlten Gebühren), was bedeutet, dass KI-basierte Systeme, die von AIaaS abhängen, in der Regel auf Anwendungen mit relativ geringem Risiko beschränkt sind, bei denen ein Dienst-Ausfall keinen allzu großen Schaden anrichten würde. Version 2021 1.0D Seite 17 von 104 2022/08/12 © International Software Testing Qualifications Board Certified Tester AI Testing (CT-AI) Lehrplan Die Dienste werden häufig mit einer anfänglichen kostenlosen Testphase anstelle einer Abnahmefrist angeboten. Während dieses Zeitraums soll der Nutzer des AIaaS testen, ob der angebotene Dienst seinen Anforderungen in Bezug auf die erforderliche Funktionalität und Leistung (z. B. Genauigkeit) entspricht. Dies ist in der Regel erforderlich, um die fehlende Transparenz des angebotenen Dienstes auszugleichen (siehe Abschnitte 2.7 und 7.5). 1.7.2 Beispiele für KI-als-Dienst Im Folgenden sind Beispiele für AIaaS aufgeführt (Stand: 2021): IBM Watson Assistant: Dies ist ein KI-Chatbot, dessen Preis sich nach der Anzahl der monatlich aktiven Nutzer richtet [R28]. Google Cloud KI und ML Produkte: Diese bieten dokumentenbasierte KI, die einen Formularparser und Dokumenten-OCR umfasst. Die Preise richten sich nach der Anzahl der zu verarbeitenden Seiten [R29]. Amazon CodeGuru: Dies bietet eine statische Analyse von ML-Java-Code, die Entwicklern Empfehlungen zur Verbesserung der Codequalität liefert. Die Preise richten sich nach der Anzahl der analysierten Quellcodezeilen [R30]. Microsoft Azure Cognitive Search: Bietet KI-Suche in der Cloud. Die Preise basieren auf Sucheinheiten (definiert durch den verwendeten Speicher und Durchsatz) [R31]. 1.8 Vortrainierte Modelle 1.8.1 Einführung in vortrainierte Modelle Das Trainieren von ML-Modellen kann teuer sein (siehe Kapitel 3). Zunächst müssen die Daten vorbereitet werden, und dann muss das Modell trainiert werden. Die erste Aktivität kann große Mengen an menschlichen Ressourcen benötigen, während die zweite Aktivität eine Menge an Computerressourcen benötigen kann. Viele Organisationen haben keinen Zugang zu diesen Ressourcen. Eine kostengünstigere und oft auch effektivere Alternative ist die Verwendung eines vortrainierten Modells. Dieses bietet eine ähnliche Funktionalität wie das benötigte Modell und wird als Grundlage für die Erstellung eines neuen Modells verwendet, das die Funktionalität des vortrainierten Modells erweitert und/oder fokussiert. Solche Modelle sind nur für eine begrenzte Anzahl von Techniken verfügbar, z. B. für neuronale Netze und Random Forests. Wenn ein Bildklassifikator benötigt wird, könnte dieser anhand des öffentlich zugänglichen ImageNet- Datensatzes trainiert werden, der über 14 Millionen Bilder enthält, die in über 1000 Kategorien klassifiziert sind [R14]. Dies verringert das Risiko, erhebliche Ressourcen zu verbrauchen, ohne dass eine Erfolgsgarantie besteht. Alternativ könnte ein bestehendes Modell wiederverwendet werden, das bereits auf diesem Datensatz trainiert wurde. Durch die Verwendung eines solchen vortrainierten Modells werden Trainingskosten gespart und das Risiko, dass es nicht funktioniert, weitgehend eliminiert. Wird ein vortrainiertes Modell ohne Änderungen verwendet, kann es einfach in das KI-basierte System eingebettet oder als Dienst genutzt werden (siehe Abschnitt 1.7). 1.8.2 Transferlernen Es ist auch möglich, ein bereits trainiertes Modell so zu verändern, dass es eine weitere Aufgabe erfüllt. Dies ist als Transferlernen bekannt und wird bei tiefen neuronalen Netzen verwendet, bei denen die Version 2021 1.0D Seite 18 von 104 2022/08/12 © International Software Testing Qualifications Board Certified Tester AI Testing (CT-AI) Lehrplan oberen Schichten (siehe Kapitel 6) des neuronalen Netzes in der Regel recht einfache Aufgaben erfüllen (z. B. die Unterscheidung zwischen geraden und gekrümmten Linien in einem Bildklassifikator), während die tieferen Schichten speziellere Aufgaben erfüllen (z. B. die Unterscheidung zwischen Typen von Gebäudearchitekturen). In diesem Beispiel können alle Schichten eines Bildklassifizierers bis auf die späteren Schichten wiederverwendet werden, so dass die frühen Schichten nicht trainiert werden müssen. Die späteren Schichten werden dann neu trainiert, um die speziellen Anforderungen für einen neuen Klassifikator zu erfüllen. In der Praxis kann das vortrainierte Modell durch zusätzliches Training mit neuen problemspezifischen Daten feinabgestimmt werden. Die Effektiviät dieses Ansatzes hängt weitgehend ab von der Ähnlichkeit zwischen der Funktion, die das ursprüngliche Modell erfüllt, und der Funktion, die das neue Modell benötigt. Ein Bildklassifikator für Katzenarten wäre beispielsweise weitaus leichter als Bildklassifikator für Hunderassen anzupassen wie als Klassifikator für sprachliche Akzente von Menschen. Es sind viele vortrainierte Modelle verfügbar, insbesondere von Wissenschaftlern. Einige Beispiele sind ImageNet-Modelle [R14] wie Inception, VGG, AlexNet und MobileNet für die Klassifikation von Bildern und vortrainierte NLP-Modelle wie BERT von Google [R15]. 1.8.3 Risiken bei der Verwendung von vortrainierten Modellen und Transferlernen Die Verwendung von vortrainierten Modellen und das Transferlernen sind gängige Ansätze für den Aufbau KI-basierter Systeme, die jedoch mit einigen Risiken verbunden sind. Dazu gehören: Einem vorab trainierten Modell kann es im Vergleich zu einem selbsterstellten Modell an Transparenz fehlen. Die Ähnlichkeit zwischen der Funktion, die das vortrainierte Modell ausführt, und der erforderlichen Funktionalität ist möglicherweise nicht ausreichend. Außerdem werden die Unterschiede von Datenwissenschaftlern möglicherweise nicht verstanden. Unterschiede in den Datenvorbereitungsschritten (siehe Abschnitt 4.1), die bei der ursprünglichen Entwicklung des vortrainierten Modells verwendet wurden, und den Datenvorbereitungsschritten bei der Verwendung dieses Modells in einem neuen System können sich auf die resultierende funktionale Leistung auswirken. Die Unzulänglichkeiten eines vortrainierten Modells werden wahrscheinlich von den Modellen übernommen, die darauf basieren, und sind möglicherweise nicht dokumentiert. So können beispielsweise übernommene Verzerrungen (siehe Abschnitt 2.4) nicht offensichtlich sein, wenn die Dokumentation über die zum Trainieren des Modells verwendeten Daten unzureichend ist. Wenn das trainierte Modell nicht weit verbreitet ist, gibt es wahrscheinlich mehr unbekannte (oder nicht dokumentierte) Fehler, und es können gründlichere Tests erforderlich sein, um dieses Risiko zu mindern. Modelle, die durch Transferlernen erstellt werden, sind höchstwahrscheinlich anfällig für dieselben Schwachstellen wie das zuvor trainierte Modell, auf dem sie basieren (z. B. gegnerische Angriffe, wie in Abschnitt 9.1.1 erläutert). Wenn darüber hinaus bekannt ist, dass ein KI-gestütztes System ein bestimmtes vortrainiertes Modell enthält (oder auf einem bestimmten vortrainierten Modell basiert), dann können die damit verbundenen Schwachstellen potenziellen Angreifern bereits bekannt sein. Zu beachten ist, dass mehrere der oben genannten Risiken durch eine gründliche Dokumentation des vortrainierten Modells (siehe Abschnitt 7.5) abgemildert werden können. Version 2021 1.0D Seite 19 von 104 2022/08/12 © International Software Testing Qualifications Board Certified Tester AI Testing (CT-AI) Lehrplan 1.9 Normen, Vorschriften und KI Das Joint Technical Committee of IEC and ISO on information technology (ISO/IEC JTC1) erarbeitet internationale Normen mit Bezug zur KI. So wurde zum Beispiel 2017 ein Unterausschuss für KI (ISO/IEC JTC 1/SC42) eingerichtet. Darüber hinaus hat ISO/IEC JTC1/SC7, das sich mit Software- und Systemtechnik befasst, einen technischen Bericht über das Testen KI-basierter Systeme [S01] veröffentlicht. Normen zur künstlichen Intelligenz werden auch auf regionaler Ebene (z. B. europäische Normen) und auf nationaler Ebene veröffentlicht. Die EU-weite Datenschutz-Grundverordnung (DSGVO) trat im Mai 2018 in Kraft und legt Verpflichtungen für die Verantwortlichen für die Datenverarbeitung in Bezug auf personenbezogene Daten und automatisierte Entscheidungsfindung fest [B06]. Die DSGVO enthält Anforderungen zur Bewertung und Verbesserung der funktionalen Leistung von KI-Systemen, einschließlich der Minderung potenzieller Diskriminierung, und zur Gewährleistung der Rechte von Einzelpersonen, keiner automatisierten Entscheidungsfindung unterworfen zu werden. Der wichtigste Aspekt der DSGVO aus der Testperspektive ist, dass personenbezogene Daten (einschließlich Vorhersagen) genau sein sollten. Das bedeutet nicht, dass jede einzelne Vorhersage des Systems richtig sein muss, sondern dass das System für die Zwecke, für die es verwendet wird, genau genug sein sollte. 2 Das Deutsche Institut für Normung (DIN) hat auch das KI-Qualitäts-Metamodell entwickelt ([S02], [S03]). Normen für KI werden auch von Branchenverbänden veröffentlicht. So arbeitet beispielsweise das Institute of Electrical and Electronics Engineers (IEEE) an einer Reihe von Normen zu Ethik und KI (The IEEE Global Initiative for Ethical Considerations in Artificial Intelligence and Autonomous Systems). Viele dieser Normen befinden sich zum Zeitpunkt der Erstellung dieses Lehrplans noch in der Entwicklung. Wenn KI in sicherheitsrelevanten Systemen eingesetzt wird, gelten die entsprechenden Normen, z. B. ISO 26262 [S04] und ISO/PAS 21448 (SOTIF) [S05] für Automobilsysteme. Solche Normen werden in der Regel von staatlichen Stellen vorgeschrieben, und in einigen Ländern wäre es illegal, ein Auto zu verkaufen, wenn die enthaltene Software nicht der ISO 26262 entspräche. Normen an sich sind freiwillig zu befolgende Dokumente, und ihre Anwendung wird normalerweise nur durch Gesetze oder Verträge vorgeschrieben. Viele Anwender von Normen tun dies dennoch, um vom Fachwissen der Autoren zu profitieren und Produkte von höherer Qualität zu schaffen. 2 Die EU Kommission hat 2021 einen Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für Künstliche Intelligenz (Gesetz über Künstliche Intelligenz, AI Act) vorgelegt [R32]. Diese soll 2023 Inkrafttreten. Der EU AI Act basiert auf einem risikobasierten Ansatz und stellt je nach Risikostufe der KI verschiedene Qualitäts- und Testanforderungen. Version 2021 1.0D Seite 20 von 104 2022/08/12 © International Software Testing Qualifications Board Certified Tester AI Testing (CT-AI) Lehrplan 2 Qualitätsmerkmale für KI-basierte Systeme - 105 Minuten Schlüsselwörter Keine KI-spezifische Schlüsselwörter Anpassbarkeit, algorithmische Verzerrung, Autonomie, Verzerrung (bias), Evolution, Erklärbarkeit, erklärbare KI (eXplainable AI, XAI), Flexibilität, (unangemessene) Verzerrung (bias), Interpretierbarkeit, ML-System, maschinelles Lernen, Belohnungs‐Hacking (reward hacking), Robustheit, Stichprobenverzerrung, selbstlernendes System, Nebenwirkungen, Transparenz Lernziele für Kapitel 2: 2.1 Flexibilität und Anpassbarkeit AI-2.1.1 K2 Erläutern der Wichtigkeit von Flexibilität und Anpassbarkeit als Merkmale KI-basierter Systeme 2.2 Autonomie AI-2.2.1 K2 Erläutern der Beziehung zwischen Autonomie und KI-basierten Systemen 2.3 Evolution AI-2.3.1 K2 Erläutern der Wichtigkeit des Managements der Evolution KI-basierter Systeme 2.4 Verzerrung AI-2.4.1 K2 Beschreiben der verschiedenen Ursachen und Arten von Verzerrungen, die in KI- basierten Systemen auftreten 2.5 Ethik AI-2.5.1 K2 Diskutieren der ethischen Grundsätze, die bei der Entwicklung, dem Einsatz und der Nutzung KI-basierter Systeme beachtet werden sollten 2.6 Nebenwirkungen und Belohnungs‐Hacking AI-2.6.1 K2 Erläutern von Nebenwirkungen und Belohnungs-Hacking, die in KI-basierten Systemen auftreten 2.7 Transparenz, Interpretierbarkeit und Erklärbarkeit AI-2.7.1 K2 Erklären, wie Transparenz, Interpretierbarkeit und Erklärbarkeit auf KI-basierte Systeme anwendbar sind 2.8 Funktionale Sicherheit und KI AI-2.8.1 K1 Erinnern der Eigenschaften, die den Einsatz KI-basierter Systeme in sicherheitsrelevanten Anwendungen erschweren Version 2021 1.0D Seite 21 von 104 2022/08/12 © International Software Testing Qualifications Board Certified Tester AI Testing (CT-AI) Lehrplan 2.1 Flexibilität und Anpassbarkeit Flexibilität und Anpassbarkeit sind eng miteinander verbundene Qualitätsmerkmale. In diesem Lehrplan wird Flexibilität als die Fähigkeit des Systems betrachtet, in Situationen eingesetzt zu werden, die nicht Teil der ursprünglichen Systemanforderungen waren, während Anpassbarkeit als die Leichtigkeit betrachtet wird, mit der das System an neue Situationen, wie z. B. unterschiedliche Hardware und sich ändernde Einsatzumgebungen, angepasst werden kann. Sowohl Flexibilität als auch Anpassbarkeit sind nützlich, wenn: die Einsatzumgebung zum Zeitpunkt der Einführung des Systems nicht vollständig bekannt ist; das System mit neuen Einsatzumgebungen zurechtkommen soll; das System sich an neue Situationen anpassen soll; das System bestimmen muss, wann es sein Verhalten ändern soll. Von selbstlernenden KI-basierten Systemen wird erwartet, dass sie alle oben genannten Eigenschaften aufweisen. Folglich müssen sie anpassbar sein und das Potenzial haben, flexibel zu sein. Die Anforderungen an die Flexibilität und Anpassbarkeit eines KI-basierten Systems sollten Einzelheiten zu allen Änderungen der Einsatzumgebung enthalten, an die sich das System anpassen soll. Diese Anforderungen sollten auch Beschränkungen für die Zeit und die Ressourcen enthalten, die das System verwenden kann, um sich anzupassen (z. B. wie viel Zeit es benötigen darf, um sich an die Erkennung eines neuen Objekttyps anzupassen). 2.2 Autonomie Bei der Definition von Autonomie ist es zunächst wichtig zu erkennen, dass ein vollständig autonomes System völlig unabhängig von menschlicher Aufsicht und Kontrolle wäre. In der Praxis wird eine vollständige Autonomie oft nicht angestrebt. So werden z. B. vollständig selbstfahrende Autos, die im Volksmund als "autonom" bezeichnet werden, offiziell als "voll automatisiertes Fahren" eingestuft [B07]. Viele betrachten autonome Systeme als "smart" oder "intelligent", was darauf hindeutet, dass sie KI- basierte Komponenten enthalten, um bestimmte Funktionen auszuführen. So verwenden autonome Fahrzeuge, die sich der Situation bewusst sein müssen, in der Regel mehrere Sensoren und Bildverarbeitung, um Informationen über die unmittelbare Umgebung des Fahrzeugs zu sammeln. Maschinelles Lernen, und insbesondere Deep Learning (siehe Abschnitt 6.1), hat sich als der effektivste Ansatz zur Erfüllung dieser Funktion erwiesen. Autonome Systeme können auch Entscheidungs- und Kontrollfunktionen beinhalten. Beide können mit KI-basierten Komponenten effektiv durchgeführt werden. Auch wenn einige KI-basierte Systeme als autonom gelten, trifft dies nicht auf alle KI-basierten Systeme zu. In diesem Lehrplan wird Autonomie als die Fähigkeit des Systems betrachtet, über längere Zeiträume unabhängig von menschlicher Aufsicht und Kontrolle zu arbeiten. Dies kann dabei helfen, die Merkmale eines autonomen Systems zu ermitteln, die spezifiziert und getestet werden müssen. So muss beispielsweise bekannt sein, wie lange ein autonomes System ohne menschliches Eingreifen zufriedenstellend funktionieren soll. Darüber hinaus ist es wichtig, die Ereignisse zu ermitteln, bei denen das autonome System die Kontrolle an seine menschlichen Kontrolleure zurückgeben muss. 2.3 Evolution In diesem Lehrplan wird Evolution als die Fähigkeit des Systems betrachtet, sich selbst als Reaktion auf veränderte äußere Beschränkungen zu verbessern. Einige KI-Systeme können als selbstlernend Version 2021 1.0D Seite 22 von 104 2022/08/12 © International Software Testing Qualifications Board Certified Tester AI Testing (CT-AI) Lehrplan bezeichnet werden, und erfolgreiche selbstlernende KI-basierte Systeme müssen diese Form der Evolution einbeziehen. KI-basierte Systeme arbeiten oft in einer sich verändernden Umgebung. Wie andere Formen von IT- Systemen muss auch ein KI-basiertes System flexibel und anpassbar genug sein, um mit Veränderungen in seiner Einsatzumgebung fertig zu werden. Selbstlernende KI-basierte Systeme müssen in der Regel zwei Arten von Veränderungen bewältigen: Eine Art der Veränderung besteht darin, dass das System aus seinen eigenen Entscheidungen und seinen Interaktionen mit der Umgebung lernt. Die andere Art der Veränderung besteht darin, dass das System aus Änderungen in der Einsatzumgebung des Systems lernt. In beiden Fällen wird sich das System im Idealfall weiterentwickeln, um seine Effektivität und Effizienz zu verbessern. Diese Evolution muss jedoch eingeschränkt werden, um zu verhindern, dass das System unerwünschte Eigenschaften entwickelt. Jede Evolution muss weiterhin den ursprünglichen Systemanforderungen und -beschränkungen entsprechen. Wo diese fehlen, muss das System so verwaltet werden, dass jede Evolution innerhalb der Grenzen bleibt und stets mit den menschlichen Werten in Einklang gebracht wird. Abschnitt 2.6 enthält Beispiele für die Auswirkungen von Nebenwirkungen und Belohnungs-Hacking auf selbstlernende KI-basierte Systeme. 2.4 Verzerrung Im Zusammenhang mit KI-basierten Systemen ist Verzerrung ein statistisches Maß für den Abstand zwischen den vom System gelieferten Ergebnissen und dem, was als "faire Ergebnisse" angesehen wird, die keine Bevorzugung einer bestimmten Gruppe aufweisen. Unangemessene Verzerrungen können mit Attributen wie Geschlecht, Rasse, ethnische Zugehörigkeit, sexuelle Orientierung, Einkommensniveau und Alter verbunden sein. Fälle von unangemessener Verzerrung in KI-basierten Systemen wurden beispielsweise für Systeme berichtet, die Empfehlungen für die Kreditvergabe von Banken aussprechen, sowie für Einstellungssysteme und Justizüberwachungssysteme. Verzerrung kann in viele Arten KI-basierter Systeme eingebracht werden. So ist es beispielsweise schwierig zu verhindern, dass die Verzerrung von Experten in die von einem Expertensystem angewandten Regeln einfließt. Die weite Verbreitung von ML-Systemen führt jedoch dazu, dass ein Großteil der Diskussion über Verzerrung im Zusammenhang mit diesen Systemen geführt wird. ML-Systeme werden eingesetzt, um Entscheidungen und Vorhersagen zu treffen, wobei Algorithmen verwendet werden, die auf gesammelte Daten zurückgreifen, und diese beiden Komponenten können zu Verzerrungen der Ergebnisse führen: Algorithmische Verzerrungen können auftreten, wenn der Lernalgorithmus falsch konfiguriert ist, z. B. wenn er einige Daten im Vergleich zu anderen überbewertet. Diese Quelle der Verzerrung kann durch Tuning der Hyperparameter der ML-Algorithmen verursacht und gesteuert werden (siehe Abschnitt 3.2). Stichprobenverzerrungen können auftreten, wenn die Trainingsdaten nicht vollständig repräsentativ für den Datenraum sind, auf den ML angewendet wird. Eine unangemessene Verzerrung wird häufig durch Stichprobenverzerrungen verursacht, kann aber gelegentlich auch durch algorithmische Verzerrungen verursacht werden. Version 2021 1.0D Seite 23 von 104 2022/08/12 © International Software Testing Qualifications Board Certified Tester AI Testing (CT-AI) Lehrplan 2.5 Ethik Ethik wird im Cambridge-Lexikon definiert als: Ein System von akzeptierten Überzeugungen, die das Verhalten kontrollieren, insbesondere solch ein System, das auf Moral beruht. KI-basierte Systeme mit verbesserten Fähigkeiten haben vielfältige Auswirkungen auf das Leben der Menschen. Mit der zunehmenden Verbreitung dieser Systeme wurden Bedenken geäußert, ob ihr Einsatz ethisch vertretbar ist. Was als ethisch angesehen wird, kann sich im Laufe der Zeit ändern und auch von Ort zu Ort und von Kultur zu Kultur unterschiedlich sein. Es muss darauf geachtet werden, dass bei der Einführung eines KI-basierten Systems an einem anderen Standort die unterschiedlichen Werte der Beteiligten berücksichtigt werden. Nationale und internationale Strategien zur Ethik der KI gibt es in vielen Ländern und Regionen. Die Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD) veröffentlichte 2019 ihre Grundsätze für KI, die ersten internationalen Standards, auf die sich die Regierungen für eine verantwortungsvolle Entwicklung von KI geeinigt haben [B08]. Diese Grundsätze wurden bei ihrer Veröffentlichung von zweiundvierzig Ländern angenommen und werden auch von der Europäischen Kommission unterstützt. Sie enthalten praktische politische Empfehlungen sowie wertebasierte Grundsätze für den "verantwortungsvollen Umgang mit vertrauenswürdiger KI". Diese sind wie folgt zusammengefasst: KI-Systeme sollten den Menschen und dem Planeten zugutekommen, indem sie integratives Wachstum, nachhaltige Entwicklung und Wohlstand fördern. KI-Systeme sollten die Rechtsstaatlichkeit, die Menschenrechte, die demokratischen Werte und die Diversität respektieren und geeignete Schutzmaßnahmen zur Gewährleistung einer fairen Gesellschaft vorsehen. KI-Systeme sollten transparent sein, damit die Menschen die Ergebnisse verstehen und sie in Frage stellen können. KI-Systeme müssen während ihres gesamten Lebenszyklus robust, sicher und zuverlässig funktionieren, und die Risiken sollten kontinuierlich bewertet werden. Organisationen und Personen, die KI-Systeme entwickeln, einsetzen oder betreiben, sollten rechenschaftspflichtig sein. 2.6 Nebenwirkungen und Belohnungs‐Hacking Nebenwirkungen und Belohnungs-Hacking können dazu führen, dass KI-basierte Systeme unerwartete und sogar schädliche Ergebnisse erzeugen, wenn das System versucht, seine Zielvorgaben zu erreichen [B09]. Negative Nebenwirkungen können entstehen, wenn der Designer eines KI-basierten Systems ein Ziel vorgibt, das "sich auf die Erledigung einiger spezifischer Aufgaben in der Umgebung konzentriert, aber andere Aspekte der (potenziell sehr großen) Umgebung ignoriert und damit implizit Gleichgültigkeit gegenüber Umgebungsvariablen zum Ausdruck bringt, deren Veränderung eigentlich schädlich sein könnte" [B09]. Ein selbstfahrendes Auto mit dem Ziel, "so kraftstoffsparend und sicher wie möglich" an sein Ziel zu gelangen, kann dieses Ziel zwar erreichen, allerdings mit der Nebenwirkung, dass sich die Fahrgäste über die übermäßig lange Fahrzeit extrem ärgern. Belohnungs‐Hacking kann dazu führen, dass ein KI-basiertes System ein bestimmtes Ziel durch eine "clevere" oder "einfache" Lösung erreicht, die "den Geist der Absicht des Designers pervertiert". Das Ziel kann sozusagen "abgezockt" werden. Ein weit verbreitetes Beispiel für Belohnungs‐Hacking ist der Version 2021 1.0D Seite 24 von 104 2022/08/12 © International Software Testing Qualifications Board Certified Tester AI Testing (CT-AI) Lehrplan Fall, dass ein KI-basiertes System sich selbst beibringt, ein Arcade-Computerspiel zu spielen. Es wird mit dem Ziel konfrontiert, die "höchste Punktzahl" zu erreichen, und um dies zu erreichen, hackt es einfach den Datensatz, in dem die höchste Punktzahl gespeichert ist, anstatt das Spiel zu spielen, um sie zu erreichen. 2.7 Transparenz, Interpretierbarkeit und Erklärbarkeit KI-basierte Systeme werden in der Regel in Bereichen eingesetzt, in denen die Nutzer diesen Systemen vertrauen müssen. Dies kann aus Sicherheitsgründen der Fall sein, aber auch dort, wo der Schutz der Privatsphäre erforderlich ist und wo sie potenziell lebensverändernde Vorhersagen und Entscheidungen treffen können. Den meisten Nutzern werden KI-basierte Systeme als "Black Boxes" präsentiert, und die Nutzer wissen kaum, wie diese Systeme zu ihren Ergebnissen kommen. In einigen Fällen gilt diese Unwissenheit sogar für die Datenwissenschaftler, welche die Systeme entwickelt haben. Gelegentlich sind sich die Nutzer nicht einmal bewusst, dass sie mit einem KI-basierten System interagieren. Die inhärente Komplexität KI-basierter Systeme hat zum Bereich der "erklärbaren KI" (XAI) geführt. Ziel von XAI ist es, dass die Nutzer nachvollziehen können, wie KI-basierte Systeme zu ihren Ergebnissen kommen, um so das Vertrauen der Nutzer in sie zu erhöhen. Laut The Royal Society [B10] gibt es mehrere Gründe für den Wunsch nach XAI, darunter: Vertrauen der Nutzer in das System schaffen Schutz vor Verzerrung Erfüllung von regulativen Normen und Standards oder politischen Anforderungen Verbesserung des Systemdesigns Bewertung von Risiko, Robustheit und Schwachstellen Verstehen und Verifizierung der Ergebnisse eines Systems Autonomie, Handlungsfähigkeit (dem Nutzer das Gefühl geben, selbstbestimmt zu handeln) und Erfüllung sozialer Werte Daraus ergeben sich die folgenden drei grundlegenden wünschenswerten XAI-Merkmale für KI- basierte Systeme aus der Sicht eines Stakeholders (siehe Abschnitt 8.6): Transparenz: Darunter versteht man die Leichtigkeit, mit der der Algorithmus und die Trainingsdaten, die zur Erstellung des Modells verwendet werden, ermittelt werden können. Interpretierbarkeit: Darunter versteht man die Verständlichkeit der KI-Technologie für die verschiedenen Beteiligten, einschließlich der Nutzer. Erklärbarkeit: Darunter versteht man die Leichtigkeit, mit der die Benutzer feststellen können, wie das KI-basierte System zu einem bestimmten Ergebnis kommt. 2.8 Funktionale Sicherheit und KI In diesem Lehrplan wird funktionale Sicherheit als die Erwartung betrachtet, dass ein KI-basiertes System keine Schäden für Menschen, Eigentum oder die Umwelt verursacht. KI-basierte Systeme können verwendet werden, um Entscheidungen zu treffen, welche die Sicherheit beeinflussen. KI- basierte Systeme, die in den Bereichen Medizin, Fertigung, Verteidigung, IT-Sicherheit und Verkehr eingesetzt werden, können beispielsweise die Sicherheit beeinflussen. Zu den Merkmalen KI-basierter Systeme, die es erschweren, ihre Sicherheit zu gewährleisten (z. B. Menschen nicht zu schaden), gehören: Version 2021 1.0D Seite 25 von 104 2022/08/12 © International Software Testing Qualifications Board Certified Tester AI Testing (CT-AI) Lehrplan Komplexität Nicht-Determiniertheit probabilistischer Charakter selbstlernend mangelnde Transparenz, Interpretierbarkeit und Erklärbarkeit mangelnde Robustheit Die Herausforderungen bei dem Test mehrerer dieser Merkmale werden in Kapitel 8 behandelt. Version 2021 1.0D Seite 26 von 104 2022/08/12 © International Software Testing Qualifications Board Certified Tester AI Testing (CT-AI) Lehrplan 3 Maschinelles Lernen (ML) - Überblick - 145 Minuten Schlüsselwörter Keine KI-spezifische Schlüsselwörter Assoziation, Klassifikation, Clusterbildung, Datenvorbereitung, ML-Algorithmus, ML-Framework, Funktionale Leistungskriterien von ML, ML-Modell, ML-Trainingsdaten, ML-Workflow, ML- Modellevaluierung, ML-Modell-Tuning, Ausreißer, Überanpassung, Regression, bestärkendes Lernen, überwachtes Lernen, Unteranpassung, unüberwachtes Lernen Lernziele für Kapitel 3: 3.1 Arten von ML AI-3.1.1 K2 Beschreiben von Klassifikation und Regression als Teil des überwachten Lernens AI-3.1.2 K2 Beschreiben von Clusterbildung und Assoziation als Teil des unüberwachten Lernens AI-3.1.3 K2 Beschreiben von bestärkendem Lernen 3.2 ML-Workflow AI-3.2.1 K2 Zusammenfassen des Workflows bei der Erstellung eines ML-Systems 3.3 Auswahl einer Art von ML AI-3.3.1 K3 Identifizieren eines geeigneten ML-Ansatzes (Klassifikation, Regression, Clusterbildung, Assoziation oder bestärkendes Lernen) anhand eines Projektszenarios 3.4 Faktoren bei der Auswahl eines ML-Algorithmus AI-3.4.1 K2 Erklären der Faktoren, die bei der Auswahl von ML-Algorithmen eine Rolle spielen 3.5 Überanpassung und Unteranpassung AI-3.5.1 K2 Zusammenfassen der Konzepte von Überanpassung und Unteranpassung HO-3.5.1 H0 Demonstrieren von Überanpassung und Unteranpassung Version 2021 1.0D Seite 27 von 104 2022/08/12 © International Software Testing Qualifications Board Certified Tester AI Testing (CT-AI) Lehrplan 3.1 Arten von ML ML-Algorithmen können in folgende Kategorien eingeteilt werden: überwachtes Lernen unüberwachtes Lernen bestärkendes Lernen 3.1.1 Überwachtes Lernen Bei dieser Art des Lernens erstellt der Algorithmus in der Trainingsphase das ML-Modell aus gekennzeichneten Daten (labelled data). Die gekennzeichneten Daten, die in der Regel Paare von Eingaben umfassen (z. B. ein Bild eines Hundes und die Kennzeichnung "Hund"), werden vom Algorithmus verwendet, um die Beziehung zwischen den Eingabedaten (z. B. Bilder von Hunden) und den Ausgabebezeichnungen (z. B. "Hund" und "Katze") während des Trainings abzuleiten. In der Testphase des ML-Modells wird ein neuer Satz bislang unbekannter Daten auf das trainierte Modell angewendet, um die Ausgabe vorherzusagen. Das Modell wird eingesetzt, sobald die Genauigkeit der Ausgabe zufriedenstellend ist. Probleme, die durch überwachtes Lernen gelöst werden, werden in zwei Kategorien unterteilt: Klassifikation: Dies ist der Fall, wenn das Problem erfordert, dass eine Eingabe in eine von wenigen vordefinierten Klassen eingeordnet wird. Gesichtserkennung oder Objekterkennung in einem Bild sind Beispiele für Probleme, bei denen Klassifikation verwendet wird. Regression: Dies ist der Fall, wenn das ML-Modell eine numerische Ausgabe mithilfe von Regression vorhersagen soll. Die Vorhersage des Alters einer Person auf der Grundlage von Eingabedaten über ihre Gewohnheiten oder die Vorhersage künftiger Aktienkurse sind Beispiele für Probleme, bei denen Regression eingesetzt wird. Zu beachten ist, dass sich der Begriff Regression, wie er im Zusammenhang mit einem ML-Problem verwendet wird, von seiner Verwendung in anderen ISTQB®-Lehrplänen unterscheidet, wie z.B. [I01], wo der Begriff Regression verwendet wird, wenn Modifikationen einer Software änderungsbezogene Fehlerzustände verursachen. 3.1.2 Unüberwachtes Lernen Bei dieser Art des Lernens erstellt der Algorithmus in der Trainingsphase das ML-Modell aus nicht gekennzeichneten Daten. Die nicht gekennzeichneten Daten werden vom Algorithmus verwendet, um während der Trainingsphase Muster in den Eingabedaten abzuleiten und die Eingaben auf der Grundlage ihrer Gemeinsamkeiten verschiedenen Klassen zuzuordnen. In der Testphase wird das trainierte Modell auf einen neuen Satz bislang unbekannter Daten angewendet, um vorherzusagen, welchen Klassen die Eingabedaten zugeordnet werden sollten. Das Modell wird eingesetzt, sobald die Genauigkeit der Ausgabe als zufriedenstellend angesehen wird. Probleme, die durch unüberwachtes Lernen gelöst werden, lassen sich in zwei Kategorien einteilen: Clusterbildung: Dies ist der Fall, wenn das Problem die Identifizierung von Ähnlichkeiten in den Eingabedatenpunkten erfordert, so dass sie auf der Grundlage gemeinsamer Merkmale oder Eigenschaften gruppiert werden können. Clusterbildung wird zum Beispiel verwendet, um verschiedene Arten von Kunden für Marketingzwecke zu kategorisieren. Assoziation: Dies ist der Fall, wenn für das Problem interessante Beziehungen oder Abhängigkeiten zwischen Datenattributen ermittelt werden müssen. Zum Beispiel kann ein Produktempfehlungssystem Assoziationen auf der Grundlage des Einkaufsverhaltens der Kunden erkennen. Version 2021 1.0D Seite 28 von 104 2022/08/12 © International Software Testing Qualifications Board Certified Tester AI Testing (CT-AI) Lehrplan 3.1.3 Bestärkendes Lernen Bestärkendes Lernen ist ein Ansatz, bei dem das System (ein "intelligenter Agent") lernt, indem es iterativ mit der Umgebung interagiert und dabei aus der Erfahrung lernt. Beim bestärkenden Lernen werden keine Trainingsdaten verwendet. Der Agent wird belohnt, wenn er eine richtige Entscheidung trifft, und bestraft, wenn er eine falsche Entscheidung trifft. Die zentralen Herausforderungen bei der Implementierung von bestärkendem Lernen sind die Einrichtung der Umgebung, die Wahl der richtigen Strategie für den Agenten, um das gewünschte Ziel zu erreichen, und der Entwurf einer Belohnungsfunktion. Robotik, autonome Fahrzeuge und Chatbots sind Beispiele für Anwendungen, die bestärkendes Lernen nutzen. 3.2 ML-Workflow Die Aktivitäten im Workflow des maschinellen Lernens sind: Verstehen der Ziele Der Zweck des einzusetzenden ML-Modells muss verstanden und mit den Stakeholdern vereinbart werden, um dessen Übereinstimmung mit den geschäftlichen Prioritäten sicherzustellen. Für das entwickelte Modell sollten Akzeptanzkriterien (einschließlich funktionaler Leistungsmetriken von ML - siehe Kapitel 5) festgelegt werden. Auswahl eines KI-Entwicklungs-Frameworks Ein geeignetes KI-Entwicklungs-Framework sollte auf der Grundlage der Ziele, der Akzeptanzkriterien und der geschäftlichen Prioritäten ausgewählt werden (siehe Abschnitt 1.5). Auswahl und Umsetzung des Algorithmus Ein ML-Algorithmus wird auf der Grundlage verschiedener Faktoren ausgewählt, darunter die Ziele, Akzeptanzkriterien und die verfügbaren Daten (siehe Abschnitt 3.4). Der Algorithmus kann manuell kodiert werden, häufig wird er jedoch aus einer Bibliothek mit bereits geschriebenem Code abgerufen. Der kodierte Algorithmus wird dann kompiliert, um das Training des Modells vorzubereiten, falls letzteres erforderlich ist. Vorbereitung und Test der Daten Die Datenvorbereitung (siehe Abschnitt 4.1) umfasst die Datenbeschaffung, die Datenvorverarbeitung und die Merkmalsermittlung. Parallel zu diesen Aktivitäten kann eine explorative Datenanalyse (EDA) durchgeführt werden. Die vom Algorithmus und Modell verwendeten Daten richten sich nach den Zielen und werden von allen Aktivitäten der in Abbildung 1 dargestellten Aktivität "Modellgenerierung & Test" genutzt. Handelt es sich bei dem System beispielsweise um ein Echtzeit-Handelssystem, werden die Daten vom Handelsmarkt stammen. Die Daten, die zum Trainieren, Tuning und Testen des Modells verwendet werden, müssen repräsentativ für die operativen Daten sein, die das Modell verwenden wird. In einigen Fällen ist es möglich, vorab gesammelte Datensätze für das anfängliche Training des Modells zu verwenden (siehe z. B. Kaggle-Datensätze [R16]). Andernfalls müssen die Rohdaten in der Regel vorverarbeitet und Merkmale ermittelt werden. Die Daten und alle automatisierten Datenvorbereitungsschritte müssen getestet werden. Siehe Abschnitt 7.2.1 für weitere Einzelheiten zum Test der Eingabedaten. Training des Modells Der ausgewählte ML-Algorithmus verwendet Trainingsdaten, um das Modell zu trainieren. Einige Algorithmen, wie z. B. diejenigen, die ein neuronales Netz erzeugen, lesen den Trainingsdatensatz mehrmals. Jede Iteration des Trainings mit dem Trainingsdatensatz wird als Epoche bezeichnet. Version 2021 1.0D Seite 29 von 104 2022/08/12 © International Software Testing Qualifications Board Certified Tester AI Testing (CT-AI) Lehrplan Die Parameter zur Definition der Modellstruktur werden an den Algorithmus übergeben (z. B. die Anzahl der Schichten eines neuronalen Netzes oder die Tiefe eines Entscheidungsbaums). Diese Parameter werden als Hyperparameter des Modells bezeichnet. Parameter, die das Training steuern (z. B. wie viele Epochen beim Training eines neuronalen Netzes verwendet werden sollen), werden ebenfalls an den Algorithmus übergeben. Diese Parameter werden als Hyperparameter des Algorithmus bezeichnet. Abbildung 1: ML-Workflow Evaluierung des Modells Das Modell wird anhand der vereinbarten funktionalen Leistungsmetriken von ML unter Verwendung des Validierungsdatensatzes (siehe Abschnitt 4.2) evaluiert, und die Ergebnisse werden dann zum Tuning des Modells verwendet. Die Modellevaluierung und -optimierung sollte einem wissenschaftlichen Experiment ähneln, das sorgfältig unter kontrollierten Bedingungen durchgeführt und klar dokumentiert werden muss. In der Praxis werden in der Regel mehrere Modelle mit verschiedenen Algorithmen erstellt und trainiert (z. B. Random Forests, SVM und neuronale Netze), und das beste Modell wird auf der Grundlage der Ergebnisse der Evaluierung und Tuning ausgewählt. Version 2021 1.0D Seite 30 von 104 2022/08/12 © International Software Testing Qualifications Board Certified Tester AI Testing (CT-AI) Lehrplan Tuning des Modells Die Ergebnisse der Evaluierung des Modells anhand der vereinbarten funktionalen Leistungsmetriken von ML werden verwendet, um die Modelleinstellungen an die Daten anzupassen und so die Leistung zu verbessern. Das Modell kann durch Hyperparameter-Tuning abgestimmt werden, wobei die Trainingsaktivität geändert wird (z. B. durch Änderung der Anzahl der Trainingsschritte oder durch Änderung der für das Training verwendeten Datenmenge), oder Attribute des Modells werden aktualisiert (z. B. die Anzahl der Neuronen in einem neuronalen Netz oder die Tiefe eines Entscheidungsbaums). Die drei Aktivitäten Training, Evaluierung und Tuning können als Modellgenerierung betrachtet werden, wie in Abbildung 1 dargestellt. Test des Modells Sobald ein Modell erstellt wurde (d. h. es wurde trainiert, evaluiert und getunt), sollte es anhand eines unabhängigen Testdatensatzes getestet werden, um sicherzustellen, dass die vereinbarten funktionalen Leistungskriterien von ML erfüllt werden (siehe Abschnitt 7.2.2). Die funktionalen Leistungsmetriken von ML aus dem Test werden auch mit denen aus der Evaluierung verglichen, und wenn die Leistung des Modells mit unabhängigen Daten deutlich geringer ist als während der Evaluierung, kann es notwendig sein, ein anderes Modell auszuwählen. Zusätzlich zu den funktionalen Leistungstests müssen auch nicht-funktionale Tests durchgeführt werden, z. B. für die Zeit zum Trainieren des Modells und die Zeit und den Ressourcenverbrauch für die Erstellung einer Vorhersage. In der Regel werden diese Tests vom Dateningenieur/Wissenschaftler durchgeführt, aber auch Tester mit ausreichenden Kenntnissen des Fachgebiets und Zugang zu den entsprechenden Ressourcen können diese Tests durchführen. Bereitstellung des Modells Nach Abschluss der Modellentwicklung, wie in Abbildung 1 dargestellt, muss das getunte Modell in der Regel für die Bereitstellung zusammen mit den zugehörigen Ressourcen, einschließlich der entsprechenden Datenpipeline (siehe Abschnitt 4.1), neu entwickelt bzw. angepasst werden. Dies wird normalerweise durch das KI-Entwicklungs-Framework erreicht. Zu den Zielen können eingebettete Systeme und die Cloud gehören, wo auf das Modell über eine Web-API zugegriffen werden kann. Einsatz des Modells Nach der Bereitstellung ist das Modell in der Regel Teil eines größeren KI-basierten Systems und kann operativ eingesetzt werden. Modelle können geplante Batch-Vorhersagen in bestimmten Zeitabständen durchführen oder auf Anfrage in Echtzeit laufen. Überwachung und Tuning des Modells Während des Einsatzes des Modells kann sich die Situation verändern und das Modell kann von seiner beabsichtigten Leistung abweichen (siehe Abschnitte 2.3 und 7.6). Um sicherzustellen, dass jede Abweichung erkannt und behandelt wird, sollte das im Betrieb eingesetzte Modell regelmäßig anhand seiner Akzeptanzkriterien evaluiert werden. Es kann als notwendig erachtet werden, die Modelleinstellungen zu aktualisieren, um das Problem der Abweichungen zu lösen, oder es kann entschieden werden, dass ein erneutes Training mit neuen Daten erforderlich ist, um ein genaueres oder robusteres Modell zu erstellen. In diesem Fall kann ein neues Modell mit aktualisierten Trainingsdaten erstellt und trainiert werden. Das neue Modell kann dann mit dem bestehenden Modell mit einer Art von A/B-Testen verglichen werden (siehe Abschnitt 9.4). Der in Abbildung 1 dargestellte ML-Workflow ist eine logische Abfolge. In der Praxis wird der Arbeitsablauf so angewandt, dass die Schritte iterativ wiederholt werden (z. B. ist es bei der Auswertung des Modells oft notwendig, zum Trainingsschritt und manchmal zur Datenvorbereitung zurückzukehren). Version 2021 1.0D Seite 31 von 104 2022/08/12 © International Software Testing Qualifications Board Certified Tester AI Testing (CT-AI) Lehrplan Die in Abbildung 1 dargestellten Schritte beinhalten nicht die Integration des ML-Modells mit den Nicht- ML-Teilen des Gesamtsystems. ML-Modelle können in der Regel nicht isoliert bereitgestellt werden und müssen mit den Nicht-ML-Teilen integriert werden. In Bildverarbeitungsanwendungen gibt es beispielsweise eine Datenpipeline, die Daten bereinigt und verändert, bevor sie an das ML-Modell weitergeleitet werden. Wenn das Modell Teil eines größeren KI-basierten Systems ist, muss es vor der Bereitstellung in dieses System integriert werden. In diesem Fall können Integrations-, System- und Akzeptanztests durchgeführt werden, wie in Abschnitt 7.2 beschrieben. 3.3 Auswahl einer Art von ML Für die Auswahl eines geeigneten ML-Ansatzes gelten die folgenden Leitlinien: Es sollten ausreichend Trainings- und Testdaten für den gewählten ML-Ansatz zur Verfügung stehen. Für das überwachte Lernen ist es erforderlich, dass die Daten korrekt gekennzeichnet sind. Wenn es eine Kennzeichen-Ausgabe gibt, kann es sich um überwachtes Lernen handeln. Wenn die Ausgabe diskret und kategorisch ist, kann es sich um eine Klassifikation handeln. Wenn die Ausgabe numerisch und kontinuierlich ist, kann es sich um eine Regression handeln. Ist in dem gegebenen Datensatz keine Ausgabe vorgesehen, kann es sich um unüberwachtes Lernen handeln. Wenn das Problem die Gruppierung ähnlicher Daten beinhaltet, kann es sich um Clusterbildung handeln. Wenn das Problem beinhaltet, gemeinsam auftretende Daten zu finden, kann es sich um eine Assoziation handeln. Das bestärkende Lernen eignet sich besser für Kontexte, in denen eine Interaktion mit der Umwelt stattfindet. Wenn das Problem die Vorstellung von mehreren Zuständen beinhaltet und in jedem Zustand Entscheidungen getroffen werde

ISTQB CT-AI Lehrplan (DE) 2021 PDF

Document Details

Tags

Related

Summary

Full Transcript

Upgrade to continue