AI Act verstehen (PDF)

Whitepaper Den AI Act verstehen Rechte und Pflichten kennen  Management Summary Die KI-Verordnung, auch bekannt als AI Act, legt seit...

Whitepaper Den AI Act verstehen Rechte und Pflichten kennen  Management Summary Die KI-Verordnung, auch bekannt als AI Act, legt seit dem 1. August 2024 den rechtlichen Rahmen für Künst- liche Intelligenz auf EU-Ebene fest. Ziel ist ein sicherer und ethischer Umgang mit KI. Der AI Act gilt für KI- Systeme, die entwickelt, vertrieben oder genutzt werden. Je nach Risikoklasse (unannehmbar, hoch, begrenzt oder minimal) bestehen unterschiedliche Pflichten für Anbieter, Betreiber und Händler. Bei hohem Risiko ist ein umfangreicher Pflichtenkatalog zu erfüllen, u.a. ein Risikomanagementsystem, eine CE-Kennzeichnung, Transparenzpflichten, Daten-Governance oder auch Meldung von Sicherheitsvorfällen nötig. Das klingt komplex? Wir bringen Licht ins Dunkel und klären was sich hinter dem AI Act verbirgt und welche Pflichten, Anforderungen, aber auch Chancen die Verordnung mit sich bringt. Inhalt Das ABC des AI Acts 3 Wann ist der AI Act anwendbar? 4 Was ist ein KI-System im Sinne des AI Act? 5 Regeln kennen und die Umsetzung meistern 6 Risikoklassen kennen 7 Pflichten des AI Act 8 Welche Strafen drohen bei Nichteinhaltung des AI Acts? 8 Verantwortung übernehmen 9 Datenschutzrechtliche Anforderungen 10 Fazit: Der AI Act enthält Pflichten, bietet aber auch Chancen 11 Recht und Datenschutz Weitere Informationen → Das ABC des AI Acts Die Verordnung (EU) 2024/1689 vom 13. Juni 2024 zur zeug). Allerdings geht es im AI Act nicht um physische Festlegung harmonisierter Vorschriften für künstliche Produkte, sondern um Compliance in Bezug auf Soft- Intelligenz, kurz: KI-Verordnung oder AI Act legt den wareanwendungen, die zumeist als Software-as-a- rechtlichen Rahmen für die Herstellung, den Vertrieb Service-Angebot oder Cloud-Software verfügbar sind. und die Anwendung von Künstlicher Intelligenz (KI) auf Zudem sind KI-Systeme, wie ChatGPT, Midjourney, EU-Ebene fest. Ziele dieser Verordnung, die als solche Microsoft Copilot, Stable Diffusion etc. erst seit Herbst unmittelbar in den einzelnen EU-Mitgliedstaaten 2022 auf dem Markt verfügbar, so dass es sich insoweit anwendbar ist, sind insbesondere der sichere und noch um eine brandneue Technologie handelt. Inzwi- ethische Umgang mit KI. Daher liegen dem AI Act schen finden sich solche Anwendungen nahezu in allen folgende Prinzipien zugrunde: Bereichen sowohl im privaten als auch im beruflichen Alltag wieder. Der KI-Siegeszug scheint jedoch gerade menschliches Handeln und menschliche Aufsicht erst begonnen zu haben, die Flut an ständig neuen technische Robustheit und Sicherheit KI-Modell-Versionen, neuen KI-Systemen, neuen Privatsphäre und Daten-Governance Fähigkeiten, neuen Einsatzzwecken sowie verbesserten Transparenz Ergebnissen ist schier unüberschaubar. Daher ist es also nicht nur sinnvoll, sondern zumindest im geschäftlichen Vielfalt, Nichtdiskriminierung und Fairness Kontext unerlässlich, sich mit diesem Phänomen unserer soziales und ökologisches Wohlergehen Zeit zu befassen. Rechenschaftspflicht Es ist aber natürlich nicht verboten, sich jetzt bereits an Im Kern handelt es sich hierbei also um Vorgaben zur alle Regelungen des AI Act zu halten. Im Gegenteil: Produktregulierung, wie sie auch aus anderen Bereichen Je eher man sich mit den gesetzlichen Vorgaben ausein- bekannt sind (z. B. bei Lebensmitteln oder Kinderspiel- andersetzt und sich auf sie vorbereitet, desto besser. Inkrafttreten Geltung der übrigen des AI Acts Vorgaben des AI Act Geltung der Vorschriften Geltung der Pflichten über ver­botene in Bezug auf Hoch­­ KI-Systeme risiko-KI-Systeme 1. August 2024 2. August 2025 2. August 2026 2. August 2027 Recht und Datenschutz Weitere Informationen →   3 Wann ist der AI Act anwendbar? Allerdings gilt der AI Act nicht automatisch in jedem Fall. Nur dann, wenn ein KI-System sowie ein Akteur im Sinne Es müssen vielmehr bestimmte Voraussetzungen vor- des AI Act gegeben ist, müssen die gesetzlichen Vor- liegen, damit man die sich aus dem AI Act ergebenden gaben beachtet werden. Je höher das dabei bestehende Pflichten erfüllen muss. Die Antworten auf die folgenden Risiko, desto umfangreicher ist der Pflichtenkatalog, der Fragen geben Auskunft darüber, wer den AI Act in zu beachten ist. welchem Umfang beachten muss: CIRCLE-1 Geht es um ein KI-System im Sinne des AI Act? CIRCLE-2 Wird dieses KI-System entwickelt, vertrieben Hinweis oder genutzt? CIRCLE-3 I n welche Risikoklasse ist das KI-System Für manche Konstellationen ist die Anwend­bar­ einzuordnen? keit des AI Act ausgeschlossen, z. B. für Open- Source-KI oder bei KI-Systemen für militärische Zwecke. Recht und Datenschutz Weitere Informationen →   4 Was ist ein KI-System im Sinne des AI Act? Um zu verstehen, was genau sich hinter einem solchen sich nicht auf Systeme beziehen, die auf ausschließlich KI-System verbirgt, hilft ein Blick auf die Definition nach von natürlichen Personen definierten Regeln für das Art. 3 Abs. 1 AI Act: automatische Ausführen von Operationen beruhen. „ein maschinengestütztes System, das für einen in un- Die im AI Act enthaltene Definition von „KI-System“ terschiedlichem Grade autonomen Betrieb ausgelegt ist alles andere als simpel, zudem gibt es dazu weder ist und das nach seiner Betriebsaufnahme anpassungs- ausreichend Praxiserfahrung noch einschlägige Recht- fähig sein kann und das aus den erhaltenen Eingaben sprechung. Daher ist es derzeit sehr umstritten, was für explizite oder implizite Ziele ableitet, wie Ausgaben genau unter den Anwendungsbereich des AI Act fällt – wie etwa Vorhersagen, Inhalte, Empfehlungen oder die Zielrichtung dürfte jedoch klar auf generative Entscheidungen erstellt werden, die physische oder KI-System zeigen. Wer also beispielsweise ChatGPT, virtuelle Umgebungen beeinflussen können“. Midjourney oder Microsoft Copilot in irgendeiner Form nutzen möchte, sollte von der Anwendbarkeit des AI Act Systeme generativer KI, wie ChatGPT & Co., sind daher ausgehen. von einfacheren herkömmlichen Softwaresystemen und Programmierungsansätzen abzugrenzen. Der AI Act sollte LIGHTBULB-ON KI-Modell vs. KI-System In der Verordnung wird zwischen KI-Modellen und KI-Systemen differenziert. Als sog. großes Sprachmodell (engl.: large language model, kurz: LLM) stellt z. B. OpenAI GPT 4 bereit. Darauf basieren dann verschiedene KI-System, wie z. B. ChatGPT oder der Microsoft Copilot. Die Regulierung im AI Act bezieht sich regelmäßig auf KI-Systeme. Recht und Datenschutz Weitere Informationen →   5  Regeln kennen und die Umsetzung meistern Der AI Act nennt verschiedene Akteure, die die gesetzlichen Anforderungen einhalten müssen: SCHOOL-FLAG Anbieter (Art. 3 Nr. 3 AI Act) Eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System oder ein KI-Modell mit allgemeinem Verwendungs- zweck entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringt oder das KI-System unter ihrem eigenen Namen oder ihrer Handelsmarke in Betrieb nimmt, sei es entgeltlich oder unentgeltlich. Es geht hier primär also um Hersteller (z. B. OpenAI, Google, Meta, Anthropic), aber auch um solche Unternehmen, die ein KI-System eines Anbieters einkaufen und es unter einer eigenen Bezeich- nung Dritten anbieten. Auch derjenige, der eine KI-Lösung maßgeblich ver- ändert und dann in Verkehr bringt, kann als Anbieter in diesem Sinne gelten. BUILDING-FLAG Betreiber (Art. 3 Nr. 4 AI Act) Eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet. Es geht also im weitesten Sinne um KI-Nutzer, wie z. B. Unternehmen, die ihren Beschäftigten oder ihrer Kundschaft ein (ggf. individuell angepasstes) KI-System bereitstellen. CART-CIRCLE-CHECK Händler (Art. 3 Nr. 7 AI Act) Eine natürliche oder juristische Person in der Lieferkette, die ein KI-System auf dem Unionsmarkt bereitstellt, mit Ausnahme des Anbieters oder des Einführers. Dazu zählen etwa KI-Zwischen- oder -Großhändler. Außerdem tauchen in manchen Vorschriften des AI Act auch „Nutzer“ oder „Produkthersteller“ auf. Als Produkthersteller in diesem Sinne gilt z. B. der­jenige, der ein KI-System in ein eigenes Produkt einbindet und dieses Dritten gegenüber anbietet. Nutzer sind alle diejenigen, die KI einsetzen, die also beispielsweise mit Hilfe von ChatGPT Marketingtexte erstellen oder in Midjourney Bilder erzeugen lassen. Darüber hinaus benennt der AI Act auch noch „Bevollmächtigte“, die auf dem Gebiet der EU bestimmte Pflichten für KI-Anbieter erfüllen, sowie „Einführer“, also KI-Importeure. Recht und Datenschutz Weitere Informationen →   6 Risikoklassen kennen Je nach KI-Risikoklasse und Rolle des Akteurs gelten Als Hochrisiko-KI-System zählen hingegen u.a.: unterschiedliche Pflichten, hier muss genau in die einzel- Biometrische Identifizierung nen Normen hineingeschaut werden. Der AI Act verfolgt Verwaltung und Betrieb kritischer Infrastrukturen dabei einen risikobasierten Ansatz, d.h. mit steigendem (KRITIS) Risiko steigen auch die gesetzlichen Pflichten. Es sind insgesamt vier Risikoklassen vorgesehen, von unan- Allgemeine und berufliche Bildung nehmbaren über hohe und begrenzte bis hin zu minima- Beschäftigung, Personalmanagement und Zugang len Risiken. Bei einem unannehmbaren Risiko sieht der zur Selbstständigkeit AI Act ein Verbot des entsprechenden KI-Systems vor. Zugänglichkeit und Inanspruchnahme grundlegender privater und öffentlicher Dienste und Leistungen (z. B. Wohnen, Strom, Heizung, Internet, Ärzte) Strafverfolgung Migration, Asyl und Grenzkontrolle Rechtspflege und demokratische Prozesse verbotene KI-Systeme Beispiele für KI-Systeme mit begrenztem Risiko sind etwa Chatbots, in die Stufe „minimales Risiko“ fallen KI-Systeme mit hingegen etwa Suchalgorithmen, Computerspiele oder hohem Risiko Spam-Filter. Zusätzlich werden im AI Act auch noch KI-Modelle mit allgemeinem Verwendungszweck (engl.: general purpo- KI-Systeme mit begrenztem Risiko se AI, kurz: GPAI) adressiert. Damit sind große Sprach- modelle, wie etwa GPT von OpenAI, gemeint. Denn da- mit wird nicht ein bestimmter Einsatzzweck verfolgt, sie KI-Systeme mit können vielmehr von Kochrezepten über Schulaufsätze minimalem Risiko bis hin zu Programmcode vielen verschiedenen Zwecken dienen. Aber auch bei GPAI richten sich die gesetzlichen Pflichten nach dem Risikopotential des jeweiligen kon- kreten Einsatzzwecks. Als KI-Systeme mit unannehmbarem Risiko werden insbesondere die folgenden eingestuft: unterschwellige Beeinflussung Ausnutzung der Schwäche oder Schutzbedürftigkeit von Personen biometrische Kategorisierung Bewertung des sozialen Verhaltens biometrische Echtzeit-Fernidentifizierungssysteme Risikobeurteilung von natürlichen Personen Datenbanken zur Gesichtserkennung Ableitung von Emotionen natürlicher Personen Analyse von aufgezeichnetem Bildmaterial Recht und Datenschutz Weitere Informationen →   7  Pflichten des AI Act Die meisten Pflichten müssen bei KI-Systemen Im Wesentlichen werden hier Anbieter von Hochrisiko- der Hochrisikoklasse erfüllt werden. Dazu gehören KI-Systemen in die Pflicht genommen, teilweise aber insbesondere: auch deren Betreiber. Manche Pflichten gelten zudem in Bezug auf GPAI. Beachtung des Stands der Technik Beim Einsatz von KI-Systemen mit begrenztem oder Betrieb eines Risikomanagement- bzw. Qualitäts­ minimalem Risiko bestehen im Wesentlichen Transpa- managementsystems renzpflichten. So sieht Art. 50 AI Act beispielsweise vor, Umsetzung von Maßnahmen zur Resilienz / dass über den Einsatz von KI-Chatbots oder Deepfakes Cyber-Security informiert werden muss. Betrieb eines Testverfahrens bzw. regelmäßige Durchführung von Tests Welche Strafen drohen bei EU-Konformitätserklärung und CE-Kennzeichnung Nichteinhaltung des AI Acts? Zusammenarbeit mit den zuständigen Behörden Mit den Pflichten geht auch Verantwortung einher Durchführung von Korrekturmaßnahmen und so sind auch Strafen möglich. Bei Verstößen gegen die Regelungen des AI Act drohen zum Teil schwere Bereitstellung von Pflichtinformationen Sanktionen. Diese müssen „wirksam, verhältnismäßig Erstellung einer technischen Dokumentation und abschreckend“ sein (Art. 99 Abs. 1 S. 2 AI Act). Die Interessen von Unternehmen im KMU-Bereich Erfüllung von Transparenzvorgaben sowie von Startups müssen dabei jedoch berücksichtigt Protokollierung von Funktionsmerkmalen werden. Je nach Verstoß drohen Geldbußen bis zu 35 Mio. Euro oder bis zu 7 Prozent des weltweit erzielten Beobachtung nach Markteinführung Vorjahresumsatzes – je nachdem, welcher der beiden Meldung von „schwerwiegenden Vorfällen“ Beträge höher ist. Durchführung einer Grundrechte-Folgenabschätzung Durchführung einer Datenschutz-Folgenabschätzung Entwicklung mit Trainingsdaten, die eine bestimmte Qualität aufweisen (sog. Daten-Governance) Einhaltung der Registrierungspflicht Bereitstellung menschlicher Aufsicht Ergreifen von Maßnahmen zur Barrierefreiheit Recht und Datenschutz Weitere Informationen →   8 Verantwortung übernehmen Anders als die in der DSGVO vorgeschriebene Benen- sche Kenntnisse, Erfahrungen, Ausbildung und Schulung nung eines:einer Datenschutz­beauftragten sieht der sowie der Kontext, in dem die KI-Systeme eingesetzt AI Act keine Pflicht vor, einen „KI-Beauftragten“ bzw. werden sollen, relevant. Zudem sind die Personen oder einen „KI-Manager“ oder gar ein „KI-Kompetenz-Team“ Personengruppen, bei denen die KI-Systeme eingesetzt zu benennen. Gleichwohl ist dies in den meisten Fällen werden sollen, zu berücksichtigen. KI-Kompetenz umfasst sinnvoll. Denn jedenfalls muss ein ausreichendes Maß die Fähig­keiten, Kenntnisse und das Verständnis, die an KI-Kompetenz vorhanden sein. Dies schreibt Art. 4 es Anbietern, Betreibern und Betroffenen ermöglichen, AI Act für alle Risikoklassen und Akteure vor. Insbeson- KI-Systeme einzusetzen und sich über die Chancen dere Anbieter und Betreiber von KI-Systemen müssen und Risiken von KI bewusst zu werden. Insofern wird im Maßnahmen ergreifen, um nach besten Kräften sicher- AI Act zwar keine „KI-Manager“-Pflicht, sehr wohl aber zustellen, dass ihr Personal und andere Personen, die eine Fortbildungspflicht geregelt. KI-Richtlinien, ent- in ihrem Auftrag mit dem Betrieb und der Nutzung von sprechenden Arbeitsanweisungen, Fortbildungsange­ KI-Systemen befasst sind, über ein ausreichendes Maß boten sowie ggf. Betriebsvereinba­rungen sind Wege, an KI-Kom­petenz verfügen. Dabei sind vor allem techni- um dies möglich zu machen. Recht und Datenschutz Weitere Informationen →   9 Datenschutzrechtliche Anforderungen Werden in einem KI-System Daten mit Personen- bezug verarbeitet kommt die Datenschutzgrund- verordnung (DSGVO) zum Tragen. Diese bleibt von den Regelungen des AI Act unberührt (Art. 2 Abs. 7 AI Act). Es sind dann alle datenschutzrecht- lichen Pflichten zu erfüllen, wie sie auch für andere „Werkzeuge“ zur Datenverarbeitung gelten. Dabei Verantwortlichkeit (insbesondere die Frage, ob der sind insbesondere folgende Aspekte zu berück- Anbieter eines KI-Systems als Auftragsverarbeiter sichtigen: oder als gemeinsam Verantwortlicher einzustufen ist) Rechtsgrundlage (in Frage kommen etwa die Einwilligung, ein Vertrag oder berechtigte Interessen) Dokumentation (Aufnahme des KI-Systems in das Verzeichnis von Verarbeitungstätigkeiten bzw. in die List der technischen und organisatorischen Maßnahmen) Informationspflichten (z. B. im Rahmen der Daten- schutzerklärung beim Einsatz eine KI-Chatbots auf der eigenen Website) Reaktion auf Betroffenenrechte (z. B. auf Auskunft oder Löschung) Umgang mit Datenpanne (z. B. wenn das KI-System personenbezogene Daten ungeplant „verrät“) Durchführung einer Datenschutz-Folgenabschätzung (beim Einsatz von KI-Systemen regelmäßig erforderlich) Datenübermittlung an Dritte (insbesondere an den KI-Anbieter, der ggf. im Nicht-EU-Ausland sitzt) Recht und Datenschutz Weitere Informationen →   10 10 Fazit Der AI Act enthält Pflichten, bietet aber auch Chancen Der AI Act bringt umfangreiche Pflichten für Unterneh- Pflichten sind zu erfüllen. Auch wenn ein „KI-Beauf­ men mit sich, die KI entwickeln, anbieten oder nutzen. tragter“ gesetzlich nicht vorgeschrieben ist, empfiehlt Eine frühzeitige Auseinandersetzung mit den Anforde- es sich, KI-Expertise im Unternehmen aufzubauen. rungen ist ratsam, insbesondere mit Blick auf die Pflicht Insbesondere der Datenschutz darf beim KI-Einsatz zur Gewährleistung ausreichender KI-Kompetenz. nicht vernachlässigt werden. Mit einer strategischen Unternehmen sollten prüfen, ob sie KI-Systeme im Sinne Herangehensweise lässt sich der AI Act bewältigen. des AI Act einsetzen und welcher Risikoklasse diese Er sollte als Chance begriffen werden, KI verantwor- zuzuordnen sind. Je höher das Risiko, desto mehr tungsvoll und rechtssicher zu nutzen. Sie möchten heute schon wissen, was morgen rechtlich wichtig ist? Michael Rohrlich ist Rechtsanwalt, Fachautor, Die Weiterbildungsangebote der Haufe Dozent und Video-Trainer (www.ra-rohrlich.de). Akademie aus dem Bereich Recht und Er hat seinen Kanzleisitz in Würselen (Nähe Datenschutz helfen Ihnen dabei. Von Arbeits- Aachen). Seine beruflichen Schwerpunkte bis IT-Recht unterstützen unsere erfahrenen liegen auf den Gebieten IT-, E-Commerce- Referent:innen Sie bei der sicheren und und Datenschutzrecht. Seit 1997 publiziert zielgerichteten Anwendung der Gesetze. er regelmäßig, sowohl im Print- als auch im So schaffen Sie die Grundlage für Ihr erfolg- Online-Bereich. Darüber hinaus ist er Autor reiches Business. mehrerer Bücher und E-Books. Als Video-Trai- ner ist er seit 2012 für LinkedIn Learning tätig. Weitere Informationen → Recht und Datenschutz Weitere Informationen →  Die Haufe Akademie gehört zu den führenden Anbietern für die Qualifizierung und Entwicklung von Menschen und Organisationen im deutsch- sprachigen Raum. Mit über 2.500 Themen zu Personal Development sowie einem umfassenden Paket aus Learning Management System, Learning Experience Plattform und Content Kits unterstützen wir unsere Kunden und Kundinnen dabei, ihr volles Potenzial zu entfalten. Haufe Akademie GmbH & Co. KG Munzinger Straße 9, 79111 Freiburg Telefon +49 761 59 53 39-00 [email protected] haufe-akademie.de/recht-datenschutz