Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für Künstliche Intelligenz (Gesetz über Künstliche Intelligenz) PDF

EUROPÄISCHE KOMMISSION Brüssel, den 21.4.2021 COM(2021) 206 final 2021/0106 (COD)...

EUROPÄISCHE KOMMISSION Brüssel, den 21.4.2021 COM(2021) 206 final 2021/0106 (COD) Vorschlag für eine VERORDNUNG DES EUROPÄISCHEN PARLAMENTS UND DES RATES ZUR FESTLEGUNG HARMONISIERTER VORSCHRIFTEN FÜR KÜNSTLICHE INTELLIGENZ (GESETZ ÜBER KÜNSTLICHE INTELLIGENZ) UND ZUR ÄNDERUNG BESTIMMTER RECHTSAKTE DER UNION {SEC(2021) 167 final} - {SWD(2021) 84 final} - {SWD(2021) 85 final} DE DE  BEGRÜNDUNG 1. KONTEXT DES VORSCHLAGS 1.1. Gründe und Ziele des Vorschlags Diese Begründung ist dem Vorschlag für eine Verordnung beigefügt, mit der harmonisierte Vorschriften für künstliche Intelligenz festgelegt werden (Gesetz über künstliche Intelligenz). Künstliche Intelligenz (KI) bezeichnet eine Reihe von Technologien, die sich rasant entwickeln und einen vielfältigen Nutzen für Wirtschaft und Gesellschaft über das gesamte Spektrum industrieller und gesellschaftlicher Aktivitäten hinweg hervorbringen können. Der Einsatz künstlicher Intelligenz zur Verbesserung von Prognosen, zur Optimierung von Abläufen und der Ressourcenzuweisung sowie zur Personalisierung der Diensteerbringung kann für die Gesellschaft und die Umwelt von Nutzen sein und Unternehmen sowie der europäischen Wirtschaft Wettbewerbsvorteile verschaffen. Bedarf besteht insbesondere in Sektoren, von denen eine große Wirkung ausgeht, wie Klimaschutz, Umwelt und Gesundheit, öffentlicher Sektor, Finanzen, Mobilität, Inneres und Landwirtschaft. Dieselben Faktoren und Techniken, die für den sozioökonomischen Nutzen der KI sorgen, können aber auch neue Risiken oder Nachteile für den Einzelnen oder die Gesellschaft hervorbringen. Vor dem Hintergrund des rasanten technologischen Wandels und möglicher Herausforderungen ist die EU entschlossen, einen ausgewogenen Ansatz zu erreichen. Es liegt im Interesse der Union, die technische Führungsrolle der EU auszubauen und dafür zu sorgen, dass die Europäerinnen und Europäer von den im Einklang mit den Werten, Grundrechten und Prinzipien der Union entwickelten und funktionierenden neuen Technologien profitieren können. Dieser Vorschlag geht auf das politische Engagement von Präsidentin von der Leyen zurück, die in ihren politischen Leitlinien für die Kommission (2019-2024) – „Eine Union, die mehr erreichen will“1 – ankündigte, dass die Kommission einen Legislativvorschlag für ein koordiniertes europäisches Konzept für die menschlichen und ethischen Aspekte der KI vorlegen wird. Im Nachgang zu dieser Ankündigung veröffentlichte die Kommission am 19. Februar 2020 ihr Weißbuch zur KI – Ein europäisches Konzept für Exzellenz und Vertrauen2. In dem Weißbuch legt sie die politischen Optionen dar, wie die Nutzung von KI gefördert und gleichzeitig die mit bestimmten Anwendungen dieser Technologie verbundenen Risiken eingedämmt werden können. Dieser Vorschlag zielt darauf ab, einen Rechtsrahmen für eine vertrauenswürdige KI zu schaffen, damit das zweite Ziel für den Aufbau eines Ökosystems für Vertrauen umgesetzt werden kann. Der Vorschlag beruht auf den Werten und Grundrechten der EU und will erreichen, dass Privatpersonen und andere Nutzer KI- gestützten Lösungen vertrauen und gleichzeitig Unternehmen Anreize erhalten, diese zu entwickeln. KI sollte ein Instrument sein, das als positive Kraft für die Gesellschaft im Dienst der Menschen steht und das letztlich zu einem größeren Wohlbefinden der Menschen beiträgt. Vorschriften für KI, die auf dem Unionsmarkt verfügbar ist oder anderweitig Menschen in der Union beeinflusst, sollten daher auf den Menschen ausgerichtet sein, damit Menschen darauf vertrauen können, dass die Technik sicher angewandt wird und den Gesetzen, auch den Grundrechten, genügt. Nach Veröffentlichung des Weißbuchs leitete die Kommission eine breit angelegte Konsultation der Interessenträger ein, die reges Interesse zeigten und sich in großer Zahl beteiligten und die weitestgehend regulatorische Maßnahmen zur Bewältigung 1 https://ec.europa.eu/commission/sites/beta-political/files/political-guidelines-next-commission_de.pdf 2 Weißbuch zur künstlichen Intelligenz – Ein europäisches Konzept für Exzellenz und Vertrauen, COM(2020) 65 final, 2020. DE 1 DE  der Herausforderungen und Bedenken, die der zunehmende Einsatz von KI mit sich bringt, befürworteten. Der Vorschlag ist zudem eine Reaktion auf die vom Europäischen Parlament und dem Europäischen Rat ausdrücklich und wiederholt erhobenen Forderungen nach legislativen Maßnahmen zur Gewährleistung eines reibungslos funktionierenden Binnenmarkts für Systeme der künstlichen Intelligenz (KI-Systeme), mit denen sowohl der Nutzen als auch die Risiken der KI auf Unionsebene angemessen geregelt werden. Er unterstützt das vom Europäischen Rat3 formulierte Ziel der Union, bei der Entwicklung einer sicheren, vertrauenswürdigen und ethisch vertretbaren künstlichen Intelligenz weltweit eine Führungsrolle einzunehmen, und sorgt für den vom Europäischen Parlament4 ausdrücklich geforderten Schutz von Ethikgrundsätzen. 2017 forderte der Europäische Rat „ein Bewusstsein für die Dringlichkeit der Auseinandersetzung mit neuen Trends“, auch für „Themen wie künstliche Intelligenz....“, „wobei zugleich ein hohes Niveau in Bezug auf Datenschutz, digitale Rechte und ethische Standards gewahrt werden muss“5. In seinen Schlussfolgerungen von 2019 zu dem koordinierten Plan für künstliche Intelligenz „Made in Europe“6 betont der Rat ferner, wie wichtig es ist, die uneingeschränkte Achtung der Rechte der europäischen Bürgerinnen und Bürger zu gewährleisten, und ruft dazu auf, die maßgeblichen geltenden Rechtsvorschriften zu überprüfen, um sicherzustellen, dass sie im Hinblick auf die neuen Chancen und Herausforderungen, die sich durch künstliche Intelligenz ergeben, zweckdienlich sind. Der Europäische Rat forderte zudem eine klare Festlegung von KI-Anwendungen, die als hochriskant eingestuft werden sollten7. In seinen jüngsten Schlussfolgerungen vom 21. Oktober 2020 forderte der Rat zudem, dass Probleme wie Undurchsichtigkeit, Komplexität, der sogenannte „Bias“, ein gewisses Maß an Unberechenbarkeit und teilweise autonomes Verhalten einiger KI-Systeme angegangen werden müssen, um deren Vereinbarkeit mit den Grundrechten sicherzustellen und die Durchsetzung der Rechtsvorschriften zu erleichtern8. Auch das Europäische Parlament hat sich intensiv mit dem Thema der KI befasst. Im Oktober 2020 nahm es eine Reihe von Entschließungen zur KI an, u. a. zur Ethik9, zivilrechtlichen Haftung10 und zum Urheberrecht11. 2021 folgten weitere Entschließungen zur KI im 3 Europäischer Rat, Außerordentliche Tagung des Europäischen Rates (1. und 2. Oktober 2020) – Schlussfolgerungen, EUCO 13/20, 2020, S. 6. 4 Entschließung des Europäischen Parlaments vom 20. Oktober 2020 mit Empfehlungen an die Kommission zu dem Rahmen für die ethischen Aspekte von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, 2020/2012 (INL). 5 Europäischer Rat, Tagung des Europäischen Rates (19. Oktober 2017) – Schlussfolgerung, EUCO 14/17, 2017, S. 7. 6 Rat der Europäischen Union, Künstliche Intelligenz b) Schlussfolgerungen zu dem koordinierten Plan für künstliche Intelligenz – Annahme, 6177/19, 2019. 7 Europäischer Rat, Außerordentliche Tagung des Europäischen Rates (1. und 2. Oktober 2020) – Schlussfolgerungen, EUCO 13/20, 2020. 8 Rat der Europäischen Union, Schlussfolgerungen des Vorsitzes – Die Charta der Grundrechte im Zusammenhang mit künstlicher Intelligenz und dem digitalen Wandel, 11481/20, 2020. 9 Entschließung des Europäischen Parlaments vom 20. Oktober 2020 mit Empfehlungen an die Kommission zu dem Rahmen für die ethischen Aspekte von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, 2020/2012 (INL). 10 Entschließung des Europäischen Parlaments vom 20. Oktober 2020 mit Empfehlungen an die Kommission für eine Regelung der zivilrechtlichen Haftung beim Einsatz künstlicher Intelligenz, 2020/2014(INL). DE 2 DE  Strafrecht12 sowie in der Bildung, der Kultur und im audiovisuellen Bereich 13. In seiner Entschließung zu dem Rahmen für die ethischen Aspekte von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien empfiehlt das Europäische Parlament der Kommission insbesondere legislative Maßnahmen vorzuschlagen, um so die Chancen und den Nutzen künstlicher Intelligenz auszuschöpfen, aber auch dafür zu sorgen, dass Ethik- Grundsätze geschützt werden. Die Entschließung enthält den Legislativvorschlag für eine Verordnung über Ethik-Grundsätze für die Entwicklung, den Einsatz und die Nutzung von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien im Wortlaut. Dieser Vorschlag berücksichtigt die vorstehende Entschließung des Europäischen Parlaments unter uneingeschränkter Wahrung der Grundsätze der Verhältnismäßigkeit, Subsidiarität und besseren Rechtsetzung und steht damit in Einklang mit den von Präsidentin von der Leyen in ihren politischen Leitlinien gemachten politischen Zusagen hinsichtlich der Behandlung der vom Europäischen Parlament angenommenen Entschließungen nach Artikel 225 AEUV. Vor diesem politischen Hintergrund legt die Kommission ihren Vorschlag für einen Rechtsrahmen zur Künstlichen Intelligenz vor, mit dem konkret die folgenden Ziele angestrebt werden:  Es muss gewährleistet sein, dass die auf dem Unionsmarkt in Verkehr gebrachten und verwendeten KI-Systeme sicher sind und die bestehenden Grundrechte und die Werte der Union wahren.  Zur Förderung von Investitionen in KI und innovativen KI muss Rechtssicherheit gewährleistet sein.  Governance und die wirksame Durchsetzung des geltenden Rechts zur Wahrung der Grundrechte sowie die Sicherheitsanforderungen an KI-Systeme müssen gestärkt werden.  Die Entwicklung eines Binnenmarkts für rechtskonforme, sichere und vertrauenswürdige KI-Anwendungen muss erleichtert werden und es gilt, eine Marktfragmentierung zu verhindern. Mit Blick auf diese Ziele enthält dieser Vorschlag einen ausgewogenen horizontalen Regulierungsansatz für KI, der die Verhältnismäßigkeit wahrt und auf die Mindestanforderungen beschränkt ist, die zur Bewältigung der in Verbindung mit KI auftretenden Risiken und Probleme notwendig ist, ohne die technologische Entwicklung übermäßig einzuschränken oder zu behindern oder anderweitig die Kosten für das Inverkehrbringen von KI-Lösungen unverhältnismäßig in die Höhe zu treiben. Der Vorschlag zielt auf einen robusten und flexiblen Rechtsrahmen ab. Einerseits ist der Vorschlag in seinen grundlegenden Regulierungsentscheidungen umfassend und zukunftsorientiert. Dies gilt auch für die von den KI-Systemen zu erfüllenden und auf Grundsätzen beruhenden Anforderungen. Andererseits wird ein Regulierungssystem geschaffen, das die Verhältnismäßigkeit wahrt und auf genau definierte Risiken ausgerichtet ist. Dieser Regulierungsansatz schafft keine unnötigen Handelsbeschränkungen und der Gesetzgeber schreitet nur in solchen konkreten 11 Entschließung des Europäischen Parlaments vom 20. Oktober 2020 zu den Rechten des geistigen Eigentums bei der Entwicklung von KI-Technologien, 2020/2015(INI). 12 Europäisches Parlament – Berichtsentwurf über künstliche Intelligenz im Strafrecht und ihre Verwendung durch die Polizei und Justizbehörden in Strafsachen, 2020/2016(INI). 13 Europäisches Parlament – Entwurf eines Berichts über künstliche Intelligenz in der Bildung, der Kultur und dem audiovisuellen Bereich, 2020/2017(INI). So hat die Kommission den Aktionsplan für digitale Bildung 2021-2027 angenommen: „Neuaufstellung des Bildungswesens für das digitale Zeitalter“. Der Aktionsplan sieht die Entwicklung von Ethik-Leitlinien für die Nutzung von KI und Daten im Bildungswesen vor – Mitteilung der Kommission, COM(2020) 624 final. DE 3 DE  Situationen ein, in denen ein berechtigter Anlass für Bedenken besteht oder in denen vernünftigerweise davon ausgegangen werden kann, dass solche Bedenken in naher Zukunft auftreten werden. Gleichzeitig enthält der Rechtsrahmen Mechanismen, mit denen er flexibel und dynamisch an die technologische Entwicklung und neue bedenkliche Situationen angepasst werden kann. Der Vorschlag enthält harmonisierte Vorschriften für die Entwicklung, das Inverkehrbringen und die Verwendung von KI-Systemen in der Union, die im Verhältnis zu den Risiken stehen. Die vorgeschlagene Begriffsbestimmung für KI ist zukunftstauglich. Während einige besonders schädliche KI-Praktiken, die gegen die Werte der Union verstoßen, verboten sind, werden für die Zwecke der Strafverfolgung für bestimmte Anwendungen biometrischer Fernidentifizierungssysteme konkrete Beschränkungen und Sicherheitsmaßnahmen vorgeschlagen. Der Vorschlag enthält eine solide Risiko-Methodik zur Einstufung von Hochrisiko-KI-Systemen, d. h. solchen Systemen, die erhebliche Risiken für die Gesundheit und Sicherheit oder die Grundrechte von Personen bergen. Solche KI-Systeme müssen horizontalen Auflagen für vertrauenswürdige KI genügen und Konformitätsbewertungsverfahren unterzogen werden, bevor sie in der Union in Verkehr gebracht werden dürfen. Damit die Sicherheit und die Einhaltung bestehender Rechtsvorschriften zum Schutz der Grundrechte über den gesamten Lebenszyklus von KI- Systemen hinweg gewahrt bleiben, werden Anbietern und Nutzern dieser Systeme berechenbare, verhältnismäßige und klare Pflichten auferlegt. Für einige KI-Systeme werden nur minimale Transparenzpflichten vorgeschlagen, insbesondere für den Einsatz von Chatbots oder „Deepfakes“. Die vorgeschlagenen Vorschriften werden von den Mitgliedstaaten mittels einer Leitungsstruktur durchgesetzt, die auf bereits vorhandenen Strukturen aufbaut, sowie mittels eines Kooperationsmechanismus auf Unionsebene, auf der ein Europäischer Ausschuss für künstliche Intelligenz eingesetzt wird. Zusätzliche Maßnahmen werden zur Unterstützung von Innovation, vor allem in Form von KI-Reallaboren, sowie zur Verringerung des Verwaltungsaufwands und zur Förderung von kleinen und mittleren Unternehmen (KMU) und Startups vorgeschlagen. 1.2. Kohärenz mit den bestehenden Vorschriften in diesem Politikbereich Die horizontale Ausrichtung des Vorschlags erfordert die uneingeschränkte Kohärenz mit dem bestehenden Unionsrecht, das auf Sektoren Anwendung findet, in denen Hoch-Risiko- KI-Systeme bereits jetzt oder wahrscheinlich in naher Zukunft eingesetzt werden. Auch mit der EU-Grundrechtecharta und dem geltenden Sekundärrecht der Union zum Daten- und Verbraucherschutz, zur Nichtdiskriminierung und zur Gleichstellung der Geschlechter ist die Kohärenz gewährleistet. Die Datenschutz-Grundverordnung (Verordnung (EU) 2016/679) und die Strafverfolgungsrichtlinie (Richtlinie (EU) 2016/680) bleiben von dem Vorschlag unberührt und werden durch harmonisierte Vorschriften für Entwurf, Entwicklung und Verwendung bestimmter Hochrisiko-KI-Systeme sowie durch Beschränkungen für bestimmte Anwendungen biometrischer Fernidentifizierungssysteme ergänzt. Darüber hinaus ergänzt der Vorschlag geltendes Unionsrecht zur Nichtdiskriminierung, indem konkrete Anforderungen zur Minimierung des Risikos der Diskriminierung durch Algorithmen, vor allem in Bezug auf Entwurf und Qualität von für die Entwicklung von KI-Systemen verwendeten Datensätzen, aufgenommen wurden, und Tests, Risikomanagement, Dokumentation und menschliche Aufsicht über die gesamte Lebensdauer von KI-Systemen hinweg verbindlich vorgeschrieben werden. Der Vorschlag lässt die Anwendung des Wettbewerbsrechts der Union unberührt. Im Hinblick auf Hochrisiko-KI-Systeme, bei denen es sich um Sicherheitskomponenten von Produkten handelt, wird dieser Vorschlag zur Wahrung der Kohärenz, zur Vermeidung von DE 4 DE  Überschneidungen und zur Verringerung des Verwaltungsaufwands in die bereits vorhandenen sektorspezifischen Sicherheitsvorschriften eingebunden. So werden die in diesem Vorschlag enthaltenen Anforderungen an KI-Systeme im Falle von Hochrisiko-KI- Systemen, die mit unter den Neuen Rechtsrahmen (New Legislative Framework, NLF) fallenden Produkten (z. B. Maschinen, medizinische Geräte, Spielzeug) in Verbindung stehen, im Rahmen der bestehenden Konformitätsbewertungsverfahren nach dem einschlägigen NLF- Recht geprüft. Für das Zusammenspiel der Anforderung gilt, dass die von den jeweiligen KI- Systemen abhängigen Sicherheitsrisiken den Anforderungen dieses Vorschlags unterliegen, während mit dem NLF-Recht die Sicherheit des Endprodukts insgesamt gewährleistet werden soll, weshalb diese Vorschriften konkrete Anforderungen an die sichere Integration von KI- Systemen in das Endprodukt enthalten können. Dieser Ansatz lässt sich auch gut daran erkennen, dass der Vorschlag für eine Maschinenverordnung am selben Tag wie dieser Vorschlag angenommen werden soll. Für Hochrisiko-KI-Systeme in Verbindung mit Produkten, die unter die einschlägigen Vorschriften des Alten Konzepts fallen (z. B. Luftfahrt, Fahrzeuge) würde dieser Vorschlag nicht unmittelbar gelten. Allerdings müssen die in diesem Vorschlag festgelegten und vorab zu erfüllenden wesentlichen Anforderungen an Hochrisiko-KI-Systeme bei der Annahme einschlägiger Durchführungsrechtsakte oder delegierter Rechtsakte in diesen Rechtsakten berücksichtigt werden. Bei KI-Systemen, die von regulierten Kreditinstituten bereitgestellt oder verwendet werden, sollten die für die Aufsicht über die Rechtsvorschriften der Union im Bereich der Finanzdienstleistungen zuständigen Behörden auch als die zuständigen Behörden für die Aufsicht über die Anforderungen dieses Vorschlags benannt werden, um eine kohärente Durchsetzung der sich aus diesem Vorschlag ergebenden Pflichten und der Rechtsvorschriften der Union im Bereich der Finanzdienstleistungen zu gewährleisten, in denen die KI-Systeme zu einem gewissen Grad implizit in Verbindung mit dem internen Unternehmensführungssystem der Kreditinstitute reguliert sind. Im Sinne einer noch größeren Kohärenz werden die in diesem Vorschlag vorgesehenen Konformitätsbewertungen und einige verfahrenstechnische Pflichten der Anbieter in die Verfahren eingebunden, die nach der Richtlinie 2013/36/EU über den Zugang zur Tätigkeit von Kreditinstituten und die Beaufsichtigung von Kreditinstituten und Wertpapierfirmen14 einzuhalten sind. Zudem steht der Vorschlag in Einklang mit dem geltenden EU-Dienstleistungsrecht, unter das auch die in der E-Commerce-Richtlinie 2000/31/EG15 regulierten Vermittlungsdienste und der jüngste Kommissionsvorschlag für das Gesetz über digitale Dienste16 fallen. Der Vorschlag gilt nicht für die KI-Systeme, die als Komponenten von IT-Großsystemen in dem von der Agentur der Europäischen Union für das Betriebsmanagement von IT- Großsystemen (eu-LISA) verwalteten Raum der Freiheit, der Sicherheit und des Rechts vor Ablauf eines Jahres ab dem Zeitpunkt der Anwendung dieser Verordnung in Verkehr gebracht oder in Betrieb genommen wurden, sofern der Ersatz oder die Änderung der entsprechenden 14 Richtlinie 2013/36/EU des Europäischen Parlaments und des Rates vom 26. Juni 2013 über den Zugang zur Tätigkeit von Kreditinstituten und die Beaufsichtigung von Kreditinstituten und Wertpapierfirmen, zur Änderung der Richtlinie 2002/87/EG und zur Aufhebung der Richtlinien 2006/48/EG und 2006/49/EG (ABl. L 176 vom 27.6.2013, S. 338). 15 Richtlinie 2000/31/EG des Europäischen Parlaments und des Rates vom 8. Juni 2000 über bestimmte rechtliche Aspekte der Dienste der Informationsgesellschaft, insbesondere des elektronischen Geschäftsverkehrs, im Binnenmarkt („Richtlinie über den elektronischen Geschäftsverkehr“) (ABl. L 178 vom 17.7.2000, S. 1). 16 Siehe Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates über einen Binnenmarkt für digitale Dienste (Gesetz über digitale Dienste) und zur Änderung der Richtlinie 2000/31/EG, COM(2020) 825 final. DE 5 DE  Rechtsakte die Konzeption oder die Zweckbestimmung der betreffenden KI-Systeme erheblich ändert. 1.3. Kohärenz mit der Politik der Union in anderen Bereichen Der Vorschlag ist Teil eines umfassenderen Pakets von Maßnahmen, mit denen die im Weißbuch zur KI untersuchten Probleme, die sich bei der Entwicklung und der Verwendung von KI stellen, angegangen werden sollen. Daher werden Kohärenz und Komplementarität mit anderen laufenden oder geplanten Initiativen der Kommission, die sich ebenfalls mit diesen Problemen befassen, gewährleistet. Hierunter fallen die Überarbeitung der sektorspezifischen Produktvorschriften (z. B. die Maschinenrichtlinie, die Richtlinie über die allgemeine Produktsicherheit) sowie Initiativen, die sich mit Haftungsfragen im Zusammenhang mit den neuen Technologien, auch KI-Systemen, befassen. Die Initiativen werden auf diesem Vorschlag aufbauen und ihn ergänzen und so für Rechtsklarheit sorgen und die Entwicklung eines Ökosystems für Vertrauen in die KI in Europa fördern. Der Vorschlag steht zudem in Einklang mit der von der Kommission insgesamt verfolgten Digitalstrategie, indem er dazu beiträgt, eine Technologie zu fördern, die den Menschen zugutekommt – eines der drei Hauptziele, die in der Mitteilung zur „Gestaltung der digitalen Zukunft Europas“ genannt werden17. Es wird ein kohärenter, wirksamer und angemessener Rahmen geschaffen, mit dem sichergestellt wird, dass KI so entwickelt wird, dass die Rechte der Menschen geachtet werden und sie ihr Vertrauen verdient – damit ist Europa für das digitale Zeitalter gewappnet und die nächsten zehn Jahre werden zur digitalen Dekade18. Darüber hinaus ist die Förderung der auf KI beruhenden Innovation eng mit dem Daten- Governance-Gesetz19, der Richtlinie über offene Daten20 und anderen Initiativen im Rahmen der EU-Strategie für Daten21 verknüpft, mit denen vertrauenswürdige Mechanismen und Dienste für die Weiterverwendung, das Teilen und die Zusammenführung von Daten festgelegt werden, die für die Entwicklung hochwertiger datengesteuerter KI- Modelle entscheidend sind. Mit dem Vorschlag wird zudem die Position der Union bei der Formulierung weltweiter Normen und Standards sowie der Förderung vertrauenswürdiger KI, die mit den Werten und Interessen der Union in Einklang stehen, erheblich gestärkt. Er bietet der Union eine solide Grundlage für ihre weiteren Gespräche zur Fragen der KI mit ihren externen Partnern, auch Drittländern, und in internationalen Gremien. 2. RECHTSGRUNDLAGE, SUBSIDIARITÄT UND VERHÄLTNISMÄẞIGKEIT 2.1. Rechtsgrundlage Rechtsgrundlage für den Vorschlag ist zunächst Artikel 114 des Vertrags über die Arbeitsweise der Europäischen Union (AEUV), der die Annahme von Maßnahmen für die Errichtung und das Funktionieren des Binnenmarkts vorsieht. 17 Mitteilung der Kommission „Gestaltung der digitalen Zukunft Europas“, COM(2020) 67. 18 Digitaler Kompass 2030:der europäische Weg in die digitale Dekade. 19 Vorschlag für eine Verordnung über europäische Daten-Governance (Data-Governance-Gesetz), COM(2020) 767. 20 Richtlinie (EU) 2019/1024 des Europäischen Parlaments und des Rates vom 20. Juni 2019 über offene Daten und die Weiterverwendung von Informationen des öffentlichen Sektors (PE/28/2019/REV/1, ABl. L 172 vom 26.6.2019, S. 56). 21 Mitteilung der Kommission „Eine europäische Datenstrategie“, COM(2020) 66 final. DE 6 DE  Dieser Vorschlag bildet ein Kernelement der EU-Strategie für den digitalen Binnenmarkt. Hauptziel dieses Vorschlags ist, durch die Festlegung harmonisierter Vorschriften, insbesondere in Bezug auf die Entwicklung, das Inverkehrbringen und den Einsatz von Produkten und Diensten, die KI-Techniken anwenden, oder von eigenständigen KI-Systemen, für ein reibungsloses Funktionieren des Binnenmarkts zu sorgen. Einige Mitgliedstaaten ziehen bereits nationale Vorschriften in Erwägung, damit sichergestellt ist, dass KI sicher ist und unter Einhaltung der Grundrechte entwickelt und verwendet wird. Daraus dürften sich vor allem die beiden folgende Probleme ergeben: i) eine Fragmentierung des Binnenmarkts in wesentlichen Fragen, insbesondere mit Blick auf die Anforderungen an KI-Produkte und - Dienste, deren Vermarktung und Verwendung sowie auf die Haftung und die Aufsicht durch öffentliche Behörden, und ii) die erheblich geringere Rechtssicherheit sowohl für Anbieter als auch Nutzer von KI-Systemen im Hinblick darauf, wie bestehende und neue Vorschriften auf solche Systeme in der Union angewandt werden. Angesichts des großen Umfangs des grenzüberschreitenden Waren- und Dienstleistungsverkehrs lassen sich diese beiden Probleme am besten durch unionsweit harmonisierte Rechtsvorschriften lösen. So werden in dem Vorschlag die gemeinsamen Anforderungen an Konzeption und Entwicklung bestimmter KI-Systeme festgelegt, die zwingend eingehalten werden müssen, bevor diese Systeme in Verkehr gebracht werden dürfen, und die weiter durch harmonisierte technische Normen konkretisiert werden. Der Vorschlag befasst sich auch mit der Situation nach dem Inverkehrbringen von KI-Systemen, indem eine abgestimmte Vorgehensweise für nachträgliche Kontrollen vorgesehen wird. Da dieser Vorschlag konkrete Vorschriften zum Schutz von Privatpersonen im Hinblick auf die Verarbeitung personenbezogener Daten enthält, mit denen vor allem die Verwendung von KI-Systemen zur biometrischen Fernidentifizierung in Echtzeit in öffentlich zugänglichen Räumen für die Zwecke der Strafverfolgung eingeschränkt wird, sollte sich diese Verordnung in Bezug auf diese konkreten Vorschriften auch auf Artikel 16 AEUV stützen. 2.2. Subsidiarität (bei nicht ausschließlicher Zuständigkeit) Es liegt in der Natur der KI, die häufig auf großen und vielfältigen Datensätzen beruht und die in alle im Binnenmarkt in Verkehr gebrachte Produkte oder Dienste eingebettet sein kann, dass die Ziele dieses Vorschlags von den Mitgliedstaaten nicht allein effizient erreicht werden können. Zudem wird der reibungslose unionsweite Waren- und Dienstleistungsverkehr im Zusammenhang mit KI-Systemen durch das Entstehen eines Flickenteppichs potenziell abweichender nationaler Vorschriften behindert, die zudem die Sicherheit und den Schutz der Grundrechte sowie die Einhaltung der Werte der Union länderübergreifend nur unzureichend gewährleisten können. Einzelstaatliche Konzepte zur Lösung der Probleme werden nur zu mehr Rechtsunsicherheit und zu Hemmnissen sowie zu einer langsameren Markteinführung von KI führen. Die Ziele dieses Vorschlags können besser auf Unionsebene erreicht werden, denn nur so lässt sich eine weitere Fragmentierung des Binnenmarkts verhindern, die dazu führen würde, dass potenziell widersprüchliche nationale Bestimmungen den freien Waren- und Dienstleistungsverkehr von Produkten, in die KI eingebettet ist, unmöglich machen. Ein solider europäischer Rechtsrahmen für eine vertrauenswürdige KI wird auch für gleiche Wettbewerbsbedingungen sorgen und alle Menschen schützen, gleichzeitig jedoch die Wettbewerbsfähigkeit Europas und die Industriebasis im KI-Bereich stärken. Nur durch gemeinsames Handeln auf Unionsebene kann die Union ihre Souveränität im digitalen Bereich schützen und ihre Instrumente und Regelungsbefugnisse zur Gestaltung globaler Regeln und Standards einsetzen. DE 7 DE  2.3. Verhältnismäßigkeit Der Vorschlag baut auf dem bestehenden Rechtsrahmen auf, ist verhältnismäßig und zur Erreichung seiner Ziele notwendig, da mit ihm ein risikobasierter Ansatz verfolgt wird und regulatorische Belastungen nur dann entstehen, wenn davon auszugehen ist, dass ein KI- System hohe Risiken für die Grundrechte und die Sicherheit darstellt. Für andere, KI- Systeme, die kein hohes Risiko darstellen, werden nur sehr wenige Transparenzpflichten auferlegt, etwa dahingehend, dass bei der Interaktion mit Menschen der Einsatz von KI- Systemen angezeigt werden muss. Im Falle von Hochrisiko-KI-Systemen sind die Anforderungen an hohe Datenqualität, Dokumentation und Rückverfolgbarkeit, Transparenz, menschliche Aufsicht, Präzision und Robustheit unerlässlich, um die Risiken für die Grundrechte und die Sicherheit abzumildern, die mit diesen KI verbunden sind und die nicht durch andere bestehende Rechtsvorschriften abgedeckt werden. Anbieter und Nutzer werden bei der Einhaltung der in dem Vorschlag festgelegten Anforderungen durch harmonisierte Standards, Orientierungshilfen und Instrumente zur Einhaltung der Vorschriften unterstützt, die auch ihre Kosten gering halten. Die den Akteuren entstehenden Kosten stehen im Verhältnis zu den erreichten Zielen, dem wirtschaftlichen Nutzen sowie dem guten Ruf, die die Akteure von der vorgeschlagenen Regelung erwarten können. 2.4. Wahl des Instruments Die Wahl einer Verordnung als Rechtsinstrument ist durch die Notwendigkeit einer einheitlichen Anwendung der neuen Vorschriften gerechtfertigt, beispielsweise im Hinblick auf die Begriffsbestimmung für KI, das Verbot bestimmter schädlicher Praktiken, die durch KI ermöglicht werden, und die Einstufung bestimmter KI-Systeme. Die unmittelbare Anwendbarkeit einer Verordnung nach Artikel 288 AEUV verringert die Rechtsfragmentierung und erleichtert die Entwicklung eines Binnenmarkts für rechtmäßige, sichere und vertrauenswürdige KI-Systeme. Hierzu wird insbesondere ein Bündel harmonisierter zentraler Anforderungen an als hochriskant eingestufte KI-Systeme eingeführt. Darüber hinaus werden Pflichten für Anbieter und Nutzer dieser Systeme festgelegt, um den Schutz der Grundrechte und die Rechtssicherheit sowohl für Akteure als auch Nutzer zu verbessern. Darüber hinaus sind die Bestimmungen der Verordnung nicht übermäßig präskriptiv und lassen den Mitgliedstaaten auf verschiedenen Ebenen Raum für Maßnahmen in Bezug auf Elemente, die den Zielen der Initiative nicht zuwiderlaufen, insbesondere im Hinblick auf die interne Organisation des Marktüberwachungssystems und die Einführung innovationsfördernder Maßnahmen. 3. ERGEBNISSE DER EX-POST-BEWERTUNG, DER KONSULTATION DER INTERESSENTRÄGER UND DER FOLGENABSCHÄTZUNG 3.1. Konsultation der Interessenträger Dieser Vorschlag ist das Ergebnis einer umfangreichen Konsultation aller wichtigen Interessenträger, bei der die allgemeinen Grundsätze und Mindeststandards für die Konsultation von Interessenträgern durch die Kommission angewandt wurden. Gleichzeitig mit der Veröffentlichung des Weißbuchs zur Künstlichen Intelligenz am 19. Februar 2020 wurde eine öffentliche Online-Konsultation gestartet, die bis zum 14. Juni 2020 lief. Ziel der Konsultation war die Einholung von Ansichten und Stellungnahmen zum Weißbuch. Sie richtete sich an alle Interessenträger des öffentlichen und privaten Sektors, auch an Regierungen, lokale Behörden, gewerbliche und nichtgewerbliche Organisationen, Sozialpartner, Sachverständige und Hochschulen sowie an Bürgerinnen und Bürger. Nach DE 8 DE  Auswertung der eingegangenen Antworten veröffentlichte die Kommission auf ihrer Website22 eine Zusammenfassung der Ergebnisse sowie die einzelnen Antworten. Insgesamt gingen 1215 Beiträge ein, davon 352 von Unternehmen oder Unternehmensorganisationen/-verbänden, 406 von Einzelpersonen (92 % Personen aus der EU), 152 von Hochschul-/Forschungsinstituten und 73 von öffentlichen Stellen. 160 Antworten gingen von Vertretern der Zivilgesellschaft ein (darunter 9 Verbraucherorganisationen, 129 NRO und 22 Gewerkschaften), 72 Antworten von „Sonstigen“. Unter den 352 Unternehmens- und Industrievertretern waren 222 Vertreter von Unternehmen, bei denen es sich zu 41,5 % um Vertreter von Kleinstunternehmen sowie kleinen und mittleren Unternehmen handelte. Bei den übrigen handelte es sich um Unternehmensverbände. Insgesamt kamen 84 % der Antworten der Unternehmens- und Industrievertreter aus der EU-27. Je nach Frage nutzten 81 bis 598 Teilnehmer die Möglichkeit, Kommentare frei zu formulieren. Über 450 Positionspapiere wurden mittels der EU-Survey-Website eingereicht, entweder als Anlage zu den Antworten auf den Fragebogen (über 400) oder als eigenständige Beiträge (über 50). Insgesamt besteht unter den Interessenträgern Einvernehmen über den Handlungsbedarf. Eine große Mehrheit der Interessenträger stimmt der Auffassung zu, dass Regelungslücken bestehen oder neue Vorschriften benötigt werden. Allerdings weisen mehrere Interessenträger die Kommission darauf hin, dass Überschneidungen, widersprüchliche Auflagen oder eine Überregulierung vermieden werden sollten. Viele Kommentare unterstrichen die Bedeutung der Technologieneutralität und eines die Verhältnismäßigkeit wahrenden Rechtsrahmens. Die Interessenträger forderten mehrheitlich eine enge, klare und genaue Begriffsbestimmung künstlicher Intelligenz. Neben einer Klärung des Begriffs der KI unterstrichen sie auch die Notwendigkeit, die Begriffe „Risiko“, „hohes Risiko“, „niedriges Risiko“, „biometrische Fernidentifizierung“ und „Schaden“ zu definieren. Die meisten Teilnehmer befürworten ausdrücklich den risikobasierten Ansatz. Ein Ansatz, der sich auf die Risiken stützt, wurde im Vergleich zu einer undifferenzierten Regulierung aller KI-Systeme als die bessere Option betrachtet. Die Festlegung der Art der Risiken und Gefahren sollte von den jeweiligen Sektoren und vom Einzelfall abhängig gemacht werden Bei der Bewertung der Risiken sollte auch deren rechtliche und sicherheitsrelevante Auswirkung berücksichtigt werden. Reallabore könnten zur Förderung von KI sehr nützlich sein und werden von einigen Interessenträgern, vor allem Unternehmensverbänden, begrüßt. Über die Hälfte der Teilnehmer, die zu den Durchsetzungsmodellen Stellung genommen haben, insbesondere Unternehmensverbände, begrüßen im Falle von Hochrisiko-KI-Systemen eine Kombination aus einer Vorab-Selbstbewertung des Risikos und einer Ex-post- Durchsetzung. 3.2. Einholung und Nutzung von Expertenwissen Der Vorschlag beruht auf in einem Zeitraum von zwei Jahren durchgeführten Analysen und der engen Einbeziehung von Interessenträgern, auch von Hochschulen, Unternehmen, Sozialpartnern, Nichtregierungsorganisationen, Mitgliedstaaten, Bürgerinnen und Bürgern. 2018 begannen die vorbereitenden Arbeiten mit der Einsetzung einer hochrangigen Expertengruppe für KI, die sich aus 52 renommierten Sachverständigen zusammensetzte, die ein breites Spektrum abdeckten und deren Aufgabe es war, die Kommission bei der 22 Alle Ergebnisse der Konsultation finden Sie hier. DE 9 DE  Umsetzung der Strategie für Künstliche Intelligenz zu beraten. Im April 2019 unterstützte die Kommission23 die zentralen Anforderungen, die die hochrangige Expertengruppe in ihre Ethik-Leitlinien für vertrauenswürdige KI24 aufgenommen hatte und die überarbeitet worden waren, um die über 500 Beiträge von Interessenträgern zu berücksichtigen. Die zentralen Anforderungen sind Ausdruck eines breit gefassten und gemeinsamen Ansatzes, der angesichts der Fülle der von vielen privaten und öffentlichen Organisationen in Europa und weltweit entwickelten Ethik-Codes und Ethik-Grundsätzen darauf hinausläuft, dass Entwicklung und Verwendung von KI von bestimmten wesentlichen werteorientierten Grundsätzen geleitet sein sollten. Für die praktische Umsetzung dieser Anforderungen im Rahmen eines Pilotverfahrens mit über 350 Organisationen wurde eine Bewertungsliste für vertrauenswürdige künstliche Intelligenz (Assessment List for Trustworthy Artificial Intelligence, ALTAI)25 erstellt. Zudem wurde eine KI-Allianz26 ins Leben gerufen, die etwa 4000 Interessenträgern die Möglichkeit gibt, über eine Plattform technologische und gesellschaftliche Aspekte der KI zu diskutieren und jährlich in einer KI-Versammlung zusammen zu kommen. Dieser inklusive Ansatz wurde mit dem Weißbuch zur KI weiterentwickelt, auf das Kommentare, darunter über 450 Positionspapiere, von über 1250 Interessenträgern eingingen. Daraufhin veröffentlichte die Kommission eine erste Folgenabschätzung, auf die wiederum über 130 Kommentare eingingen27. Zudem wurden weitere Workshops und Veranstaltungen für Interessenträger organisiert, deren Ergebnisse die Analysen der Folgenabschätzung und die in diesem Vorschlag getroffene Wahl der politischen Optionen unterstützen28. Darüber hinaus flossen die Ergebnisse einer in Auftrag gegebenen externen Studie mit in die Folgenabschätzung ein. 3.3. Folgenabschätzung Entsprechend ihrer Strategie für eine bessere Rechtsetzung führte die Kommission eine Folgenabschätzung für diesen Vorschlag durch, die vom Ausschuss für Regulierungskontrolle der Kommission geprüft wurde. Am 16. Dezember 2020 fand eine Sitzung mit dem Ausschuss für Regulierungskontrolle statt, der eine ablehnende Stellungnahme abgab. Nachdem die Folgenabschätzung unter Berücksichtigung der Kommentare gründlich überarbeitet und erneut vorgelegt wurde, gab der Ausschuss für Regulierungskontrolle am 21. März 2021 eine befürwortende Stellungnahme ab. Die Stellungnahmen des Ausschusses für Regulierungskontrolle, die Empfehlungen und eine Erläuterung dazu, inwiefern diese Berücksichtigung gefunden haben, sind Anhang 1 der Folgenabschätzung zu entnehmen. Die Kommission prüfte verschiedene politische Optionen daraufhin, inwieweit sich mit ihnen das übergeordnete Ziel des Vorschlags erreichen lässt, nämlich durch Schaffung der Voraussetzungen für die Entwicklung und Verwendung vertrauenswürdiger KI in der Union, das reibungslose Funktionieren des Binnenmarkts zu gewährleisten. 23 Europäische Kommission, Schaffung von Vertrauen in eine auf den Menschen ausgerichtete künstliche Intelligenz, COM(2019) 168. 24 HLEG, Ethics Guidelines for Trustworthy AI, 2019. 25 HLEG, Assessment List for Trustworthy Artificial Intelligence (ALTAI) for self-assessment, 2020. 26 Die KI-Allianz, ein Forum unterschiedlichster Interessenträger, wurde 2018 gegründet: https://ec.europa.eu/digital-single-market/en/european-ai-alliance. 27 Europäische Kommission, Inception Impact Assessment For a Proposal for a legal act of the European Parliament and the Council laying down requirements for Artificial Intelligence. 28 Einzelheiten aller durchgeführten Konsultationen sind Anhang 2 der Folgenabschätzung zu entnehmen. DE 10 DE  Hierzu wurden vier politische Optionen geprüft, die regulatorische Maßnahmen in unterschiedlichem Ausmaß vorsehen:  Option 1: EU-Rechtsetzungsinstrument zur Einrichtung eines Systems zur freiwilligen Kennzeichnung;  Option 2: ein sektorspezifischer „Ad-hoc“-Ansatz;  Option 3: ein horizontales EU-Rechtsetzungsinstrument gestützt auf Verhältnismäßigkeit und einen risikobasierten Ansatz;  Option 3+: ein horizontales EU-Rechtsetzungsinstrument gestützt auf Verhältnismäßigkeit und einen risikobasierten Ansatz, ergänzt durch einen Verhaltenskodex für KI-Systeme, die kein hohes Risiko darstellen;  Option 4: ein horizontales EU-Rechtsetzungsinstrument, mit dem obligatorische Anforderungen an alle KI-Systeme, unabhängig von dem mit diesen verbundenen Risiko, festgelegt werden. Nach bewährter Methodik der Kommission wurde jede politische Option im Hinblick auf ihre wirtschaftlichen und gesellschaftlichen Auswirkungen mit besonderem Augenmerk auf die Auswirkungen auf die Grundrechte geprüft. Bevorzugt wird die Option 3+, d. h. ein Rechtsrahmen ausschließlich für Hochrisiko-KI-Systeme und die Möglichkeit für alle Anbieter von KI-Systemen, die kein hohes Risiko darstellen, sich an einen Verhaltenskodex zu halten. Die für Hochrisiko-KI-Systeme geltenden Anforderungen werden sich auf Daten, Dokumentation und Rückverfolgbarkeit, Bereitstellung von Informationen und Transparenz, menschliche Aufsicht sowie Robustheit und Genauigkeit beziehen. Unternehmen können freiwillig Verhaltenskodizes für andere KI-Systeme einführen. Die bevorzugte Option wurde als geeignet erachtet, die Ziele dieses Vorschlags in effizientester Weise zu erreichen. Indem KI-Entwickler und KI-Nutzer verpflichtet werden, ein begrenztes, aber wirkungsvolles Bündel von Maßnahmen zu ergreifen, werden mit der bevorzugten Option, bei der gezielte Anforderungen nur für solche Systeme gelten, bei denen ein hohes Risiko besteht, dass Grundrechte verletzt werden und die Sicherheit von Menschen gefährdet wird, das Risiko solcher Verstöße eingedämmt und zudem eine effiziente Aufsicht und Durchsetzung unterstützt. Die dadurch bei dieser Option minimierten Rechtsbefolgungskosten führen dazu, dass die Einführung nicht aufgrund höherer Preise und Rechtsbefolgungskosten unnötigerweise hinausgezögert wird. Um etwaige Nachteile für KMU zu vermeiden, umfasst diese Option mehrere Bestimmungen, mit denen KMU nicht nur bei der Rechtsbefolgung und Kostenreduzierung, sondern auch bei der Einrichtung von Reallaboren unterstützt werden, sowie die Pflicht, bei der Festsetzung der Gebühren für die Konformitätsbewertung die Interessen von KMU zu berücksichtigen. Mit der bevorzugten Option lässt sich das Vertrauen der Menschen in KI erhöhen, Unternehmen haben Rechtssicherheit und die Mitgliedstaaten sehen sich nicht mehr veranlasst, einseitig Maßnahmen zu ergreifen, die zu einer Fragmentierung des Binnenmarkts führen würden. Die mit dem größeren Vertrauen steigende Nachfrage und das infolge der Rechtssicherheit größere Angebot sowie der ungehinderte grenzüberschreitende Warenverkehr von KI-Systemen dürften zu einem florierenden Binnenmarkt für KI führen. Die Europäische Union wird die Entwicklung eines schnell wachsenden KI-Ökosystems innovativer Dienste und Produkte, in die KI-Technologie eingebettet ist, oder eigenständiger KI-Systeme weiter vorantreiben, um so die digitale Autonomie zu vergrößern. Unternehmen oder öffentliche Stellen, die KI-Anwendungen entwickeln oder verwenden, die ein hohes Risiko für die Sicherheit oder Grundrechte von Bürgerinnen und Bürgern darstellen, DE 11 DE  sind verpflichtet, bestimmte Anforderungen und Verpflichtungen einzuhalten. Für die Einhaltung dieser Anforderungen entstehen bis 2025 für die Lieferung eines durchschnittlichen Hochrisiko-KI-Systems im Wert von etwa 170 000 EUR Kosten von etwa 6000 EUR bis 7000 EUR. Abhängig von der jeweiligen Anwendung fallen für KI-Nutzer gegebenenfalls zudem die jährlichen Kosten für die Zeit an, die für die menschliche Aufsicht aufgewandt werden muss. Diese wurden mit etwa 5000 EUR bis 8000 EUR pro Jahr veranschlagt. Für Lieferanten von Hochrisiko-KI könnten zudem Überprüfungskosten in Höhe von 3000 EUR bis 7500 EUR anfallen. Unternehmen oder öffentliche Stellen, die nicht als hochriskant eingestufte KI-Anwendungen entwickeln oder nutzen, hätten nur eine minimale Informationspflicht. Sie könnten sich jedoch entscheiden, mit anderen gemeinsam einen Verhaltenskodex über die Einhaltung geeigneter Anforderungen festzulegen und dafür zu sorgen, dass ihre KI-Systeme vertrauenswürdig sind. In diesem Fall würden sich die Kosten höchstens auf dem Niveau für Hochrisiko-KI-Systeme bewegen, wahrscheinlich jedoch darunter. Welche Auswirkungen die politischen Optionen auf die verschiedenen Kategorien von Interessenträgern haben (Wirtschaftsakteure/Unternehmen, Konformitätsbewertungsstellen, Normungsgremien und sonstige öffentliche Gremien, Privatpersonen/Bürgerinnen und Bürger, Forschung), wird im Einzelnen in Anhang 3 der Folgenabschätzung in der Anlage zu diesem Vorschlag erläutert. 3.4. Effizienz der Rechtsetzung und Vereinfachung Dieser Vorschlag enthält die Pflichten für Anbieter und Nutzer von Hochrisiko-KI-Systemen. Anbieter, die solche Systeme entwickeln und in der Union in Verkehr bringen, erhalten Rechtssicherheit und die Gewissheit, dass bei der grenzüberschreitenden Bereitstellung von Diensten und Produkten im Zusammenhang mit KI keine Hindernisse auftauchen. Kunden werden größeres Vertrauen in die von Unternehmen eingesetzte KI haben. Nationale öffentliche Verwaltungen werden vom gestiegenen Vertrauen der Öffentlichkeit in die Verwendung von KI und den gestärkten Durchsetzungsmechanismen profitieren (durch die Einführung eines europäischen Koordinierungsmechanismus, die Bereitstellung angemessener Kapazitäten und die Erleichterung von Audits der KI-Systeme durch neue Anforderungen an die Dokumentation, Rückverfolgbarkeit und Transparenz). Darüber hinaus zielt der Rechtsrahmen auf innovationsspezifische Maßnahmen, beispielsweise Reallabore und konkrete Maßnahmen ab, mit denen Kleinnutzer und Kleinanbieter von Hochrisiko-KI- Systemen darin unterstützt werden, die neuen Vorschriften einzuhalten. Der Vorschlag zielt zudem speziell auf die Stärkung der europäischen Wettbewerbsfähigkeit und Industriebasis im Bereich der KI ab. Die Kohärenz mit bestehenden sektorspezifischen Unionsvorschriften für KI-Systeme (z. B. für Produkte und Dienste) ist gewährleistet, was zu größerer Klarheit führt und die Durchsetzung der neuen Vorschriften erleichtert. 3.5. Grundrechte Durch ihre besonderen Merkmale (z. B. Undurchsichtigkeit, Komplexität, Datenabhängigkeit, autonomes Verhalten) kann die Verwendung von KI dazu führen, dass einige der in der EU- Grundrechtecharta (im Folgenden die „Charta“) verankerten Grundrechte verletzt werden. Der Vorschlag zielt darauf ab, diese Grundrechte in hohem Maße zu schützen und durch einen klar festgelegten risikobasierten Ansatz verschiedene Ursachen für Risiken anzugehen. Alle an der Wertschöpfungskette Beteiligten unterliegen einer Reihe von Anforderungen an vertrauenswürdige KI und verhältnismäßigen Pflichten, damit die durch die Charta geschützten Rechte noch stärker geschützt werden: die Würde des Menschen (Artikel 1), die Achtung des Privatlebens und der Schutz personenbezogener Daten (Artikel 7 und 8), die Nichtdiskriminierung (Artikel 21) und die Gleichheit von Frauen und Männern (Artikel 23). DE 12 DE  Mit dem Vorschlag soll verhindert werden, dass Menschen davor zurückschrecken, ihr Recht auf Meinungsfreiheit (Artikel 11) und auf Versammlungs- und Vereinigungsfreiheit (Artikel 12) auszuüben, und sichergestellt werden, dass das Recht auf einen wirksamen Rechtsbehelf und ein unparteiisches Gericht und die Unschuldsvermutung und Verteidigungsrechte (Artikel 47 und 48) sowie der allgemeine Grundsatz guter Verwaltung gewahrt werden. Zudem wird sich der Vorschlag in bestimmten Bereichen positiv auf einige gruppenspezifische Rechte auswirken, beispielsweise auf das Recht der Arbeitnehmer auf gerechte und angemessene Arbeitsbedingungen (Artikel 31), den Verbraucherschutz (Artikel 28), die Rechte des Kindes (Artikel 24) und die Integration von Menschen mit Behinderung (Artikel 26). Darüber hinaus geht es um das Recht auf ein hohes Umweltschutzniveau und die Verbesserung der Umweltqualität (Artikel 37), auch in Bezug auf die Gesundheit und Sicherheit von Menschen. Die Verpflichtung zu Vorabtests, Risikomanagement und menschlicher Aufsicht werden die Achtung auch anderer Grundrechte erleichtern, da sich so das Risiko, in kritischen Bereichen wie Bildung, Ausbildung, Beschäftigung, wichtige Dienste, Strafverfolgung und Justiz mithilfe der KI falsche oder verzerrte Entscheidungen zu treffen, verringern lässt. Sollten Grundrechte trotzdem noch verletzt werden, werden die betroffenen Personen die Möglichkeit haben, wirksame Rechtsmittel einzulegen, da für Transparenz und Rückverfolgbarkeit der KI-Systeme im Verbund mit starken Ex-post-Kontrollen gesorgt ist. Mit dem Vorschlag werden der unternehmerischen Freiheit (Artikel 16) und der Freiheit der Kunst und der Wissenschaft (Artikel 13) einige Beschränkungen auferlegt, um Kohärenz mit der übergeordneten Begründung des öffentlichen Interesses herzustellen. Hierunter fallen beispielsweise Gesundheit, Sicherheit, Verbraucherschutz und der Schutz anderer Grundrechte („verantwortungsvolle Innovation“) bei der Entwicklung und Verwendung von Hochrisiko-KI-Technik. Diese Beschränkungen sind verhältnismäßig und auf das notwendige Minimum beschränkt, um schwerwiegende Sicherheitsrisiken und mögliche Verletzungen der Grundrechte zu verhindern und abzumildern. Auch die Pflicht zu größerer Transparenz wird das Recht auf Schutz des geistigen Eigentums (Artikel 17 Absatz 2) nicht unverhältnismäßig beeinträchtigen, da sie auf die Mindestinformationen beschränkt ist, die eine Person benötigt, um ihr Recht auf einen wirksamen Rechtsbehelf auszuüben, sowie auf die Transparenz, die Aufsichts- und Durchsetzungsbehörden im Rahmen ihrer Aufgaben benötigen. Jede Offenlegung von Informationen erfolgt unter Einhaltung der einschlägigen Rechtsvorschriften, auch der Richtlinie (EU) 2016/943 über den Schutz vertraulichen Know-hows und vertraulicher Geschäftsinformationen (Geschäftsgeheimnisse) vor rechtswidrigem Erwerb sowie rechtswidriger Nutzung und Offenlegung. Benötigen öffentliche und notifizierte Stellen für die Prüfung der Einhaltung der wesentlichen Pflichten Zugang zu vertraulichen Informationen oder zu Quellcodes, sind sie zur Wahrung der Vertraulichkeit verpflichtet. 4. AUSWIRKUNGEN AUF DEN HAUSHALT Die Mitgliedstaaten müssen die für die Durchführung der rechtlichen Anforderungen zuständigen Aufsichtsbehörden benennen. Deren Aufsichtsfunktion könnte sich auf bestehende Vereinbarungen stützen, beispielsweise in Bezug auf die Konformitätsbewertungsstellen oder die Marktüberwachung, was jedoch ausreichende technische Kenntnisse sowie personelle und finanzielle Ressourcen erforderlich macht. Abhängig von der in jedem Mitgliedstaat bereits vorhandenen Struktur kann sich dies auf 1 bis 25 Vollzeitäquivalente je Mitgliedstaat belaufen. DE 13 DE  Ein detaillierter Überblick über die anfallenden Kosten ist dem Finanzbogen im Anhang zu diesem Vorschlag zu entnehmen. 5. WEITERE ANGABEN 5.1. Durchführungspläne sowie Überwachungs-, Bewertungs- und Berichterstattungsmodalitäten Damit mit dem Vorschlag dessen konkrete Ziele auch wirksam erreicht werden können, kommt es auf einen robusten Beobachtungs- und Bewertungsmechanismus an. Der Kommission obliegt die Beobachtung der Auswirkungen der vorgeschlagenen Bestimmungen. Sie wird ein System aufbauen, das es ermöglicht, eigenständige Hochrisiko- KI-Anwendungen in einer öffentlichen, unionsweiten Datenbank zu registrieren. Anhand dieser Registrierung werden zuständige Behörden, Nutzer und sonstige Interessierte überprüfen können, ob ein betreffendes Hochrisiko-KI-System die in dem Vorschlag festgelegten Anforderungen erfüllt, und für solche KI-Systeme, die ein hohes Risiko für die Einhaltung der Grundrechte darstellen, kann eine verstärkte Aufsicht ausgeübt werden. KI- Anbieter werden verpflichtet sein, bei ihren Eingaben in diese Datenbank aussagekräftige Angaben zu ihren Systemen und zur für diese Systeme durchgeführten Konformitätsbewertung zu machen. Zudem werden KI-Anbieter verpflichtet, die nationalen zuständigen Behörden zu informieren, sobald sie Kenntnis über schwerwiegende Vorfälle oder Fehlfunktionen erlangen, die eine Verletzung der Pflicht zur Wahrung der Grundrechte darstellen, sowie über jeden Rückruf oder jede Rücknahme von KI-Systemen vom Markt. Es ist dann Aufgabe der nationalen Behörden, den Vorfall oder die Fehlfunktion zu untersuchen, alle notwendigen Informationen zu sammeln und der Kommission zusammen mit den geeigneten Metadaten zu übermitteln. Die Kommission wird die Informationen zu den Vorfällen durch eine umfassende Analyse des KI-Markts insgesamt ergänzen. Fünf Jahre nach dem Zeitpunkt, nach dem der vorgeschlagene KI-Rechtsrahmen anwendbar wird, wird die Kommission einen Bericht veröffentlichen, in dem sie den vorgeschlagenen KI-Rechtsrahmen bewertet und überprüft. 5.2. Ausführliche Erläuterung einzelner Bestimmungen des Vorschlags 5.2.1. ANWENDUNGSBEREICH UND BEGRIFFSBESTIMMUNGEN (TITEL I) Titel I enthält den Gegenstand der Verordnung und den Anwendungsbereich der neuen Vorschriften für das Inverkehrbringen, die Inbetriebnahme und die Verwendung von KI- Systemen. Er enthält auch die Begriffsbestimmungen, die in diesem Rechtsinstrument durchweg verwendet werden. Ziel der in diesem Rechtsrahmen festgelegten Begriffsbestimmung für KI-Systeme ist es, so technologieneutral und zukunftstauglich wie möglich zu sein und den rasanten Entwicklungen in der KI-Technologie und auf dem KI- Markt Rechnung zu tragen. Damit die notwendige Rechtssicherheit gegeben ist, wird Titel I durch Anhang I ergänzt, in dem Konzepte und Techniken für die KI-Entwicklung detailliert aufgeführt sind und von der Kommission in dem Umfang angepasst werden, wie sich neue technologische Entwicklungen ergeben. Im Sinne gleicher Wettbewerbsbedingungen werden auch die wichtigsten Beteiligten über die gesamte KI-Wertschöpfungskette hinweg klar benannt, wie beispielsweise die Anbieter und Nutzer von KI-Systemen, bei denen es sich sowohl um öffentliche als auch um private Akteure handeln kann. DE 14 DE  5.2.2. VERBOTENE PRAKTIKEN IM BEREICH DER KÜNSTLICHEN INTELLIGENZ (TITEL II) Titel II enthält eine Liste verbotener KI-Praktiken. Die Verordnung verfolgt einen risikobasierten Ansatz, bei dem zwischen Anwendungen von KI unterschieden wird, die ein i) unannehmbares Risiko, ii) ein hohes Risiko und iii) ein geringes oder minimales Risiko darstellen. Die Aufstellung der verbotenen Praktiken in Titel II umfasst alle KI-Systeme, die als unannehmbar gelten, weil sie Werte der Union, beispielsweise Grundrechte, verletzen. Die Verbote gelten für Praktiken, die ein erhebliches Potenzial haben, Personen zu manipulieren, indem sie auf Techniken zur unterschwelligen Beeinflussung zurückgreifen, die von diesen Personen nicht bewusst wahrgenommen werden, oder die die Schwächen bestimmter schutzbedürftiger Gruppen wie Kinder oder Personen mit Behinderungen ausnutzen, um deren Verhalten massiv so zu beeinflussen, dass sie selbst oder eine andere Person psychisch oder physisch geschädigt werden könnten. Andere manipulative oder ausbeuterische Praktiken, die Erwachsene betreffen und möglicherweise durch KI-Systeme erleichtert werden, könnten unter die bestehenden Rechtsvorschriften für den Datenschutz, Verbraucherschutz und digitale Dienste fallen, auf deren Grundlage natürliche Personen Anspruch auf angemessene Informationen haben und es ihnen freisteht, Profiling- oder andere Praktiken, die Einfluss auf ihr Verhalten haben könnten, abzulehnen. Der Vorschlag sieht auch vor, die Bewertung des sozialen Verhaltens für allgemeine Zwecke mithilfe von KI durch öffentliche Behörden („Social Scoring“) zu verbieten. Schließlich soll der Einsatz von biometrischen Echtzeit-Fernidentifizierungssystemen in öffentlich zugänglichen Räumen für die Zwecke der Strafverfolgung bis auf wenige Ausnahmen verboten werden. 5.2.3. HOCHRISIKO-KI-SYSTEME (TITEL III) Titel III enthält spezifische Vorschriften für KI-Systeme, die ein hohes Risiko für die Gesundheit und Sicherheit oder für die Grundrechte natürlicher Personen darstellen. Entsprechend dem risikobasierten Ansatz sind solche Hochrisiko-KI-Systeme auf dem europäischen Markt zugelassen, sofern sie bestimmten zwingend vorgeschriebenen Anforderungen genügen und vorab eine Konformitätsbewertung durchgeführt wird. Die Einstufung als Hochrisiko-KI-System beruht auf der Zweckbestimmung des KI-Systems entsprechend den bestehenden EU-Produktsicherheitsvorschriften. Damit hängt die Einstufung als Hochrisiko-KI-System nicht nur von der Funktion dieses Systems ab, sondern auch von seinem konkreten Zweck und seinen Anwendungsmodalitäten. In Titel III Kapitel 1 sind die Einstufungsregeln angegeben und zwei Hauptkategorien für Hochrisiko-KI-Systeme festgelegt:  KI-Systeme, die als Sicherheitskomponenten von Produkten, die einer Vorab- Konformitätsbewertung durch Dritte unterliegen, verwendet werden sollen;  sonstige eigenständige KI-Systeme, die ausdrücklich in Anhang III genannt werden und sich vor allem auf die Grundrechte auswirken. Die in Anhang III aufgeführte Liste der Hochrisiko-KI-Systeme enthält einige KI-Systeme, bei denen sich bereits gezeigt hat oder bei denen absehbar ist, dass die Risiken tatsächlich eintreten. Damit die Verordnung an neue Verwendungszwecke und Anwendungen von KI angepasst werden kann, hat die Kommission die Möglichkeit, die Liste der Hochrisiko-KI- Systeme, die in bestimmten festgelegten Bereichen verwendet werden, mithilfe einer Reihe von Kriterien und einer Methodik für die Risikoabschätzung auszuweiten. In Kapitel 2 ist festgelegt, welche rechtlichen Anforderungen Hochrisiko-KI-Systeme in Bezug auf Daten, Daten-Governance, Dokumentation und das Führen von Aufzeichnungen, Transparenz und Bereitstellung von Informationen für die Nutzer, menschliche Aufsicht, DE 15 DE  Robustheit, Genauigkeit und Sicherheit erfüllen müssen. Die vorgeschlagenen Mindestanforderungen, die sich aus den von über 350 Organisationen29 erprobten Ethik- Leitlinien der HEG30 ableiten, sind bereits gängige Praxis für viele gewissenhaften Akteure und das Ergebnis der Vorarbeiten der letzten zwei Jahre. Sie stimmen auch weitestgehend mit anderen internationalen Empfehlungen und Grundsätzen überein, wodurch sichergestellt wird, dass der vorgeschlagene KI-Rahmen mit den Vorgaben übereinstimmt, die von den internationalen Handelspartnern der EU festgelegt wurden. Es liegt im Ermessen des Anbieters des jeweiligen KI-Systems, mit welchen technischen Lösungen er die Einhaltung dieser Anforderungen konkret erreicht – sei es durch Normen oder sonstige technische Spezifikationen oder durch andere Entwicklungen entsprechend dem allgemeinen wissenschaftlich-technischen Know-how. Diese Flexibilität ist besonders wichtig, denn sie ermöglicht es den Anbietern von KI-Systemen, unter Berücksichtigung des Stands der Technik und des wissenschaftlich-technischen Fortschritts auf dem Gebiet selbst zu entscheiden, wie sie die für sie geltenden Anforderungen zu erfüllen beabsichtigen. Kapitel 3 enthält eine Reihe klarer horizontaler Pflichten für Anbieter von Hochrisiko-KI- Systemen. Auch für Nutzer und andere Beteiligte entlang der KI-Wertschöpfungskette (z. B. Einführer, Händler, Bevollmächtigte) gelten verhältnismäßige Pflichten. Kapitel 4 bildet den Rahmen für die Einbeziehung notifizierter Stellen als unabhängige Dritte in die Konformitätsbewertungsverfahren, während in Kapitel 5 die je nach Art des Hochrisiko-KI-Systems einzuhaltenden Konformitätsbewertungsverfahren im Einzelnen erläutert werden. Mit dem Konzept der Konformitätsbewertung sollen die Belastungen für die Wirtschaftsakteure und notifizierten Stellen, deren Kapazität mit der Zeit schrittweise hochgefahren werden muss, möglichst gering gehalten werden. KI-Systeme, die als Sicherheitskomponenten von Produkten eingesetzt werden sollen, die unter die einschlägigen Rechtsvorschriften des neuen Rechtsrahmens fallen (z. B. Maschinen, Spielzeug, medizinische Geräte), unterliegen denselben Ex-ante- und Ex-post-Mechanismen für die Rechtsbefolgung und Durchsetzung wie das Produkt, dessen Komponente sie sind. Der wesentliche Unterschied liegt darin, dass die Ex-ante- und Ex-post-Mechanismen nicht nur die Einhaltung der durch sektorspezifische Vorschriften vorgegebenen Anforderungen gewährleisten, sondern auch die Einhaltung der in dieser Verordnung festgelegten Anforderungen. Für die eigenständigen Hochrisiko-KI-Systeme, auf die in Anhang III verwiesen wird, wird ein neues Rechtsbefolgungs- und Durchsetzungssystem festgelegt. Dies entspricht dem Muster des neuen Rechtsrahmens, bei dem die einschlägigen Rechtsvorschriften durch interne Kontrollprüfungen des Anbieters umgesetzt werden. Ausgenommen hiervon sind die biometrischen Fernidentifizierungssysteme, die einer Konformitätsbewertung durch Dritte unterliegen. Eine umfassende Ex-ante-Konformitätsbewertung mittels interner Prüfungen könnte in Kombination mit einer soliden Ex-post-Durchsetzung eine wirksame und sinnvolle Lösung für solche Systeme darstellen, zumal sich die Regulierung noch in der Anfangsphase befindet und in dem äußerst innovativen KI-Sektor Auditing-Erfahrungen erst jetzt gesammelt werden. Damit eigenständige Hochrisiko-KI-Systeme mittels interner Prüfungen bewertet werden können, muss die Einhaltung aller Anforderungen der Verordnung vorab vollständig, wirkungsvoll und sorgfältig dokumentiert werden, ferner gilt es, robuste Qualitäts- und Risikomanagementsysteme zu befolgen und eine Beobachtung nach dem Inverkehrbringen zu 29 Sie wurden auch von der Kommission in ihrer Mitteilung aus dem Jahr 2019 zu einem auf den Menschen ausgerichteten Ansatz für KI gebilligt. 30 Hochrangige Expertengruppe für künstliche Intelligenz, Ethics Guidelines for Trustworthy AI (Ethik- Leitlinien für eine vertrauenswürdige KI), 2019. DE 16 DE  gewährleisten. Sobald ein Anbieter die jeweilige Konformitätsbewertung durchgeführt hat, sollte er diese eigenständigen Hochrisiko-KI-Systeme in eine von der Kommission verwaltete EU-Datenbank eintragen, um so die Transparenz gegenüber der Öffentlichkeit zu erhöhen und die Aufsicht sowie die Ex-post-Überwachung durch die zuständigen Behörden zu stärken. Aus Gründen der Kohärenz mit den bestehenden Produktsicherheitsvorschriften wird bei KI- Systemen, bei denen es sich um Sicherheitskomponenten von Produkten handelt, hingegen das System der Konformitätsbewertungsverfahren durch Dritte verfolgt, das sich bereits im Rahmen der einschlägigen sektorspezifischen Produktsicherheitsvorschriften bewährt hat. Bei wesentlichen Änderungen der KI-Systeme (vor allem bei Änderungen, die über die Festlegungen des Anbieters in seiner technischen Dokumentation sowie über das hinausgehen, was zum Zeitpunkt der Ex-ante-Konformitätsbewertung geprüft wurde), muss vorab eine erneute Konformitätsbewertung durchgeführt werden. 5.2.4. TRANSPARENZPFLICHTEN FÜR BESTIMMTE KI-SYSTEME (TITEL VI) Titel IV befasst sich mit spezifischen Manipulationsrisiken bestimmter KI-Systeme. Transparenzpflichten gelten für Systeme, die i) mit Menschen interagieren, ii) zur Erkennung von Emotionen oder zur Assoziierung (gesellschaftlicher) Kategorien anhand biometrischer Daten eingesetzt werden oder iii) Inhalte erzeugen oder manipulieren („Deepfakes“). Interagieren Personen mit KI-Systemen oder werden deren Emotionen oder Merkmale durch automatisierte Mittel erkannt, müssen die Menschen hierüber informiert werden. Wird ein KI- System eingesetzt, um Bild-, Audio- oder Video-Inhalte zu erzeugen oder zu manipulieren, sodass sie von authentischen Inhalten kaum zu unterscheiden sind, sollte, abgesehen von legitimen Zwecken (wie Strafverfolgung, Meinungsfreiheit), die Pflicht zur Offenlegung der Tatsache vorgeschrieben werden, dass der Inhalt durch automatisierte Mittel erzeugt wurde. So können bewusste Entscheidungen getroffen oder bestimmte Situationen vermieden werden. 5.2.5. MAẞNAHMEN ZUR INNOVATIONSFÖRDERUNG (TITEL V) Titel V wurde im Hinblick auf das Ziel aufgenommen, einen innovationsfreundlichen, zukunftstauglichen und widerstandsfähigen Rechtsrahmen zu schaffen. Hierzu werden die nationalen zuständigen Behörden aufgefordert, Reallabore einzurichten und die grundlegenden Bedingungen für die Leitung, Aufsicht und Haftung festzulegen. KI- Reallabore bieten, auf der Grundlage eines mit den zuständigen Behörden vereinbarten Testplans, für eine begrenzte Zeit kontrollierte Testumgebungen für innovative Technologien. Titel V enthält zudem Maßnahmen zur Reduzierung des Verwaltungsaufwands für KMU und Start-ups. 5.2.6. LEITUNG UND DURCHFÜHRUNG (TITEL VI, VII UND VII) Titel VI enthält Vorgaben für die Leitungsstrukturen auf Unionsebene und nationaler Ebene. Der Vorschlag sieht die Einrichtung eines Europäischen Ausschusses für künstliche Intelligenz (im Folgenden der „Ausschuss“) auf Unionsebene vor, der sich aus Vertretern der Mitgliedstaaten und der Kommission zusammensetzt. Der Ausschuss soll zu einer wirksamen Zusammenarbeit der nationalen Aufsichtsbehörden und der Kommission beitragen und so eine reibungslose, wirksame und harmonisierte Durchführung dieser Verordnung erleichtern und darüber hinaus die Kommission fachlich beraten. Ferner soll der Ausschuss bewährte Verfahrensweise aus den Mitgliedstaaten sammeln und weitergeben. Auf nationaler Ebene werden die Mitgliedstaaten eine oder mehrere nationale zuständige Behörden (darunter die nationale Aufsichtsbehörde) benennen müssen, die die Anwendung und Durchführung der Verordnung überwachen. Der Europäische Datenschutzbeauftragte gilt DE 17 DE  als zuständige Behörde für die Aufsicht über die Organe, Einrichtungen und sonstigen Stellen der Union, die in den Anwendungsbereich dieser Verordnung fallen. Titel VII soll durch die Einrichtung einer unionsweiten Datenbank für eigenständige Hochrisiko-KI-Systeme, die sich vor allem auf die Grundrechte auswirken, der Kommission und den nationalen Behörden die Beobachtungsaufgaben erleichtern. Die Datenbank wird von der Kommission betrieben. Gespeist wird sie durch die Anbieter der KI-Systeme, die ihre Systeme registrieren müssen, bevor sie sie in Verkehr bringen oder anderweitig in Betrieb nehmen können. Titel VIII enthält die Beobachtungs- und Meldepflichten für die Anbieter von KI-Systemen im Hinblick auf die Beobachtung nach dem Inverkehrbringen sowie die Meldung und Untersuchung von Vorfällen und Fehlfunktionen im KI-Zusammenhang. Auch die Marktüberwachungsbehörden werden den Markt kontrollieren und die Einhaltung der mit allen bereits in Verkehr gebrachten Hochrisiko-KI-Systemen verbundenen Pflichten und Anforderungen prüfen. Die Marktüberwachungsbehörden werden mit allen in der Verordnung (EU) 2019/1020 über die Marktüberwachung festgelegten Befugnissen ausgestattet. Die Ex- post-Durchsetzung soll sicherstellen, dass öffentliche Behörden über die Befugnisse und Ressourcen verfügen, damit sie, eingreifen können, sollten sich bei bereits in Verkehr gebrachten KI-Systemen unerwartete Risiken ergeben, die ein rasches Handeln erfordern. Darüber hinaus werden sie darauf achten, dass die Akteure ihren in der Verordnung festgelegten Pflichten nachkommen. Der Vorschlag sieht nicht die automatische Schaffung weiterer Gremien oder Behörden auf Ebene der Mitgliedstaaten vor. Die Mitgliedstaaten können sich daher auf bereits vorhandene sektorspezifische Behörden und deren Fachkenntnisse stützen, denen die Befugnisse zur Beobachtung und Durchsetzung der Bestimmungen dieser Verordnung übertragen werden. All dies geschieht unbeschadet der in den Mitgliedstaaten bereits vorhandenen Systeme und Zuweisung von Befugnissen für die Ex-post-Durchsetzung der Pflichten in Bezug auf die Grundrechte. Sofern dies für die Wahrnehmung ihrer Aufgaben notwendig ist, werden die bestehenden Aufsichts- und Durchsetzungsbehörden auch befugt sein, Unterlagen, die auf der Grundlage dieser Verordnung aufbewahrt werden, anzufordern oder Zugang zu diesen Unterlagen zu erhalten, sowie gegebenenfalls Marktüberwachungsbehörden aufzufordern, das Hochrisiko-KI-System mit technischen Mitteln zu prüfen. 5.2.7. VERHALTENSKODIZES (TITEL IX) Titel IX enthält die Grundlagen zur Schaffung von Verhaltenskodizes, die Anbietern von KI- Systemen, die kein hohes Risiko darstellen, Anreize geben sollen, die zwingend vorgeschriebenen Anforderungen an Hochrisiko-KI-Systeme (nach Titel III) freiwillig anzuwenden. Anbieter von KI-Systemen, die kein hohes Risiko darstellen, können selbst Verhaltenskodizes festlegen und umsetzen. Diese Kodizes können auch freiwillige Verpflichtungen beispielsweise im Hinblick auf die ökologische Nachhaltigkeit, den Zugang für Personen mit Behinderungen, die Beteiligung von Interessenträgern an Entwurf und Entwicklung von KI-Systemen sowie die Diversität des Entwicklungsteams enthalten. 5.2.8. SCHLUSSBESTIMMUNGEN (TITEL X, XI UND XII) Titel X unterstreicht, dass alle Parteien verpflichtet sind, die Vertraulichkeit der Informationen und Daten zu wahren, und enthält Vorschriften für den Austausch von während der Durchführung der Verordnung erworbenen Informationen. Titel X enthält auch Maßnahmen, mit denen durch wirksame, verhältnismäßige und abschreckende Strafen bei Verstößen gegen die Bestimmungen eine effiziente Durchführung der Verordnung gewährleistet werden soll. DE 18 DE  Titel XI enthält die Regeln für die Ausübung der Befugnisübertragung und der Durchführungsbefugnisse. Der Vorschlag sieht vor, dass der Kommission die Befugnis übertragen wird, zur Gewährleistung einer einheitlichen Anwendung der Verordnung gegebenenfalls Durchführungsrechtsakte oder zur Aktualisierung oder Ergänzung der Listen in den Anhängen I bis VII delegierte Rechtsakte zu erlassen. Titel XII enthält die Pflicht der Kommission, regelmäßig zu bewerten, ob Anhang III aktualisiert werden muss, und regelmäßig Berichte über die Bewertung und Überprüfung der Verordnung vorzulegen. Der Titel enthält zudem die Schlussbestimmungen, einschließlich einer differenzierten Übergangsfrist mit Blick auf das Datum, ab dem die Verordnung Anwendung findet, um allen Parteien eine reibungslose Durchführung zu erleichtern. DE 19 DE  2021/0106 (COD) Vorschlag für eine VERORDNUNG DES EUROPÄISCHEN PARLAMENTS UND DES RATES ZUR FESTLEGUNG HARMONISIERTER VORSCHRIFTEN FÜR KÜNSTLICHE INTELLIGENZ (GESETZ ÜBER KÜNSTLICHE INTELLIGENZ) UND ZUR ÄNDERUNG BESTIMMTER RECHTSAKTE DER UNION DAS EUROPÄISCHE PARLAMENT UND DER RAT DER EUROPÄISCHEN UNION - gestützt auf den Vertrag über die Arbeitsweise der Europäischen Union, insbesondere auf die Artikel 16 und 114, auf Vorschlag der Europäischen Kommission, nach Zuleitung des Entwurfs des Gesetzgebungsakts an die nationalen Parlamente, nach Stellungnahme des Europäischen Wirtschafts- und Sozialausschusses31, nach Stellungnahme des Ausschusses der Regionen32, gemäß dem ordentlichen Gesetzgebungsverfahren, in Erwägung nachstehender Gründe: (1) Zweck dieser Verordnung ist es, das Funktionieren des Binnenmarkts zu verbessern, indem ein einheitlicher Rechtsrahmen insbesondere für die Entwicklung, Vermarktung und Verwendung künstlicher Intelligenz im Einklang mit den Werten der Union festgelegt wird. Diese Verordnung beruht auf einer Reihe von zwingenden Gründen des Allgemeininteresses, wie einem hohen Schutz der Gesundheit, der Sicherheit und der Grundrechte, und gewährleistet den grenzüberschreitenden freien Verkehr KI- gestützter Waren und Dienstleistungen, wodurch verhindert wird, dass die Mitgliedstaaten die Entwicklung, Vermarktung und Verwendung von KI-Systemen beschränken, sofern dies nicht ausdrücklich durch diese Verordnung erlaubt wird. (2) Systeme der künstlichen Intelligenz (KI-Systeme) können problemlos in verschiedenen Bereichen der Wirtschaft und Gesellschaft, auch grenzüberschreitend, eingesetzt werden und in der gesamten Union verkehren. Einige Mitgliedstaaten haben bereits die Verabschiedung nationaler Vorschriften in Erwägung gezogen, damit künstliche Intelligenz sicher ist und unter Einhaltung der Grundrechte entwickelt und verwendet wird. Unterschiedliche nationale Vorschriften können zu einer Fragmentierung des Binnenmarkts führen und würden die Rechtssicherheit für Akteure, die KI-Systeme entwickeln oder verwenden, beeinträchtigen. Daher sollte in der gesamten Union ein einheitlich hohes Schutzniveau sichergestellt werden, wobei Unterschiede, die den freien Verkehr von KI-Systemen und damit zusammenhängenden Produkten und Dienstleistungen im Binnenmarkt behindern, vermieden werden sollten, indem den Akteuren einheitliche Verpflichtungen auferlegt werden und der gleiche Schutz der zwingenden Gründe des Allgemeininteresses und 31 ABl. C […] vom […], S. […]. 32 ABl. C […] vom […], S. […]. DE 20 DE  der Rechte von Personen im gesamten Binnenmarkt auf der Grundlage des Artikels 114 des Vertrags über die Arbeitsweise der Europäischen Union (AEUV) gewährleistet wird. Soweit diese Verordnung konkrete Vorschriften zum Schutz von Privatpersonen im Hinblick auf die Verarbeitung personenbezogener Daten enthält, mit denen vor allem die Verwendung von KI-Systemen zur biometrischen Echtzeit- Fernidentifizierung in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken eingeschränkt wird, sollte sich diese Verordnung in Bezug auf diese konkreten Vorschriften auch auf Artikel 16 AEUV stützen. Angesichts dieser konkreten Vorschriften und des Rückgriffs auf Artikel 16 AEUV ist es angezeigt, den Europäischen Datenschutzausschuss zu konsultieren. (3) Künstliche Intelligenz bezeichnet eine Reihe von Technologien, die sich rasant entwickeln und zu vielfältigem Nutzen für Wirtschaft und Gesellschaft über das gesamte Spektrum industrieller und gesellschaftlicher Aktivitäten hinweg beitragen können. Durch die Verbesserung der Vorhersage, Optimierung der Abläufe, Ressourcenzuweisung und Personalisierung digitaler Lösungen, die Einzelpersonen und Organisationen zur Verfügung stehen, kann die Verwendung künstlicher Intelligenz den Unternehmen wesentliche Wettbewerbsvorteile verschaffen und zu guten Ergebnissen für Gesellschaft und Umwelt führen, beispielsweise in den Bereichen Gesundheitsversorgung, Landwirtschaft, allgemeine und berufliche Bildung, Infrastrukturmanagement, Energie, Verkehr und Logistik, öffentliche Dienstleistungen, Sicherheit, Justiz, Ressourcen- und Energieeffizienz sowie Klimaschutz und Anpassung an den Klimawandel. (4) Gleichzeitig kann künstliche Intelligenz je nach den Umständen ihrer konkreten Anwendung und Nutzung Risiken mit sich bringen und öffentliche Interessen und Rechte schädigen, die durch das Unionsrecht geschützt sind. Ein solcher Schaden kann materieller oder immaterieller Art sein. (5) Daher ist ein Rechtsrahmen der Union mit harmonisierten Vorschriften für künstliche Intelligenz erforderlich, um die Entwicklung, Verwendung und Verbreitung künstlicher Intelligenz im Binnenmarkt zu fördern und gleichzeitig einen hohen Schutz öffentlicher Interessen wie Gesundheit und Sicherheit und den Schutz der durch das Unionsrecht anerkannten und geschützten Grundrechte zu gewährleisten. Zur Umsetzung dieses Ziels sollten Vorschriften für das Inverkehrbringen und die Inbetriebnahme bestimmter KI-Systeme festgelegt werden, um das reibungslose Funktionieren des Binnenmarkts zu gewährleisten, sodass diesen Systemen der Grundsatz des freien Waren- und Dienstleistungsverkehrs zugutekommen kann. Durch die Festlegung dieser Vorschriften unterstützt die Verordnung das vom Europäischen Rat33 formulierte Ziel der Union, bei der Entwicklung einer sicheren, vertrauenswürdigen und ethisch vertretbaren künstlichen Intelligenz weltweit eine Führungsrolle einzunehmen, und sorgt für den vom Europäischen Parlament34 ausdrücklich geforderten Schutz von Ethikgrundsätzen. (6) Der Begriff „KI-System“ sollte klar definiert werden, um Rechtssicherheit zu gewährleisten und gleichzeitig genügend Flexibilität zu bieten, um künftigen technologischen Entwicklungen Rechnung zu tragen. Die Begriffsbestimmung sollte 33 Europäischer Rat, Außerordentliche Tagung des Europäischen Rates (1. und 2. Oktober 2020) – Schlussfolgerungen, EUCO 13/20, 2020, S. 6. 34 Entschließung des Europäischen Parlaments vom 20. Oktober 2020 mit Empfehlungen an die Kommission zu dem Rahmen für die ethischen Aspekte von künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien, 2020/2012 (INL). DE 21 DE  auf den wesentlichen funktionalen Merkmalen der Software beruhen, insbesondere darauf, dass sie im Hinblick auf eine Reihe von Zielen, die vom Menschen festgelegt werden, Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen hervorbringen kann, die das Umfeld beeinflussen, mit dem sie interagieren, sei es physisch oder digital. KI-Systeme können so konzipiert sein, dass sie mit verschiedenen Graden der Autonomie arbeiten und eigenständig oder als Bestandteil eines Produkts verwendet werden können, unabhängig davon, ob das System physisch in das Produkt integriert ist (eingebettet) oder der Funktion des Produkts dient, ohne darin integriert zu sein (nicht eingebettet). Die Bestimmung des Begriffs „KI-System“ sollte durch eine Liste spezifischer Techniken und Konzepte für seine Entwicklung ergänzt werden, die im Lichte der Marktentwicklungen und der technischen Entwicklungen auf dem neuesten Stand gehalten werden sollte, indem die Kommission delegierte Rechtsakte zur Änderung dieser Liste erlässt. (7) Der in dieser Verordnung verwendete Begriff „biometrische Daten“ steht im Einklang mit dem Begriff „biometrische Daten“ im Sinne von Artikel 4 Nummer 14 der Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates35, Artikel 3 Nummer 18 der Verordnung (EU) 2018/1725 des Europäischen Parlaments und des Rates36 und Artikel 3 Nummer 13 der Richtlinie (EU) 2016/680 des Europäischen Parlaments und des Rates37 und sollte im Einklang damit ausgelegt werden. (8) Der in dieser Verordnung verwendete Begriff „biometrisches Fernidentifizierungssystem“ sollte funktional definiert werden als KI-System, das dem Zweck dient, natürliche Personen aus der Ferne durch Abgleich der biometrischen Daten einer Person mit den in einer Referenzdatenbank gespeicherten biometrischen Daten zu identifizieren, ohne dass der Nutzer des KI-Systems vorher weiß, ob die Person anwesend sein wird und identifiziert werden kann, und unabhängig davon, welche Technik, Verfahren oder Arten biometrischer Daten dazu verwendet werden. Angesichts ihrer unterschiedlichen Merkmale und Einsatzformen sowie der unterschiedlichen Risiken, die mit ihnen verbunden sind, sollte zwischen biometrischen Echtzeit-Fernidentifizierungssystemen und Systemen zur nachträglichen biometrischen Fernidentifizierung unterschieden werden. Bei „Echtzeit-Systemen“ erfolgen die Erfassung der biometrischen Daten, der Abgleich und die Identifizierung unverzüglich, zeitnah oder auf jeden Fall ohne erhebliche Verzögerung. In diesem Zusammenhang sollte es keinen Spielraum für eine Umgehung der Bestimmungen dieser Verordnung über die „Echtzeit-Nutzung“ der betreffenden KI-Systeme geben, indem kleinere Verzögerungen vorgesehen werden. 35 Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten, zum freien Datenverkehr und zur Aufhebung der Richtlinie 95/46/EG (Datenschutz-Grundverordnung) (ABl. L 119 vom 4.5.2016, S. 1). 36 Verordnung (EU) 2018/1725 des Europäischen Parlaments und des Rates vom 23. Oktober 2018 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten durch die Organe, Einrichtungen und sonstigen Stellen der Union, zum freien Datenverkehr und zur Aufhebung der Verordnung (EG) Nr. 45/2001 und des Beschlusses Nr. 1247/2002/EG (ABl. L 295 vom 21.11.2018, S. 39). 37 Richtlinie (EU) 2016/680 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten durch die zuständigen Behörden zum Zwecke der Verhütung, Ermittlung, Aufdeckung oder Verfolgung von Straftaten oder der Strafvollstreckung sowie zum freien Datenverkehr und zur Aufhebung des Rahmenbeschlusses 2008/977/JI des Rates (Richtlinie zum Datenschutz bei der Strafverfolgung) (ABl. L 119 vom 4.5.2016, S. 89). DE 22 DE  „Echtzeit-Systeme“ umfassen die Verwendung von „Live-Material“ oder „Near-live- Material“ wie Videoaufnahmen, die von einer Kamera oder einem anderen Gerät mit ähnlicher Funktion erzeugt werden. Bei Systemen zur nachträglichen Identifizierung hingegen wurden die biometrischen Daten schon zuvor erfasst und der Abgleich und die Identifizierung erfolgen erst mit erheblicher Verzögerung. Dabei handelt es sich um Material wie Bild- oder Videoaufnahmen, die von Video-Überwachungssystemen oder privaten Geräten vor der Anwendung des KI-Systems auf die betroffenen natürlichen Personen erzeugt wurden. (9) Für die Zwecke dieser Verordnung sollte der Begriff „öffentlich zugänglicher Raum“ so verstanden werden, dass er sich auf einen der Öffentlichkeit zugänglichen physischen Ort bezieht, unabhängig davon, ob sich der betreffende Ort in privatem oder öffentlichem Eigentum befindet. Daher erfasst der Begriff keine privaten Orte, wie Privathäuser, private Clubs, Büros, Lager und Fabriken, die normalerweise für Dritte, einschließlich Strafverfolgungsbehörden, nicht frei zugänglich sind, es sei denn, diese wurden ausdrücklich eingeladen oder ihr Zugang ausdrücklich erlaubt. Auch Online-Räume werden nicht erfasst, da es sich nicht um physische Räume handelt. Die bloße Tatsache, dass bestimmte Bedingungen für den Zugang zu einem bestimmten Raum gelten können, wie Eintrittskarten oder Altersbeschränkungen, bedeutet jedoch nicht, dass der Raum im Sinne dieser Verordnung nicht öffentlich zugänglich ist. Folglich sind neben öffentlichen Räumen wie Straßen, relevanten Teilen von Regierungsgebäuden und den meisten Verkehrsinfrastrukturen auch Bereiche wie Kinos, Theater, Geschäfte und Einkaufszentren in der Regel öffentlich zugänglich. Ob ein bestimmter Raum öffentlich zugänglich ist, sollte jedoch von Fall zu Fall unter Berücksichtigung der Besonderheiten der jeweiligen individuellen Situation entschieden werden. (10) Um gleiche Wettbewerbsbedingungen und einen wirksamen Schutz der Rechte und Freiheiten natürlicher Personen in der gesamten Union zu gewährleisten, sollten die in dieser Verordnung festgelegten Vorschriften in nichtdiskriminierender Weise für Anbieter von KI-Systemen – unabhängig davon, ob sie in der Union oder in einem Drittland niedergelassen sind – und für Nutzer von KI-Systemen, die in der Union ansässig oder niedergelassen sind, gelten. (11) Angesichts ihres digitalen Charakters sollten bestimmte KI-Systeme in den Anwendungsbereich dieser Verordnung fallen, selbst wenn sie in der Union weder in Verkehr gebracht noch in Betrieb genommen oder verwendet werden. Dies ist beispielsweise der Fall, wenn ein in der Union ansässiger oder niedergelassener Akteur bestimmte Dienstleistungen an einen außerhalb der Union ansässigen oder niedergelassenen Akteur im Zusammenhang mit einer Tätigkeit vergibt, die von einem KI-System ausgeübt werden soll, das als hochriskant einzustufen wäre und sich auf in der Union ansässige natürliche Personen auswirken würde. Unter diesen Umständen könnte das von dem Akteur außerhalb der Union betriebene KI-System Daten verarbeiten, die rechtmäßig in der Union erhoben und aus der Union übertragen wurden, und sodann dem vertraglichen Akteur in der Union die aus dieser Verarbeitung resultierenden Ergebnisse dieses KI-Systems liefern, ohne dass dieses KI-System dabei in der Union in Verkehr gebracht, in Betrieb genommen oder verwendet wird. Um die Umgehung dieser Verordnung zu verhindern und einen wirksamen Schutz in der Union ansässiger natürlicher Personen zu gewährleisten, sollte diese Verordnung auch für Anbieter und Nutzer von KI-Systemen gelten, die in einem Drittland ansässig oder niedergelassen sind, soweit die von diesen Systemen erzeugten Ergebnisse in der Union verwendet werden. Um jedoch bestehenden DE 23 DE  Vereinbarungen und besonderen Erfordernissen für die Zusammenarbeit mit ausländischen Partnern, mit denen Informationen und Beweismittel ausgetauscht werden, Rechnung zu tragen, sollte diese Verordnung nicht für Behörden eines Drittlands und internationale Organisationen gelten, wenn sie im Rahmen internationaler Übereinkünfte tätig werden, die auf nationaler oder europäischer Ebene für die Zusammenarbeit mit der Union oder ihren Mitgliedstaaten im Bereich der Strafverfolgung und der justiziellen Zusammenarbeit geschlossen wurden. Solche Übereinkünfte wurden bilateral zwischen Mitgliedstaaten und Drittstaaten oder zwischen der Europäischen Union, Europol und anderen EU-Agenturen einerseits und Drittstaaten und internationalen Organisationen andererseits geschlossen. (12) Diese Verordnung sollte auch für Organe, Einrichtungen und sonstige Stellen der Union gelten, wenn sie als Anbieter oder Nutzer eines KI-Systems auftreten. KI- Systeme, die ausschließlich für militärische Zwecke entwickelt oder verwendet werden, sollten vom Anwendungsbereich dieser Verordnung ausgenommen werden, wenn diese Verwendung in den ausschließlichen Zuständigkeitsbereich der Gemeinsamen Außen- und Sicherheitspolitik fällt, der in Titel V des Vertrags über die Europäische Union (EUV) geregelt ist. Diese Verordnung sollte die Bestimmungen über die Verantwortlichkeit der Vermittler in der Richtlinie 2000/31/EG des Europäischen Parlaments und des Rates [in der durch das Gesetz über digitale Dienste geänderten Fassung] unberührt lassen. (13) Um einen einheitlichen und hohen Schutz öffentlicher Interessen im Hinblick auf die Gesundheit und Sicherheit sowie die Grundrechte zu gewährleisten, werden für alle Hochrisiko-KI-Systeme gemeinsame Normen vorgeschlagen. Diese Normen sollten mit der Charta der Grundrechte der Europäischen Union (im Folgenden die „Charta“) im Einklang stehen, nichtdiskriminierend sein und mit den internationalen Handelsverpflichtungen der Union vereinbar sein. (14) Um ein verhältnismäßiges und wirksames verbindliches Regelwerk für KI-Systeme einzuführen, sollte ein klar definierter risikobasierter Ansatz verfolgt werden. Bei diesem Ansatz sollten Art und Inhalt solcher Vorschriften auf die Intensität und den Umfang der Risiken zugeschnitten werden, die von KI-Systemen ausgehen können. Es ist daher notwendig, bestimmte Praktiken im Bereich der künstlichen Intelligenz zu verbieten und Anforderungen an Hochrisiko-KI-Systeme und Verpflichtungen für die betreffenden Akteure sowie Transparenzpflichten für bestimmte KI-Systeme festzulegen. (15) Abgesehen von den zahlreichen nutzbringenden Verwendungsmöglichkeiten künstlicher Intelligenz kann diese Technik auch missbraucht werden und neue und wirkungsvolle Instrumente für manipulative, ausbeuterische und soziale Kontrollpraktiken bieten. Solche Praktiken sind besonders schädlich und sollten verboten werden, weil sie im Widerspruch zu den Werten der Union stehen, nämlich der Achtung der Menschenwürde, Freiheit, Gleichheit, Demokratie und Rechtsstaatlichkeit sowie der Grundrechte in der Union, einschließlich des Rechts auf Nichtdiskriminierung, Datenschutz und Privatsphäre sowie der Rechte des Kindes. (16) Das Inverkehrbringen, die Inbetriebnahme oder die Verwendung bestimmter KI- Systeme, die dazu bestimmt sind, menschliches Verhalten nachteilig zu beeinflussen, und die zu physischen oder psychischen Schäden führen dürften, sollte verboten werden. Solche KI-Systeme setzen auf eine vom Einzelnen nicht zu erkennende unterschwellige Beeinflussung oder sollen die Schutzbedürftigkeit von Kindern und anderen aufgrund ihres Alters oder ihrer körperlichen oder geistigen Behinderung DE 24 DE  beeinträchtigten Personen ausnutzen. Dies geschieht mit der Absicht, das Verhalten einer Person wesentlich zu beeinflussen, und zwar in einer Weise, die dieser oder einer anderen Person Schaden zufügt oder zufügen kann. Diese Absicht kann nicht vermutet werden, wenn die nachteilige Beeinflussung des menschlichen Verhaltens auf Faktoren zurückzuführen ist, die nicht Teil des KI-Systems sind und außerhalb der Kontrolle des Anbieters oder Nutzers liegen. Forschung zu legitimen Zwecken im Zusammenhang mit solchen KI-Systemen sollte durch das Verbot nicht unterdrückt werden, wenn diese Forschung nicht auf eine Verwendung des KI-Systems in Beziehungen zwischen Mensch und Maschine hinausläuft, durch die natürliche Personen geschädigt werden, und wenn diese Forschung im Einklang mit anerkannten ethischen Standards für die wissenschaftliche Forschung durchgeführt wird. (17) KI-Systeme, die von Behörden oder in deren Auftrag das soziale Verhalten natürlicher Personen für allgemeine Zwecke bewerten, können zu diskriminierenden Ergebnissen und zur Ausgrenzung bestimmter Gruppen führen. Sie können die Menschenwürde und das Recht auf Nichtdiskriminierung sowie die Werte der Gleichheit und Gerechtigkeit verletzen. Solche KI-Systeme bewerten oder klassifizieren die Vertrauenswürdigkeit natürlicher Personen auf der Grundlage ihres sozialen Verhaltens in verschiedenen Zusammenhängen oder aufgrund bekannter oder vorhergesagter persönlicher Eigenschaften oder Persönlichkeitsmerkmale. Die aus solchen KI-Systemen erzielte soziale Bewertung kann zu einer Schlechterstellung oder Benachteiligung bestimmter natürlicher Personen oder ganzer Gruppen natürlicher