Ob durch den gezielten Einsatz im Unternehmen oder aufgrund der Eigeninitiative von Mitarbeitern, Kunden und Zulieferern – in den meisten Unternehmen werden KI-Tools wie ChatGPT eingesetzt. Den enormen Chancen der künstlichen Intelligenz (KI) stehen allerdings auch Grundrechtsrisiken gegenüber. Aus diesem Grund hat die Europäische Union im März 2024 die Künstliche-Intelligenz-Verordnung (KI-VO) verabschiedet, welche umfangreiche Risikomanagement-Anforderungen und strenge Sanktionen bei Verstößen vorsieht. Die Einrichtung eines KI-Compliance-Systems ist nun für Unternehmen ein Muss.
Nachdem im April 2021 der erste Entwurf einer Verordnung für künstliche Intelligenz eingebracht worden war, dauerte es drei Jahre bis zur Verabschiedung der finalen Version im Frühjahr 2024. Der Gesetzgeber stand vor der Herausforderung, die hochkomplexe Technologie der künstlichen Intelligenz, die sich gerade dadurch auszeichnet, ein gewisses Maß an Autonomie und Opazität aufzuweisen, regulatorisch greifbar zu machen. Entsprechend schwierig war zum Beispiel die für den Anwendungsbereich der Verordnung entscheidende Definition der künstlichen Intelligenz im Rahmen des Gesetzgebungsverfahrens.
Es ist daher nicht verwunderlich, dass das Gesetzgebungsverfahren für die Künstliche-Intelligenz-Verordnung anfangs sehr schleppend verlief. Allerdings waren die beteiligten politischen Akteure aufgrund der bevorstehenden Neuwahl des Europaparlaments im Sommer 2024 letztlich bemüht, die Verordnung rechtzeitig fertigzustellen. Die KI-VO tritt direkt in den Mitgliedstaaten in Kraft und bedarf keiner weiteren Umsetzung.
Risikostufen und Compliancevorgaben in der neuen KI-Verordnung
Im Kern stellt die KI-VO, die insofern Teil des New-Legislative-Frameworks der Union ist, zahlreiche Complianceanforderungen auf, die Unternehmer beim Einsatz von KI beachten müssen. Dabei sind nicht nur die Anbieter von KI-Systemen vom persönlichen Anwendungsbereich erfasst, sondern, wenn auch mit verringerten Pflichten, ebenso deren Betreiber. „Betreiber“ in diesem Sinne sind gemäß Art. 2 Abs. 1 lit. b KI-VO solche natürlichen und juristischen Personen, die ein KI-System in eigener Verantwortung und nicht ausschließlich zu persönlichen Zwecken verwenden. Gemäß Art. 2 Abs. 10 KI-VO sind all jene natürlichen und juristischen Personen, die KI-Systeme wie ChatGPT ausschließlich zu derartigen nichtgewerblichen Zwecken nutzen, vom Anwendungsbereich der Verordnung ausgenommen.
Systematik: Der risikobasierte Ansatz
Der KI-VO liegt der Gedanke zugrunde, dass die normierten Complianceanforderungen umso strenger werden, je höher die vom System für die Grundrechte der Nutzer ausgehende Gefahr ist. Die systematische Unterteilung in insgesamte vier Risikostufen führt dazu, dass es für die Hersteller und Betreiber von KI-Systemen absolut entscheidend ist, ihr KI-System in die korrekte Risikokategorie einzuordnen, um sich letztlich nach dem korrekten Compliancekatalog zu richten.
- Auf der höchsten der vorgesehenen vier Risikostufen stehen die in Art. 5 KI-VO definierten „verbotenen Praktiken“. Diese sind, wie der Name vermuten lässt, verboten, da von ihnen ein nicht hinnehmbares Grundrechtsrisiko ausgeht. Beispielhaft genannt sei der Einsatz von Social-Scoring-Systemen.
- Auf der zweithöchsten Risikostufe stehen Hochrisikosysteme, die in den Art. 6 ff. KI-VO normiert sind. Der Anwendungsbereich dieser Normen ist recht weit und umfasst beispielsweise alle KI-Systeme, die im Bereich der „Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit“ eingesetzt werden. Hochrisikosysteme dürften mithin in praktisch jedem Unternehmen zum Einsatz kommen, das vorhat, Teile des Einstellungs- oder Personalmanagementprozesses zu automatisieren. In den Art. 8 ff. KI-VO sind umfangreiche Compliancemaßnahmen für die Hochrisikosysteme vorgesehen, deren konkrete Umsetzung für Anbieter von Hochrisiko-KI in den Art. 16 ff. KI-VO geregelt ist. Betreiber müssen gemäß Art. 29 KI-VO nur den niedrigen Anforderungen genügen, können allerdings unter bestimmten Voraussetzungen selbst zum „Anbieter“ im Sinne des Gesetzes aufsteigen und dementsprechend mit den für Anbieter geltenden Pflichten belastet werden. Diese Voraussetzungen sind in Art. 28 KI-VO aufgeführt und beispielsweise dann erfüllt, wenn Anbieter ein Hochrisikosystem unter eigenem Namen in den Verkehr bringen.
- Auf den unteren beiden Risikostufen werden KI-Systeme mit „beschränktem“ und mit „minimalem Risiko“ angesiedelt. Zu den in Art. 50 KI-VO normierten Systemen mit geringem Risiko gehören solche, von denen ein Manipulationsrisiko ausgeht, beispielsweise Chatbots, die den Anschein einer menschlichen Kommunikation entwickeln. Hier sind lediglich Transparenzanforderungen zu wahren. Die Anbieter und Betreiber von Systemen mit minimalem Risiko können sich gemäß Art. 95 KI-VO freiwillig einem Verhaltenskodex unterwerfen.
Neben der aus den verschiedenen Stufen bestehenden „Pyramide“ des risikobasierten Ansatzes steht als eigenständige „Säule“ die nur für die Anbieter geltende Regulation von KI, die mit einer großen Datenmenge trainiert worden ist und die eine breit gefächerte Anzahl an Aufgaben bedienen kann („KI-Systeme mit allgemeinem Verwendungszweck“). Hierzu gehören unter anderem Systeme wie ChatGPT, die die Wahrnehmung von KI in der Öffentlichkeit prägen. Die in Art. 51 ff. KI-VO verankerten Anforderungen differenzieren innerhalb dieser Systeme wieder zwischen „normalen“ Systemen mit allgemeinem Verwendungszweck und solchen, denen ein „systemisches Risiko“ anhaftet, wobei für Letztere verschärfte Complianceanforderungen gelten.
Risikomanagement nach der KI-VO
Für die Sanktionierung von Verstößen gegen die normativen Vorgaben sind in Art. 99 KI-VO Bußgelder in Höhe von 35 Millionen Euro oder bis zu 7% des gesamten weltweiten Jahresumsatzes vorgesehen. Maßgeblich ist hierfür, welcher Betrag höher ist. Auch wenn noch nicht klar ist, inwiefern dieser Rahmen von den Behörden ausgereizt wird, lassen die aus dem Umgang mit der DSGVO gewonnen Erfahrungswerte erahnen, dass eine grundsätzliche Bereitschaft zum Verhängen drastischer Bußgelder besteht. Gerade beim Einsatz von KI erscheint dies auch naheliegend, da die enormen unternehmerischen Chancen ansonsten dazu führen könnten, dass die Zahlung von Bußgeldern im Rahmen einer unternehmerischen Risikoabwägung bereitwillig in Kauf genommen wird.
Die Einhaltung der folgenden Anforderungen sollte folglich oberste Priorität jedes Unternehmers sein, der derartige Systeme in seinem Unternehmen einzusetzen gedenkt:
- Risikobewertung: Art. 9 KI-VO verpflichtet Anbieter für Hochrisiko-KI zur Einrichtung eines Risikomanagementsystems. Dabei müssen Gesundheits-, Sicherheits- und Grundrechtsrisiken beachtet werden. Dezisiv ist hierfür die korrekte Kategorisierung des Systems in eine Risikoklasse, weshalb sich die Einführung eines unternehmensinternen Klassifizierungssystems anbietet.
- Dokumentation und Transparenz: Art. 11 und 12 der KI-VO verpflichten Unternehmen, den KI-Einsatz gründlich zu dokumentieren und diese Dokumente eine bestimmte Zeit aufzubewahren. Es ist also dringend zu empfehlen, alle Unterlagen von Anfang an geordnet zu sammeln, um Sanktionen zu vermeiden.
- Human-in-the-loop: Gemäß Art. 14 KI-VO muss die menschliche Aufsicht über das KI-System gewahrt werden, wobei vor allem die Herstellung einer „Mensch-Maschine-Schnittstelle“ elementar ist. Das KI-System soll der Überwachung von qualifizierten Fachkräften ausgesetzt werden, die auch die Möglichkeit haben, in die Prozesse einzugreifen.
- Compliance: KI-Systeme müssen in Übereinstimmung mit den Vorschriften der KI-VO eingesetzt werden. Dazu gehört vor allem das Verbot von Diskriminierung, die Einhaltung von Verbraucherschutzbestimmungen und der Schutz geistiger Eigentumsrechte. Die von der EU ebenfalls geplante Neuerung der Produkthaftungsrichtlinie würde zudem das mitgliedstaatliche Prozessrecht insofern anpassen, dass die Haftung für Unternehmen, die KI einsetzen, verschärft wird. Unter anderem sollen Offenlegungspflichten hinsichtlich von Algorithmen eingeführt werden, so dass Unternehmen gut daran tun, bereits heute zu planen, wie sich diese Pflichten befolgen lassen, ohne dabei Geschäftsgeheimnisse freigeben zu müssen.
Konkrete Handlungsempfehlungen für Unternehmen
- Lassen Sie von fachlicher Stelle prüfen, in welche Risikokategorie die von Ihnen genutzte KI einzuordnen ist und an welchem Punkt der KI-Verwertungskette Sie stehen – insbesondere, ob Sie „Anbieter“ oder „Betreiber“ eines KI-Systems sind. Diese beiden Weichenstellungen sind entscheidend dafür, welche gesetzlichen Anforderungen Sie erfüllen müssen.
- Achten Sie darauf, wann die für Ihre jeweilige Situation relevanten Normen aus der KI-VO wirksam werden, da hier Unterschiede innerhalb der Verordnung bestehen.
- Bereits heute sollten Sie die Vorgaben der KI-VO beachten und auch bei „zugekauften“ Produkten dafür Sorge tragen, dass diese im Einklang mit der Gesetzeslage und ordnungsgemäß zertifiziert sind.
- Entwickeln Sie eine unternehmensinterne KI-Policy für den Umgang von Tools wie ChatGPT oder Dall-E durch Mitarbeiter, Kunden und Zulieferer. Um keine Unternehmensinterna nach außen dringen zu lassen, sollten Sie insbesondere auf die AGB der KI-Provider achten, da diese sich oft das Recht vorbehalten, eingegebene Daten zu Analysezwecken zu verwenden.
- Werben Sie einen externen Berater für die KI-Compliance an oder besetzen Sie eine entsprechende Stelle innerhalb des Unternehmens.
- Sorgen Sie von Anfang an für eine umfassende technische Dokumentation und für eine ordnungsgemäße Aufbewahrung dieser.
- Nutzen Sie zur Verringerung des Aufwands bereits bestehende Compliancestrukturen.
Autor
Dr. Kuuya Chibanguza, LL.B.
Luther Rechtsanwaltsgesellschaft, Hannover
Rechtsanwalt, Fachanwalt für Internationales Wirtschaftsrecht, Partner
kuuya.chibanguza@luther-lawfirm.com
www.luther-lawfirm.com
Autor
Christian Kuss, LL.M.
Luther Rechtsanwaltsgesellschaft, Köln
Rechtsanwalt, Partner