Im Blickpunkt: Die KI-Verordnung der EU

Artikel als PDF (Download)

Als erstes Gesetzgebungsorgan der Welt hat die Europäische Kommission am 21.04.2021 ihren Entwurf einer EU-Verordnung „zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung bestimmter Rechtsakte der Union“ (EU-VO KI) vorgelegt. Mittlerweile sind die Verhandlungen auf europäischer Ebene weiter fortgeschritten und erste Überlegungen auch in der Rechtswissenschaft dazu angestellt worden, so dass ein kritischer Blick auf den Entwurf selbst und die prognostizierbaren Auswirkungen sinnvoll möglich ist.

Anwendungsbereich

Der Vorschlag verfolgt einen risikobasierten Ansatz und begründet Pflichten für Provider, Nutzer, Einführer, Distributoren und Operatoren von KI mit Sitz innerhalb und außerhalb der EU. Er betrifft das Bereitstellen auf dem Markt, die Inbetriebnahme und die Nutzung von KI. Art. 3 definiert KI als Software, die mit einer oder mehreren der in Anhang I der Verordnung aufgezählten Techniken zur Erreichung eines vom Menschen definierten Ziels entwickelt wurde. Die Definition stellt klar, dass KI sowohl in einem Produkt integriert sein als auch als Stand-alone-Software vorliegen kann, jedenfalls aber der Automatisierung von Vorgängen dient. Auch das Wort „Autonomie“ fällt in der Definition.

Zu den in Anhang I genannten Techniken zählen drei generelle Definitionsansätze:

  • maschinelles Lernen (supervised; unsupervised; Reinforcement Learning),
  • logik- und wissensbasierte Vorgehensweisen sowie
  • statistische Ansätze.

Der hier verwandte Definitionsraum hat das Potential eines gewaltigen Geburtsfehlers bei der Regulierung von künstlicher Intelligenz in der EU. Offenkundig ist zunächst, dass der europäische Gesetzgeber sichtbar Schwierigkeiten hat, KI überhaupt zu definieren. Um dieses Manko auszugleichen, hat er zum breitestmöglichen Regelungsansatz gegriffen. Mit der Ausweitung auf logik- und wissensbasierte Vorgehensweisen fallen jede Programmiersprache und darauf basierende Programmierung unter die Definition von KI, auch wenn darin kein autonomes, eventuell evolvierendes Element enthalten ist, sondern schlicht eine „if/else“-Schleife eine Programmierlogik abbildet. Dasselbe Ergebnis zeigt sich bei genauerem Hinsehen bezüglich der statistischen Ansätze. Die Vorschläge in der E-Mail-Funktion eines iPhones, in welchen Ordner eine E-Mail verschoben werden soll, sind reine Statistiken; diese Funktionalität wäre nach der Definition der Verordnung aber als KI einzustufen.

Angesichts der daraus abgeleiteten Pflichtenkreise ist ein deutliches Nachschärfen des Verordnungsentwurfs bereits in der Definition unerlässlich, auch wenn man aus Kreisen des an den Verhandlungen beteiligten Ministeriums auch Rufe nach einer weiteren Verschärfung der Verordnung vernimmt – mit welcher Begründung und Notwendigkeit erschließt sich mir zumindest nicht.

Verbotene KI

In bestimmten Bereichen sowie für bestimmte Zwecke verbietet Art. 5 den Einsatz von KI. Verboten sind demnach insbesondere

  • unterschwellige Techniken zur Verhaltenssteuerung, die zu Schäden führen können,
  • die Ausnutzung von Schwachstellen aufgrund des Alters, einer Behinderung etc.,
  • Social Scoring,
  • Echtzeit-Remote-Systeme zur biometrischen Identifikation.

Es wird deutlich, dass der risikobasierte Ansatz vor allem dann greift, wenn Auswirkungen auf den Menschen befürchtet werden und hieraus Gefahren für hohe Rechtsgüter hervorgehen (etwa: Leben, Gesundheit, freie Willensbildung).

High-Risk-KI

Art. 6 definiert in Verbindung mit den Anhängen II und III KI mit einem hohen Risiko. Das ist der Fall, wenn die KI die Sicherheitskomponente eines Produkts darstellt oder selbst ein Produkt des harmonisierten Produktbereichs ist und ein Konformitätsbewertungsverfahren durch Dritte angewendet werden muss. Zudem werden bestimmte Einsatzgebiete mit einem hohen Risiko genannt, zum Beispiel:

  • kritische Infrastruktur,
  • Recruitment, Verteilung von Ausbildungsplätzen,
  • Bewertung der Kreditwürdigkeit,
  • Rechtsdurchsetzung und Strafverfolgung,
  • Migration, Asyl, Grenzkontrollen,
  • Legal-Tech-Anwendungen von Seiten eines Gerichts.

Letzteres ist zumindest für einen in Deutschland tätigen Rechtsanwalt eher amüsant als im Bereich des Möglichen; ob die EU-Kommission hierbei andere Mitgliedsstaaten mit solchen Systemen im Blick hatte, lässt sich nur vermuten.

Anforderungen an KI

Grundsätzlich muss der Einsatz von KI gemäß Art. 52 für den Verbraucher erkennbar sein, wenn sie mit einem Menschen interagiert, also z.B. bei Chatbots. Außerdem müssen sogenannte Deep Fakes gekennzeichnet werden. Dabei handelt es sich um Video-, Bild- oder Audiodateien, die von einer KI so verfälscht werden, dass sie Inhalte aufweisen, die dort eigentlich nicht hingehören. Eine Ausnahme für die Kennzeichnungspflicht gilt unter anderem für die Meinungs-, Kunst- und Wissenschaftsfreiheit.

Für High-Risk-KI gelten hingegen besondere Anforderungen. Kurz gefasst, muss KI für die bestimmungsgemäße und die vorhersehbare Verwendung über ihren gesamten Lebenszyklus sicher sein. Hierzu stellt Art. 8 ff. besondere Anforderungen auf:

  • Verwendung diskriminierungsfreier Trainingsdatensätze
  • (technische) Dokumentation
  • Transparenz, also nachvollziehbare Ergebnisse
  • Resilienz, d.h. Integrität und Sicherheit von Daten gegenüber Hacking
  • Robustheit, also keine Veränderbarkeit des Systems durch Hacking
  • Überwachung des Systems durch den Menschen

Providerpflichten

Die Pflichten unter der Verordnung sollen in erster Linie den Provider treffen, der dem Hersteller im herkömmlichen Produktbereich entspricht. Die Pflichten für High-Risk-KI umfassen unter anderem:

  • Gewährleistung der Einhaltung von Art. 8 ff.
  • Einrichtung eines Qualitätsmanagementsystems
  • Durchführung eines Konformitätsbewertungsverfahrens
  • Registrierung der KI
  • Beobachtung der KI im Markt
  • Fehlerinformationen an Behörden
  • CE-Kennzeichnung

Daneben existieren auch Pflichten für Nutzer, Einführer, Distributoren und Operatoren.

Konformitätsbewertungsverfahren

Je nach Art der High-Risk-KI ist entweder eine interne (Herstellerselbst-)Kontrolle gemäß Anhang VI möglich oder eine Konformitätsbewertung durch eine notifizierte Stelle gemäß Anhang VII erforderlich. Für beide Verfahren ist zum einen das Qualitätsmanagementsystem maßgeblich, zum anderen die technische Dokumentation. Das Bewertungsverfahren für High-Risk-KI des harmonisierten Produktbereichs kann in das jeweils vorgesehene Konformitätsverfahren integriert werden, also etwa für Medizinprodukte über die „Medical Devices Regulation“ oder für Maschinen über die noch gültige Maschinenrichtlinie.

Wie schon aus anderen Produktbereichen bekannt, sollen auch im Bereich KI harmonisierte Normen und Standards, deren Anwendung eine Konformitätsvermutung auslöst, geschaffen und im Amtsblatt der EU veröffentlicht werden.

Auch diese Vorgehensweise bedarf einer dringenden Anpassung, bereits heute ist ein erheblicher Stau bei harmonisierten Normen zu erkennen; das wird in einem derart evolvierenden Bereich wie künstlicher Intelligenz allein aufgrund der fehlenden Spezialisten in diesem Bereich noch stärkere Ausmaße annehmen. Ohne harmonisierte Normen ist aber regelmäßig ein Konformitätsbewertungsverfahren unter Beteiligung einer benannten Stelle – heute in anderen Produktbereichen die bekannten Prüf- und Testhäuser – nicht durchführbar. Dementsprechend verhindert das Fehlen eines allgemeinen Standards nicht nur die Entwicklung standardisierter KI-Produkte, sondern natürlich insbesondere auch die Entwicklung innovativer neuer Systeme. Hier muss die EU-Kommission einen anderen Ansatz finden als den, der das bisherige Produktrecht in der EU geprägt hat.

Marktüberwachung

Für die Marktüberwachung und die Aufsicht über die ordnungsgemäße Durchführung der Konformitätsbewertungsverfahren soll ein behördlicher Aufbau geschaffen werden. Verstöße sollen mit bis zu 30 Millionen Euro oder 6% des Jahresumsatzes geahndet werden können. Die Bußgeldhöhen entsprechen der aus der DSGVO bekannten Entwicklung auf europäischer Ebene, die Unternehmen über exorbitante Bußgeldhöhen zur Umsetzung der regulatorischen Vorgaben zu motivieren. Im Gegensatz zur DSGVO verlagert sich das Problem im Rahmen der KI-Verordnung allerdings auf die nachgelagerten Wirtschaftsakteure, wenn und soweit der KI-Hersteller nicht in der EU sitzt. Das dürfte regelmäßig der Fall sein, insbesondere bei in Produkten integrierten Systemen. Dass die in der EU sitzenden Abnehmer in der Lage sein werden, die Vorgaben der Verordnung auch an importierten Fremdprodukten umzusetzen, darf bezweifelt werden.

Ausblick und Praxisrelevanz

Der Vorschlag wird im Europäischen Parlament und im Rat weiter beraten und auch mit den Mitgliedsstaaten diskutiert werden. Ursprünglich wollte die EU-Kommission die Verordnung innerhalb von 18 Monaten verabschieden, was ich für unrealistisch halte.

Die Auswirkungen auf die Praxis von Unternehmen, insbesondere auch auf die Betreiber entsprechender Systeme, sind nicht zu unterschätzen. Hierbei kann schnell ein kompletter Showstopper entstehen, der sich aus dem deutlich zu weiten Definitionsraum und den komplexen Anforderungen an auch „normale“ Systeme mit künstlicher Intelligenz ergeben kann.

p.reusch@reuschlaw.de

Aktuelle Beiträge