Neue KI-Gesetze

Seit wenigen Wochen steht nun fest: Das europäische Gesetz über künstliche Intelligenz (KI), der „AI Act“ („KI-Verordnung“ – „KI-VO“), kommt. Seit der Verkündung einer Einigung am 08.12.2023 in den Trilogverhandlungen scheint eine Verabschiedung der KI-VO noch vor dem Ende der ­Legislaturperiode und den Europawahlen im Juni 2024 realistisch. Derzeit ist der genaue Inhalt der KI-VO zwar noch nicht bekannt – vielmehr wird auf die Entwürfe von Kommission und Rat sowie auf über Parlaments­vertreter bekanntgewordene Informationen bezüglich der getroffenen Einigung zurückgegriffen – aber schon jetzt besteht großer Handlungsbedarf.

Der EU-Gesetzgeber hat es sich zum Ziel gesetzt, in ­einer umfassenden Abwägung der Chancen und Risiken des Einsatzes von KI in den verschiedensten Feldern neue regulatorische Standards für den Umgang mit KI-Sys­temen zu setzen. Neben der allgemeineren KI-VO soll eine speziellere KI-Haftungsrichtlinie verabschiedet werden. Mit diesen beiden zentralen Gesetzgebungsvorhaben ändern sich die rechtlichen Rahmenbedingungen für Hersteller, Händler und Nutzer von KI-Systemen weitgehend – in den folgenden Ausführungen soll dargestellt werden, welche Erfahrungen wir bisher bei Verträgen über die Entwicklung sowie bei der Lizenzierung von KI-Systemen gesammelt haben. Schon jetzt wirkt sich die zu erwartende KI-Regulierung im (IT-)Vertragsrecht aus.

Der allgemeine Rahmen: Die KI-Verordnung

Die KI-VO setzt grundlegende Rahmenbedingungen für den Betrieb von KI-Systemen in verschiedenen Wirtschaftssektoren und unter verschiedenen Nutzungs­bedingungen und wird den weltweit ersten Regulierungsansatz mit explizitem KI-Bezug darstellen. Dabei verfolgt die EU einen risikobasierten Ansatz. Während der Einsatz von KI-Systemen unter gewissen Umständen aufgrund von Risikoerwägungen mit Bezug auf Sicherheits- und Grundrechtsgefährdungen von vornherein verboten werden soll, werden die zulässigen ­KI-Systeme je nach Risikopotential ihrer konkreten ­Anwendung kategorisiert. Dies hat zur Folge, dass die­jenigen ­KI-Anwendungen, die aufgrund ihrer Anwendung in hochsensiblen beziehungsweise kritischen Anwendungsgebieten als sogenannte Hochrisikosysteme (Art. 6 ff. KI-VO-Entwurf – „KI-VO-E“) eingestuft werden, der umfassendsten Regulierung ausgesetzt sind. Hochrisikosysteme unterfallen weitgreifenden Pflichten in puncto Compliance und Risikomanagement, die sich aus dem KI-VO-E ergeben.

In Titel III, Kapitel 2 KI-VO-E werden Anforderungen an Hochrisikosysteme aufgelistet, die von Herstellern und Entwicklern dieser Systeme eingehalten werden müssen. Hochrisikosysteme müssen demnach bereits so konzipiert sein, dass bereits mit Beginn ihrer Entwicklung ein Risikomanagementsystem eingerichtet wird. Es müssen konkrete Maßnahmen festgelegt werden zur (i) Ermittlung der Risiken, (ii) Bewertung der Risiken, (iii) Beseitigung, Verringerung der Risiken. Zudem müssen die Systeme so konzipiert sein, dass sie von Menschen hinreichend beaufsichtigt werden können, dass sie transparent betrieben werden können und ihr Betrieb dokumentiert werden kann. Weiterhin existieren strenge Anforderungen an die verwendeten Trainingsdaten sowie dahingehend, dass die Systeme robust, genau und (cyber)sicher konzipiert sein müssen.

Diese obengenannten Anforderungen betreffen das Hochrisikosystem als solches. Erst Titel III, Kapitel 3 legt fest, inwieweit der Anbieter, also das letzte Glied in der Wertschöpfungskette vor dem Nutzer der KI, für diese Anforderungen einzustehen hat. Als Anbieter einer KI, welcher nicht selbst Hersteller derselben ist, scheint es hier ratsam, vertraglich eine unbeschränkte Haftung des KI-Auftragnehmers zu vereinbaren für den Fall, dass die KI die in Titel III, Kapitel 2 KI-VO-E genannten Anforderungen nicht erfüllt.

Derartige vertragliche Regelungen könnten sich an der branchenüblichen unbeschränkten Haftung für die Verletzung von Datenschutzgesetzen orientieren. Damit Hand in Hand könnte etwa eine vertraglich vereinbarte Freistellung und Schadloshaltung durch den Auftragnehmer bei Verstößen gegen die obengenannten Anforderungen an die KI selbst gehen. Lässt der Anbieter eine KI-Lösung extern entwickeln, sollte die Erfüllung der gesetzlichen Anforderungen an das Hochrisikosystem bereits in die Produktbeschreibung aufgenommen werden und so zu einer Hauptvertragspflicht gemacht werden. Ohne vertragliche Verpflichtung des Herstellers könnte man dem Anbieter, der die KI-Lösung in Auftrag gibt, schon einen Verstoß gegen Art. 16 KI-VO-E vorwerfen („Anbieter von Hochrisiko-KI-Systemen müssen sicherstellen, dass ihre Hochrisiko-KI-Systeme die Anforderungen in Kapitel 2 dieses Titels erfüllen“, vgl. hier).

Zu beachten ist jedoch stets, dass der Anbieter eines Hochrisikosystems der Adressat von Verpflichtungen nach Titel III Kapitel 3 KI-VO-E bleibt. Durch die vertragliche Verlagerung der Pflichten an den Hersteller/Auftragnehmer kann sich der Anbieter hiervon nicht ­befreien, das „Enforcement“-Risiko bleibt also beim An­bieter. Ein Grund mehr, dafür zu sorgen, dass nur das kontrollierbare Risiko eines Verstoßes gegen den KI-VO-E auch von diesem Anbieter getragen werden muss. Nimmt man beispielsweise die Pflicht gemäß Art. 20 KI-VO-E zur Aufbewahrung der Protokolle, welche die künstliche ­Intelligenz automatisch erstellt, liegt auf der Hand, dass ein Anbieter dieser Pflicht nicht nachkommen kann, wenn das KI-System nicht so konzipiert ist, dass es den Aufzeichnungspflichten gemäß Art. 10 KI-VO-E nachkommen kann. Nach außen bleibt zwar auch hier der Anbieter verantwortlich, im Innenverhältnis hat er jedoch regelmäßig keinen Einfluss darauf, ob diese Anforderungen erfüllt werden können, und sollte sich vertraglich absichern.

Praxisbeispiel

Dies kann an folgendem Beispiel veranschaulicht werden: Ein Unternehmen erweitert seine an Ärzte und Krankenhäuser vertriebene Softwarelösung um ein KI-System zur Unterstützung von Diagnosevorgängen. Dieses System lässt es von einem KI-Start-up entwickeln und trainieren. Der Entwicklungsvertrag mit dem KI-Entwickler sollte neben Regelungen zur KI-VO-Konformität Regelungen dazu enthalten, wer für die Einhaltung der Anforderung an Medizinprodukte verantwortlich ist. Aus der Einordnung als ein Medizinprodukt im Sinne der Verordnung (EU) 2017/745 über Medizinprodukte ergibt sich überhaupt erst die Einstufung als Hochrisikosystem gemäß Art. 6 Abs. 1 lit. a KI-VO-E.

Das Vertragswerk mit dem KI-Entwickler sollte zudem explizit festhalten, dass der Hersteller für die Einhaltung der Verpflichtungen gemäß Art. 6 ff. KI-VO-E für Hochrisikosysteme im Innenverhältnis allein verantwortlich ist; zum einen, um zu dokumentieren, dass der Anbieter ­sicherstellt, dass die KI-Lösung mit Titel III, Kapitel 2 konform ist – und zum anderen, damit der Anbieter für nicht in seiner Kontrolle liegende (Folge-)Pflichtverstöße kein finanzielles Risiko übernimmt.

Darüber hinaus können auch die Nutzer einer künst­lichen Intelligenz Pflichten nach der KI-VO treffen. Daher ist es ratsam, diese Haftungsstruktur auch im Rahmen der vertraglichen Vereinbarungen mit dem Nutzer des KI-Systems festzuhalten. Hier sollte darauf verwiesen werden, dass der Anbieter im Verhältnis zum Endnutzer nicht für die vom Hersteller zu leistenden Komponenten zuständig ist. Es muss jedoch sorgfältig geprüft werden, inwieweit dabei überhaupt eine Abschichtung möglich ist. Dies gilt insbesondere, wenn es sich bei den Endnutzern um Verbraucher und nicht, wie vorliegend, um Unternehmer handelt.
Noch wichtiger dürfte es sein, gegenüber den Endnutzern klar und transparent festzulegen, dass sämtliche Verstöße gegen die in Art. 29 KI-VO-E vorgeschriebenen Pflichten des Nutzers eines Hochrisikosystems nicht zu Lasten des Anbieters/Unternehmens gehen.

Wenn es ernst wird: KI-Haftungs-RL und Neufassung der Produkthaftungs-RL

Weitere Gesetzesvorhaben, die für die Vertragsgestaltung im Zusammenhang mit der Lizensierung und dem Vertrieb von KI-Systemen zu berücksichtigen sein werden, sind die KI-Haftungs-RL und die Novelle der ­Produkthaftungs-RL. Die Ungewissheit über Haftungsfragen im Zusammenhang mit KI-Systemen zählt laut einer repräsentativen Umfrage aus dem Jahre 2020 zu den drei wichtigsten externen Hindernissen für eine betriebliche Anwendung von KI-Sys­temen in europäischen Unternehmen. Alles Wissenswerte zu den neuen (KI-)Haftungsregeln haben wir im Detail bereits hier für Sie zusammengefasst.

Der derzeitige Richtlinienvorschlag enthält zwei wesentliche Elemente: Zum einen sollen Geschädigte aufgrund der Kausalitätsvermutung von der Pflicht entbunden werden, die Ursächlichkeit des Schadens darzulegen, der aus der Anwendung einer fehlerhaften KI entstanden ist. Zum anderen soll bei Schäden durch Hochrisiko-KI-Systeme, im Sinne des KI-VO-Entwurfs, der Zugang zu Beweismitteln erleichtert werden, die sich im Besitz von Unternehmen oder KI-Anbietern befinden. So wird ­einem ­Anspruchsteller unter der Voraussetzung, dass der ­gestellte Anspruch als „plausibel“ bewertet werden kann, ein Auskunftsrecht über die Arbeitsweise des KI-Hochrisikosystems zugesprochen, um dem Betroffenen eine Darlegung des tatsächlichen Bestehens dieses Anspruchs zu ermöglichen. Zuvor muss der Anspruchsteller jedoch nachweisen, alle angemessenen Anstrengungen unternommen zu haben, um die begehrten Informationen vom Beklagten/Unternehmen zu erhalten. Kommt der KI-Anbieter dieser aufgrund der Plausibilität des Anspruchs entstandenen Auskunftspflicht nicht nach, führt das zu einer Beweislastverlagerung auf den KI-Anbieter, der in der Folge beweisen muss, dass der entstandene Schaden seinen Ursprung nicht innerhalb seines Verantwortungsbereichs hat.

Diese im Fall eines Schadensersatzprozesses anwend­baren Sonderregelungen sollten bereits bei der Entwicklung/Beauftragung von KI-Lösungen mitgedacht werden. Ein Unternehmen, welches eine extern entwickelte KI-Lösung in seine (Software-)Produkte einbaut, unterliegt gegenüber seinen Endkunden den obengenannten Regelungen der Beweiserleichterung und Informationspflichten. Zwar hilft dem Anbieter hier bereits die KI-VO, die vorschreibt, dass die künstliche Intelligenz Dokumentationen und Protokolle erstellen können muss. Gerade bei einer fehlerhaften KI, die nicht den Anforderungen ­gemäß ­KI-VO-E entspricht, ist jedoch nicht sichergestellt, dass der An­bieter den Informationsansprüchen aus der Produkt-/KI-Haftungs-RL selbständig und ohne Hilfe des KI-Entwicklers nachkommen kann. Hier sollten daher zum Beispiel Vereinbarungen dahingehend getroffen werden, dass der Entwickler bei sämtlichen Ansprüchen unterstützt und im Zweifel dafür haftet, wenn sich aus der durch ihn verursachten Nichterfüllung als Konsequenz eine Beweis­lastumkehr zu Lasten des Anbieters ergibt.

Es sollten daher Regelungen dazu aufgenommen werden, welche Informationen der Anbieter vom Entwickler im konkreten Fall mindestens verlangen kann und welche Informationen im Hinblick auf eine mögliche „Black-Box-Situation“ technisch gar nicht herausgegeben werden können. Da solche Informationen teils Geschäftsgeheimnisse des die KI entwickelnden Unternehmens enthalten können, ist mit Widerstand von KI-Entwicklern in Vertragsverhandlungen zu rechnen. Das Auftraggeberunternehmen wird hier versuchen, dem Entwickler die Übernahme von Garantien (also verschuldensunabhän­gige Haftungsverpflichtungen) für die Unterstützung und ­Hilfe bei der Beantwortung von Anfragen gemäß der KI-Haftungsrichtlinie abzuringen. Die KI-Unternehmen dürften an möglichst konkret formulierten Ausnahmen von ihrer Auskunfts- und Mitwirkungspflicht interessiert sein. Im Ergebnis liegt es jedoch im gemeinsamen ­Interesse beider Parteien, eine Kompromisslösung zu finden, um Rechtssicherheit zu schaffen und Schadens­ansprüchen von ­potentiellen Schädigern möglichst effektiv und nachhaltig begegnen zu können.

„Where the money lies …“ – Rechte an Input und Output

Bisher enthalten die EU-Gesetzesvorhaben keine ­Regelungen zu den Rechten an Input und Output von ­KI-Lösungen. Auch das geltende Immaterialgüterrecht, insbesondere das Urheberrecht, schützt den In- und Output nicht umfassend und interessengerecht. Dabei liegt gerade hier der – vor allem kommerzielle – Wert vieler KI-Lösungen. Aus diesem Grund ist es maßgeblich, in Verträgen über die Lizenzierung oder die Entwicklung von KI-Lösungen schuldrechtliche Regelungen zu den Rechten an den durch die KI erzeugten Ergebnissen zu treffen. Zu regelnde Fragen sind etwa: Wer trägt die Verantwortung für die Vollständigkeit und die Richtigkeit des Outputs? Wer trägt – im Verhältnis zwischen den Vertragsparteien – die Verantwortung für die Diskriminierungsfreiheit des Outputs? Wer darf den Output wie weiter verwerten?

Ebenso relevant sind die Nutzungsrechte an den Daten, mit denen die KI trainiert wird. Der Auftragnehmer, der eine KI-Lösung für ein Unternehmen als Kunden ent­wickelt, wird regelmäßig großes Interesse daran haben, mit den (anonymisierten) Daten auch weitere KI-Lösungen – die er (als Standardsoftware) entwickelt – trainieren zu können. Für den Auftraggeber stellen sich dabei die Fragen, ob die (personenbezogenen) Daten und ­Geschäftsgeheimisse, welche er der Entwicklung bei­steuert, hinreichend geschützt sind und ob er an der Weiternutzung und Kommerzialisierung dieser Daten ausreichend finanziell beteiligt wird.

Neben Regelungen zu Input und Output sollte auch ein besonderer Wert auf Geheimhaltungsklauseln gelegt werden, die explizit die Bestandteile erfassen, die urheberrechtlich nicht geschützt werden (wie beispielsweise das KI-Modell), sowie den Verlauf und die Ergebnisse einer Anlernphase.

Wie geht man vor?

Bereits jetzt können aber durch die Berücksichtigung der einschlägigen Regulierungen zahlreiche Pflichten, die ­innerhalb der Wertschöpfungskette unter verantwortungsbewussten Akteuren eine Rolle spielen, identifiziert und angemessen zugeteilt werden sollten. Eine Orientierung an den in den Regulierungen festgesetzten Pflichten ist dringend zu empfehlen. Es bleibt jedoch weiter abzuwarten, wie die konkreten Gesetzestexte der KI-Regulierungen letztendlich ausgestaltet werden und inwiefern wirksam von der gesetzgeberisch vorgesehenen Risikoverteilung abgewichen werden kann. Unter Umständen können für langfristige Projekte Vertragsanpassungen erforderlich sein, die bereits jetzt durch Öffnungsklauseln gesichert werden können. Aus Kundensicht ist es ist zudem zu empfehlen, eine allgemeine Garantie über die Einhaltung der einschlägigen Gesetzesvorschriften (unter Umständen mit Nennung dieser Vorschriften) in den Vertrag aufzunehmen. Zudem sollten Unternehmen, die KI-Lösungen in ihre Produkte integrieren, unbedingt urheberrechtliche und geheimnisschutzrechtliche Fragen identifizieren und diese vertraglich beantworten sowie gegebenenfalls mit Vertragsstrafen und Freistellungs­verpflichtungen bei Verstößen verbinden.