Künstliche Intelligenz (KI) hat sich in den vergangenen Jahren zu einem bedeutenden Wettbewerbsfaktor mit deutlichem Potential entwickelt. Die mit ihrem Einsatz verbundenen Chancen bergen gleichwohl Risiken: von fehlerhaften Entscheidungen und Diskriminierung bis hin zu mangelnder Transparenz der erzeugten Ergebnisse beziehungsweise Vorhersagen und Sicherheitslücken. Als Reaktion hierauf hat die Europäische Union (EU) mit dem EU AI Act erstmals einen umfassenden rechtlichen Rahmen geschaffen, dessen Bestimmungen seit 2025 schrittweise für Unternehmen verpflichtend werden. Verstöße können dabei zu Bußgeldern von bis zu 35 Millionen Euro oder 7% des weltweiten Jahresumsatzes führen. Für Unternehmen ist es daher unerlässlich, einen rechtskonformen Einsatz von KI sicherzustellen.
Hierfür ist ein ganzheitliches KI-Compliance-Management-System nötig. Ein solches System integriert technische, rechtliche und ethische Aspekte gleichermaßen und folgt dem risikobasierten Ansatz des AI Act:
- Inakzeptable KI-Systeme (zum Beispiel manipulative oder sozial schädliche KI) werden ausdrücklich verboten (darunter beispielsweise Social Scoring und bestimmte Formen biometrischer Echtzeitüberwachung).
- Hochriskante KI-Systeme (in sicherheitskritischen oder grundrechtsrelevanten Bereichen, etwa in Bildung, Beschäftigung, Finanzwesen oder Strafverfolgung) sind zwar erlaubt, unterliegen aber strengen Auflagen.
- KI-Systeme mit begrenzten Risiken erfordern vor allem Transparenzmaßnahmen (zum Beispiel Kennzeichnung von KI-Chatbots).
- Für KI-Systeme mit minimalen oder gar keinen Risiken gelten keine neuen Pflichten.
Diese Systematik erlaubt es, regulatorische Ressourcen auf die wichtigsten und riskantesten Fälle zu lenken. Der AI Act adressiert dabei verschiedene Akteure entlang der Wertschöpfungskette – von Entwicklern und Anbietern eines KI-Systems bis hin zu den Betreibern im Unternehmen. Außerdem gilt er aufgrund extraterritorialer Reichweite auch für nichteuropäische Unternehmen, sofern deren KI-Systeme in der EU genutzt werden.
Konkrete Umsetzung
Doch wie lässt sich ein KI-Compliance-Management-System konkret im Unternehmen aufbauen? Im Folgenden skizzieren wir ein mögliches Vorgehensmodell, das zwingend an die spezifische Situation jeder Organisation angepasst werden muss, jedoch als Leitfaden dienen kann: Am Anfang steht die Verankerung des Themas „KI-Compliance“ in der Unternehmensführung. Die Leitungsebene muss unmissverständlich die Priorität von verantwortungsvollem KI-Einsatz kommunizieren und nötige Ressourcen bereitstellen. Praktisch sollte ein KI-Governance-Gremium eingerichtet werden. Idealerweise ist dies ein interdisziplinäres Team aus Compliance- und Datenschutzverantwortlichen, Juristen, Data-Scientists, Innovationstreibenden, IT-Sicherheitsexperten und Fachbereichen. Dieses Gremium entwickelt die KI-Strategie, verabschiedet interne Leit- beziehungsweise Richtlinien (zum Beispiel AI Code of Conduct) und überwacht deren Umsetzung. Bestehende relevante Gremien sollten miteinbezogen werden, um Silos zu vermeiden. Zusätzlich sind klare Verantwortlichkeiten zu definieren für gegebenenfalls neue Rollen, wie beispielsweise einen AI-Compliance-Officer oder -Koordinator, und Prozesse. Ein dokumentierter Governanceaufbau mit Rollen und Eskalationsprozessen schafft die Grundlage, um die folgenden Schritte geordnet anzugehen. Der offene Diskurs über KI-Risiken sollte stets gefördert und Mitarbeiter ermutigt werden, potentielle Probleme zu melden. Bei KI-Systemen, die sich auf Mitarbeitende auswirken, sollte zudem frühzeitig der Betriebsrat eingebunden werden, um Akzeptanz zu schaffen und Mitbestimmungsrechte zu berücksichtigen.
Als Nächstes gilt es, einen vollständigen Überblick über alle KI-Systeme und ‑Anwendungsfälle im Unternehmen zu gewinnen. Dazu wird ein KI-Inventar erstellt, das bestehende sowie geplante KI-Lösungen erfasst. Mit Hilfe von Mitarbeiterbefragungen und IT-Analysen sollte dabei auch versucht werden, „Shadow AI“ aufzudecken, also KI-Anwendungen, die ohne Wissen der IT oder Compliance eingesetzt werden. Im Anschluss erfolgt eine Risikoeinstufung entlang der Kategorien des EU AI Acts: Verbot, hohes Risiko, begrenztes Risiko, niedriges Risiko. Die Dokumentation dieser Einstufung ist unerlässlich, um gegenüber Aufsichtsbehörden belegen zu können, dass die Organisation ihre KI-Landschaft geprüft, die damit einhergehenden Risiken verstanden und, wenn nötig, gemindert hat.
Individuelle Richtlinien
Auf Basis der Bestandsaufnahme werden nun unternehmensspezifische Richtlinien, Prozesse und Handlungsanweisungen entwickelt, um einen einheitlichen Rahmen für alle KI-Aktivitäten zu setzen. Dazu gehören etwa die folgenden Beispiele:
- Entwicklungsrichtlinien, die vorgeben, dass die Datensätze vor dem Training eines Modells auf Bias geprüft werden müssen oder dass möglichst erklärbare Algorithmen bevorzugt eingesetzt werden sollen.
- Datenrichtlinien, die Regeln für die Auswahl, Bereinigung und Nutzung von Trainingsdaten festhalten.
- Einsatzrichtlinien, die Anwendern vorgeben, dass durch KI erzeugte Ergebnisse nicht ungeprüft übernommen werden dürfen oder dass bestimmte KI-Tools nur in definierten Anwendungsfällen eingesetzt werden dürfen.
Falls beispielsweise KI-Software von Drittanbietern eingekauft wird, sollte ein Prozess etabliert werden, um diese Produkte vorab auf Konformität mit dem AI Act zu prüfen. Dabei sollte stets beachtet werden, dass die Vorgaben praktikabel gestaltet werden. Im Zweifel sind wenige klare Regeln besser als seitenlange, schwer verständliche und schwer zu verinnerlichende Anweisungen.
Anschließend müssen technische und organisatorische Kontrollen eingeführt werden, um eine praktische Umsetzung der Complianceanforderungen in den KI-Projekten und Systemen zu ermöglichen. Dazu sind mehrere Aspekte zu berücksichtigen:
Für Hochrisiko-KI sollte ein Risk & Impact Assessment fester Bestandteil der Entwicklung sein – idealerweise bereits in der Konzeptionsphase. Die Ergebnisse fließen in das Systemdesign ein (Compliance by Design).
Bevor ein KI-System live geht, müssen umfangreiche Tests wie beispielsweise Funktionstests, Biastests, Robustheitstests und Sicherheitschecks erfolgen. Die Testergebnisse sollten dokumentiert und von Fachexperten und Complianceverantwortlichen abgenommen werden.
Es ist zu gewährleisten, dass die im AI Act geforderte technische Dokumentation erstellt wird. Dazu sollten Templates und Tools bereitgestellt werden, um die Entwickler dabei zu unterstützen, alle nötigen Informationen strukturiert zu erfassen: von Modellarchitektur über Datenquellen bis hin zu Hyperparametern und Evaluationsmetriken. Ebenso müssen Loggingmechanismen in den KI-Systemen implementiert werden, die Interaktionen und Entscheidungen aufzeichnen – zumindest dort, wo dies technisch machbar und datenschutzkonform ist. Diese Logs fließen in das Monitoring ein.
Es muss geprüft werden, welche weiteren Kontrollen nötig sind, um identifizierte Risiken zu mindern. Ebenso sollten Notfallprozesse definiert werden – etwa wie ein fehlerhaftes KI-System schnell deaktiviert oder zurückgerufen werden kann.
Sicherheit im Fokus
Die IT-Abteilung sollte zwingend spezielle Sicherheitsvorkehrungen für KI-Systeme etablieren. Dazu gehören der Schutz der Trainingsdaten vor Manipulation, das Absichern von Modellen und Programmierschnittstellen (APIs) gegen unbefugten Zugriff, regelmäßige Penetrationstests auch auf KI-spezifische Angriffe und die Überwachung der KI-Ergebnisse auf Anomalien. KI-Systeme sollten in das bestehende Informationssicherheitsmanagement integriert und neue Bedrohungsszenarien berücksichtigt werden.
Bringt das Unternehmen ein eigenes Hochrisiko-KI-System auf den Markt, so muss es rechtzeitig das vorgeschriebene Konformitätsbewertungsverfahren durchführen und eine EU-Konformitätserklärung erstellen, das System mit einer CE-Kennzeichnung versehen und in die EU-Datenbank für KI-Systeme eintragen. Diese regulatorischen Freigabeprozesse sollten früh eingeplant werden.
Eine umfassende Awarenessschulung für alle relevanten Mitarbeiter ist für jedes Unternehmen, das KI einsetzt, essentiell, um zu gewährleisten, dass die größte Schwachstelle – der Mensch – grundlegend geschult ist. Juristische, regulatorische und ethische Leitlinien sollten verständlich vermittelt und Anwender von KI-Systemen angehalten werden, KI-Ergebnisse kritisch zu hinterfragen und ihre Überwachungsaufgabe ernst zu nehmen. Spezifische Trainings sind für Entwickler nötig, und auch Führungskräfte sollten über ihre Verantwortlichkeiten informiert werden.
Damit solch ein KI-Management-System nicht zum Papiertiger wird, fordert der AI Act eine laufende Überwachung und Nachsteuerung der KI-Systeme im Betrieb. Dazu muss ein Prozess zur regelmäßigen Überprüfung von Systemleistungen, Fehlerraten, Biasmetriken und Nutzerfeedbacks sowie das Beobachten externer Entwicklungen (neue Regulierungen, Standards, bekannte Vorfälle in der KI-Community) implementiert werden. Wichtig ist auch, KI-Compliance im Hinweisgebersystem zu berücksichtigen, denn schwerwiegende Zwischenfälle müssen dokumentiert, aufgearbeitet und gegebenenfalls Aufsichtsbehörden gemeldet werden. Interne und externe Audits können Schwachstellen aufzeigen und geben der Geschäftsleitung Einblicke, ob die KI-Compliance wirksam ist.
Fazit: Langfristiger Prozess statt einmaliges Projekt
KI-Compliance ist kein einmaliges Projekt, sondern ein längerfristiger Changeprozess, bei dem die Erkenntnisse der täglichen Arbeit wieder zurück in die Strategie und Governance fließen. Beim Aufbau eines solchen Systems kann es sinnvoll sein, externe Expertise einzuholen und das System an zertifizierbaren Standards wie dem ISO 42001 oder dem NIST AI Risk Framework auszurichten. Durch Vorabprüfungen (Audits) des KI-Management-Systems oder sogar eine Zertifizierung können Schwachstellen aufgedeckt und Vertrauen aufgebaut werden.
Die Einführung eines KI-Compliance-Management-Systems erscheint aufwendig, doch sie ist für zukunftsorientierte Unternehmen unverzichtbar. Die Regulierung von KI hat mit dem EU AI Act einen Reifegrad erreicht, der in Zukunft nicht mehr abnehmen wird.
