„Human in the loop“ als Designprinzip

Artikel anhören
Artikel zusammenfassen
Teilen auf LinkedIn
Teilen per Mail
URL kopieren
Drucken

Der Einsatz von Künstlicher Intelligenz bedeutet in der Praxis immer ein Zusammenspiel von Mensch und Maschine. KI-Systeme können analysieren, priorisieren und strukturieren, doch entscheiden sollen weiterhin Menschen. In diesem Zusammenhang wird häufig der Begriff „Human in the Loop“ verwendet. Die Forderung nach menschlicher Kontrolle gilt als selbstverständlich. Doch in der Praxis bleibt oft offen, wie diese Kontrolle konkret ausgestaltet werden soll – insbesondere in Complianceprozessen mit klar definierten Verantwortlichkeiten.

Die Ergebnisse des EQS-AI-Benchmark-Reports haben dafür eine wichtige Grundlage geliefert. Sie zeigen: KI kann Complianceteams bei vielen strukturierten Aufgaben zuverlässig unterstützen. Allerdings werden bei komplexeren, bewertungsabhängigen Fragestellungen deutliche Unterschiede in der Ergebnisqualität zwischen einzelnen KI-Modellen deutlich. Genau hier entscheidet sich, wo menschliche Kontrolle unverzichtbar bleibt.

Nicht jede Aufgabe braucht denselben Grad an Aufsicht

Bei klar definierten, regelbasierten Tätigkeiten – etwa der Klassifikation von Richtlinien, der Priorisierung von Risiken oder der strukturierten Auswertung von Meldungen – arbeiten die aktuellen KI-Modelle mit hoher Stabilität. Sobald jedoch Interpretationsspielräume entstehen, steigen auch die Unterschiede zwischen den Systemen deutlich an. Je offener die Fragestellung, desto größer die Streuung der Ergebnisse.

Für Complianceteams bedeutet das: Der Bedarf an menschlicher Kontrolle sollte sich nicht pauschal am Einsatz von KI orientieren, sondern am Risikogehalt der jeweiligen Entscheidung. Nicht jede automatisierte Handlung erfordert denselben Grad an Aufsicht – entscheidend ist, welche Konsequenzen ein Fehler hätte.

„Gut genug“ ist eine Risikofrage – keine Technikfrage

Verlässlichkeit bedeutet in der Compliance nicht Perfektion, sondern Vorhersagbarkeit innerhalb klar definierter Risikoschwellen. Eine gewisse Fehlertoleranz mag bei internen Analysen oder bei der ersten Strukturierung eingehender Hinweise vertretbar sein. Anders verhält es sich bei Entscheidungen mit unmittelbaren rechtlichen oder reputativen Folgen – etwa bei der Einstufung möglicher Repressalien gegen Hinweisgebende, bei Ausnahmen im Sanktionsscreening oder bei der Ablehnung einer risikobehafteten Drittpartei.

Die zentrale Frage lautet also nicht, wie hoch die generelle Genauigkeit eines Modells ist, sondern wie schwer ein möglicher Fehler wiegt – und wer dafür Verantwortung trägt. KI kann Routineaufgaben effizient vorbereiten. Doch sobald Bewertung, Verhältnismäßigkeit oder Sanktionen ins Spiel kommen, verschiebt sich die Verantwortung klar auf den Menschen.

Wenn Abweichung kein technischer Fehler ist

Nicht jede unterschiedliche Bewertung eines KI-Systems ist ein technischer Fehler. In vielen Fällen sind Ergebnisse formal korrekt, aber unterschiedlich interpretierbar. Gerade bei Complianceentscheidungen kann diese Divergenz jedoch erhebliche Konsequenzen haben – selbst wenn beide Einschätzungen argumentierbar erscheinen.

Bewertet etwa ein System einen Interessenkonflikt als geringes Risiko, während ein anderes eine vertiefte Prüfung empfiehlt, stellt sich nicht nur die Frage nach der „richtigen“ Antwort. Entscheidend ist vielmehr, wer die finale Bewertung verantwortet und auf welcher Grundlage sie erfolgt. Menschliche Aufsicht bedeutet hier nicht Misstrauen gegenüber Technologie, sondern bewusste normative Einordnung.

KI kann Wahrscheinlichkeiten berechnen und Muster erkennen. Die Bewertung von Angemessenheit, Reputationsrisiken oder organisationsspezifischen Besonderheiten bleibt jedoch eine verantwortungsgebundene Entscheidung.

Kontrollarchitektur statt Einzelprüfung

Vor diesem Hintergrund ist eine pauschale Kontrolle jeder einzelnen KI-Ausgabe weder praktikabel noch sinnvoll für Complianceteams. Entscheidend ist vielmehr eine durchdachte Kontrollarchitektur: Menschliche Eingriffe sollten gezielt an jenen Entscheidungspunkten verankert werden, an denen Fehlentscheidungen die größte rechtliche oder ethische Tragweite entfalten.

Solche Kontrollpunkte können beispielsweise sein:

  • die finale Schließung eines Untersuchungsfalls,
  • die Freigabe oder Ablehnung einer Hochrisikodrittpartei,
  • Ausnahmen im Sanktionsscreening,
  • disziplinarische Maßnahmen oder Eskalationsentscheidungen.

In diesen Momenten geht es nicht mehr um reine Datenverarbeitung, sondern um Bewertung und Verantwortungsübernahme. KI kann vorbereiten, strukturieren und priorisieren – entscheiden und verantworten muss der Mensch.

Vier Ebenen menschlicher Einbindung

Menschliche Kontrolle ist kein binäres Prinzip. In der Praxis lassen sich unterschiedliche Intensitätsstufen unterscheiden:

  • Informierte Nutzung: KI unterstützt die Analyse, Entscheidungen bleiben vollständig menschlich.
  • Validierende Kontrolle: KI trifft eine Vorbewertung, die von einem Menschen geprüft und bestätigt oder korrigiert wird.
  • Eskalationsbasierte Kontrolle: Menschlicher Eingriff erfolgt nur bei definierten Schwellenwerten oder Auffälligkeiten.
  • Strategische Systemaufsicht: Der Mensch prüft nicht einzelne Fälle, sondern überwacht Muster, Verzerrungen und Entscheidungslogiken des Systems.

Je nach Risikobereich kann es sinnvoll sein, mehrere Ebenen zu kombinieren. So entsteht ein abgestuftes Modell, das Effizienzgewinne ermöglicht, ohne Verantwortlichkeit zu verwässern.

Wenn KI selbst zum Risiko wird

Mit zunehmender Integration von KI-Systemen wächst auch die Gefahr systemischer Verzerrungen. Ein Modell kann konsistent arbeiten – und dennoch strukturell problematische Muster erzeugen, etwa bei der Priorisierung bestimmter Risikokategorien oder bei sprachbasierten Bewertungen. Menschliche Aufsicht bedeutet daher nicht nur Fallprüfung, sondern auch Systembeobachtung: Welche Konstellationen werden häufiger eskaliert? Welche Risikotypen dominieren? Werden bestimmte Sachverhalte systematisch strenger oder milder bewertet?

Ohne diese Meta-Perspektive besteht die Gefahr, dass scheinbar objektive Entscheidungen in Wahrheit algorithmisch vorstrukturiert sind. Verantwortliche Governance muss daher auch das System selbst in den Blick nehmen – nicht nur dessen einzelne Ergebnisse.

Kontrolle als regulatorische Pflicht

Diese Fragen sind nicht nur organisatorisch relevant, sondern auch regulatorisch. Der EU AI Act verlangt für bestimmte Anwendungsbereiche ausdrücklich wirksame menschliche Aufsicht. KI-Systeme müssen so gestaltet sein, dass Eingriffe möglich sind, Entscheidungen nachvollziehbar bleiben und Verantwortlichkeiten eindeutig zugeordnet werden können.

Für Complianceteams bedeutet das: Menschliche Kontrolle darf nicht informell oder situativ erfolgen, sondern muss strukturell in Prozesse eingebettet sein. Dokumentation, Transparenz und klare Eskalationslogiken werden zu festen Bestandteilen einer tragfähigen Governancearchitektur.

Verantwortung bleibt menschlich

KI ist bereits heute in der Lage, Complianceprozesse effizient zu unterstützen und Arbeitslast spürbar zu reduzieren. Doch ihre Leistungsfähigkeit ist nicht in allen Entscheidungssituationen gleich ausgeprägt. Je stärker eine Aufgabe Bewertung, Kontextverständnis oder Verhältnismäßigkeit erfordert, desto wichtiger wird gezielte menschliche Aufsicht.

Die entscheidende Frage lautet daher nicht, ob Menschen eingebunden bleiben sollen, sondern wo ihre Verantwortung den größten Unterschied macht. KI kann das „Was“ automatisieren – das „Warum“ und das „Wie“ bleiben Kern menschlicher Entscheidungs- und Verantwortungskompetenz. Eine klug gestaltete Kontrollarchitektur stellt sicher, dass Effizienzgewinne genutzt werden, ohne Integrität, Nachvollziehbarkeit und regulatorische Sicherheit zu gefährden. 

Autor

Moritz Homann EQS Group, München Managing Director Corporate Compliance

Moritz Homann

EQS Group, München
Head of AI


moritz.homann@eqs.com
www.eqs.com