Künstliche Intelligenz (KI) ist längst keine Zukunftsmusik mehr – sie ist bereits heute fester Bestandteil vieler digitaler Anwendungen. Auch in Unternehmen hält sie zunehmend Einzug und kann etwa zur Optimierung von Prozessen, zur Effizienzsteigerung oder zur Kostenreduktion beitragen. Im Personalbereich (HR) versprechen KI-Systeme beispielsweise eine objektivere und schnellere Auswahl von Bewerbern. Doch gerade hier ist Vorsicht geboten. Denn wenn KI-Systeme nicht sorgfältig entwickelt und eingesetzt werden, können sie ungewollt diskriminieren – mit potentiell erheblichen rechtlichen Folgen für Arbeitgeber, etwa in Form von Schadensersatzansprüchen.
Was ist eine KI und wie funktioniert sie?
Was unter einem KI-System im rechtlichen Sinne zu verstehen ist, definiert die EU-Verordnung 2024/1689 vom 13.06.2024 zur Festlegung harmonisierter Vorschriften über künstliche Intelligenz (KI-Verordnung) in Art. 3 Nr. 1. Demnach handelt es sich um ein maschinengestütztes System, das mit einem gewissen Maß an Autonomie betrieben wird und sich nach seiner Einführung anpassen kann sowie auf Basis von Eingaben Ergebnisse wie Vorhersagen, Empfehlungen oder Entscheidungen erzeugt, die physische oder virtuelle Umgebungen beeinflussen.
Einfacher ausgedrückt: Eine KI nutzt Algorithmen, um aus vorhandenen Daten Muster zu erkennen und daraus Wahrscheinlichkeiten abzuleiten. Auf dieser Grundlage trifft sie Vorhersagen oder schlägt Entscheidungen vor. Dabei wählt sie die Lösung, die statistisch am wahrscheinlichsten erscheint. Die statistisch wahrscheinlichste Lösung entspricht jedoch nicht zwangsläufig auch der objektiv richtigen Lösung. Die Qualität der Entscheidung oder Vorhersage hängt damit maßgeblich von mehreren Faktoren ab. Zu diesen Faktoren gehört die Qualität der verwendeten Trainingsdaten, die bei der Entwicklung festgelegten Regeln und – bei lernenden Systemen – die im Laufe der Nutzung erlernten Muster. Deshalb ist es unerlässlich, die Ergebnisse von KI-Systemen stets kritisch zu prüfen und nicht ungefiltert zu übernehmen.
Warum kann KI diskriminieren?
Technisch gesehen sind KI-Systeme neutral und unparteiisch. Sie haben keine eigenen Absichten und keine Vorurteile. Dennoch können sie diskriminierende Ergebnisse erzeugen. Das kann unterschiedliche Ursachen haben.
Eine häufige Ursache ist die Verwendung von Trainingsdaten, die gesellschaftliche Vorurteile widerspiegeln. Wenn etwa historische Bewerberdaten genutzt werden, in denen bestimmte Bewerbergruppen systematisch oder zufällig benachteiligt worden sind, übernimmt die KI diese Muster und reproduziert sie in ihren Entscheidungen. Diskriminierung kann aber auch in der Entwicklung des Systems seine Ursache haben. Werden bei der Entwicklung und Programmierung bestimmte Merkmale überbewertet oder andere Merkmale vernachlässigt, kann es bereits in diesem Stadium zu einer Prädisposition für Diskriminierungen kommen. Solche Verzerrungen müssen nicht bewusst integriert worden sein; sie können auch ungewollt durch die Perspektive der Entwickler entstehen.
Hinzu kommt ein weiteres Problem: So sind viele KI-Systeme sogenannte „Black Boxes“. Ihre Entscheidungswege sind so komplex, dass sie für Außenstehende – und oft selbst für Fachleute – kaum nachvollziehbar sind. Das erschwert es, diskriminierende Strukturen zu erkennen und gezielt zu korrigieren.
Folgen für den HR-Bereich
Gerade im HR-Bereich können solche Fehler gravierende Folgen haben. Wenn Bewerber oder Mitarbeiter aufgrund bestimmter Merkmale benachteiligt werden, kann dies einen Verstoß gegen das Allgemeine Gleichbehandlungsgesetz (AGG) darstellen. So verbietet das AGG Diskriminierungen aufgrund von Rasse, ethnischer Herkunft, Geschlecht, Alter, Religion, Weltanschauung, sexueller Identität oder Behinderung. Verstöße können insbesondere zu Schadensersatzforderungen der betroffenen Personen führen.
Häufig werden Diskriminierungen auf die Verwendung bereits verzerrter Trainingsdaten zurückzuführen sein. Ein klassisches Beispiel: Wird eine KI mit Bewerberdaten trainiert, in denen Personen mit deutsch oder europäisch klingenden Namen systematisch oder auch nur zufällig bevorzugt worden sind, ist es sehr wahrscheinlich, dass die KI dieses Muster übernimmt. Solche Verzerrungen lassen sich auf viele andere Merkmale und KI-Anwendungen übertragen.
Gesetzliche Schutzvorkehrungen
Um den Risiken zu begegnen, die durch die Nutzung von KI entstehen können, sieht die KI-Verordnung besondere Schutzvorkehrungen vor. Bestimmte KI-Systeme werden beispielsweise als „Hochrisikosysteme“ eingestuft. Auch einzelne Kategorien beziehungsweise Anwendungsfälle von KI-Systemen im HR-Kontext zählen dazu. Hierzu gehören insbesondere KI-Systeme, die eine (Vor-)Auswahl von Bewerbern auf neu zu besetzende Stellen oder für interne Beförderungen treffen oder die sogar bei Kündigungen eine Rolle spielen oder diese Entscheidungen beeinflussen.
Für solche Systeme gelten strenge Anforderungen. Arbeitgeber, die solche KI-Systeme einsetzen, gelten in der Regel als Betreiber und unterliegen insbesondere Transparenz-, Dokumentations- und Überwachungspflichten. Werden Systeme speziell für den Betrieb angepasst oder entwickelt, kann der Arbeitgeber auch als Anbieter im Sinne der Verordnung gelten – mit zusätzlichen Pflichten. Diese reichen von der Dokumentation und Risikobewertung, Maßnahmen der Datengovernance über die Qualitätssicherung bis hin zur Schulung der Mitarbeitenden.
Durch die Einhaltung dieser Vorgaben lässt sich das Risiko von Diskriminierungen zumindest deutlich reduzieren. Der rechtliche Rahmen schafft darüber hinaus mehr Sicherheit für Unternehmen.
KI als Teil der Lösung
Trotz aller Risiken kann KI auch ein Teil der Lösung sein und genutzt werden, um Diskriminierungen zu erkennen. Denn gerade ihre Fähigkeit, Muster zu erkennen, lässt sich nutzen, um bestehende Prozesse auf unbewusste Diskriminierungen zu überprüfen. Denn auch Diskriminierungen basieren auf bestimmten Mustern. So kann etwa analysiert werden, ob Stellenanzeigen Formulierungen enthalten, die bestimmte Gruppen ausschließen. Es ist auch vorstellbar, dass eine KI-Anwendung genutzt wird, um zu prüfen, ob Frauen in Teilzeit systematisch benachteiligt werden, beispielsweise bei der Auswahl für Beförderungen oder der Entscheidung über Gehaltserhöhungen.
Solche Analysen können helfen, diskriminierende Strukturen sichtbar zu machen – und in einem nächsten Schritt zu verändern. Die gewonnenen Erkenntnisse lassen sich nutzen, um fairere Einstellungsprozesse oder gerechtere Vergütungssysteme zu entwickeln. Denn auch im Jahr 2025 sind wir noch weit von einer Gleichbehandlung der Geschlechter entfernt. So lag die „Gender Pay Gap“ laut Statistischem Bundesamt im Jahr 2024 noch immer bei 16% – bereinigt immerhin noch bei 6%. KI kann helfen, solche Ungleichheiten im Unternehmen gezielt zu identifizieren und abzubauen.
Tipps für Arbeitgeber
Wer KI-Systeme im Unternehmen einführen möchte, sollte dies nicht isoliert betrachten. Vielmehr sollte die Einführung in eine umfassende Digitalisierungsstrategie eingebettet sein. Dabei sind mehrere Aspekte zu berücksichtigen:
Zunächst sollte die IT-Infrastruktur geeignet sein, um die KI sicher und effizient betreiben zu können. Außerdem ist erforderlich oder zumindest auf kurze sowie lange Sicht sehr hilfreich, die Beschäftigten frühzeitig einzubinden, aufzuklären und zu schulen. Denn die Einführung von KI-Systemen wird deutlich erleichtert, wenn die Beschäftigten mit dem Arbeitgeber an einem Strang ziehen. Bei der Gestaltung von Arbeitsprozessen sollte zudem Wert darauf gelegt werden, eine menschliche Kontrollinstanz einzurichten. Sind die Mitarbeiter in der Lage, die Ergebnisse der KI richtig zu interpretieren, können Fehler erkannt und so das Risiko von Diskriminierungen weiter reduziert werden.
Daneben müssen Arbeitgeber selbstverständlich auch alle anwendbaren Rechtsvorschriften einhalten. Neben dem bereits erwähnten AGG und der KI-Verordnung gehören dazu insbesondere die Datenschutzvorschriften der Datenschutz-Grundverordnung (DSGVO) und des Bundesdatenschutzgesetzes (BDSG). Besteht im Unternehmen ein Betriebsrat, wird in der Regel auch der Betriebsrat ein Mitbestimmungsrecht nach § 87 Abs. 1 Nr. 6 Betriebsverfassungsgesetz (BetrVG) haben. Außerdem sollten Arbeitgeber schon bei der Anschaffung prüfen, ob das KI-System für die geplante Nutzung geeignet ist und inwieweit Maßnahmen gegen Diskriminierung bei der Entwicklung getroffen worden sind.
