Die Digitalisierung verändert den Bereich Human Resources (HR) grundlegend. Künstliche Intelligenz (KI) wird zunehmend in HR-Prozesse integriert, um Effizienz zu steigern, Bewerbungsprozesse zu optimieren und Personalentscheidungen datenbasiert zu treffen. Doch mit den Chancen gehen auch rechtliche Herausforderungen einher, insbesondere im Hinblick auf Datenschutz, Diskriminierung und Transparenz.

KI kommt in verschiedenen Bereichen der Personalverwaltung zum Einsatz:

Programmatic Advertising: KI-gestützte Systeme wie Jobvector optimieren die Schaltung von Stellenanzeigen.
Bewerber- und Personalmanagement: Tools wie Rexx, Workday oder Personio nutzen KI für Lebenslauf-Parsing und Bewerberanalysen.
Personalentwicklung und Controlling: Plattformen wie Zavvy setzen KI ein, um Mitarbeiterentwicklungsmaßnahmen zu planen und auszuwerten.
Generative KI und Large Language Models (LLMs): Anwendungen wie ChatGPT unterstützen HR-Teams bei Textgenerierung, Chatbots und Datenanalysen.

Was ist KI und was kann sie – und was nicht?

Gemäß der KI-Verordnung der EU wird KI folgendermaßen definiert, Art. 3 Nr. 1 KI-VO:

„Ein KI-System ist ein maschinengestütztes System, das so konzipiert ist, dass es mit unterschiedlichem Grad an Autonomie operieren kann und nach seiner Einführung Anpassungsfähigkeit zeigt, und das für explizite oder implizite Ziele aus den Eingaben, die es erhält, ableitet, wie es Ergebnisse wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erzeugen kann, die physische oder virtuelle Umgebungen beeinflussen können.“

Ein wesentliches Merkmal von KI ist, dass sie mehr ist als ein rein regelbasiertes System zur automatischen Ausführung von Vorgängen (so auch Erwägungsgrund 6 KI-VO). Sie lernt aus Daten, setzt sich eigene Regeln und zieht daraus Schlussfolgerungen. Nur auf solche Systeme finden die Verbote und Anforderungen der KI-VO überhaupt Anwendung (dazu weiter unten).

Am Beispiel der generativen KI will ich ein paar „Charaktereigenschaften“ der KI darstellen, die wir uns immer wieder vor Augen führen sollten bei deren Beurteilung:

KI lernt keine Fakten – sie liefert nicht die eine richtige Antwort, sondern viele mögliche Antworten.
KI antwortet immer – auch wenn Informationen fehlen, wird dennoch eine Antwort generiert, wobei immerhin mehr Informationen die Ergebnisse verbessern.
KI weiß nicht, was richtig ist – ein Fact-Check hängt vom jeweiligen Kontext ab und bleibt letztlich der menschlichen Kontrolle überlassen.
KI denkt nicht logisch – Logik wird durch erlernte Muster nur imitiert.

Wir stehen also immer wieder vor der Frage „Soll ich der KI misstrauen?“ (ansonsten werden Fehler übersehen und Risiken manifestieren sich) oder „Soll ich der KI vertrauen?“ (ansonsten wird dauernd alles hinterfragt und es wird kein Nutzen generiert). Entsprechendes Hintergrundwissen eine ständige Mensch-KI-Interaktion ist daher schon deshalb essenziell.

Rechtliche Herausforderungen bei KI in HR

Diskriminierung und Bias (AGG)

KI-Modelle basieren auf Trainingsdaten. Sind diese unausgewogen oder voreingenommen, besteht die Gefahr von Diskriminierung, was zu Verstößen gegen das Allgemeine Gleichbehandlungsgesetz (AGG) führen kann. Problematisch ist dabei nicht zuletzt die gesetzlich vorgesehene Beweislastumkehr: Im Falle einer mutmaßlichen Diskriminierung liegt die Beweislast, dass kein Verstoß vorliegt, gemäß AGG beim Arbeitgeber. Unternehmen müssen daher nachweisen können, dass ihre KI-Systeme diskriminierungsfrei und fair arbeiten. Um Bias zu minimieren, sollte auf hinreichende Qualität der Trainingsdaten geachtet bzw. diese verbessert werden, d.h. die Auswahl der Daten sollte so divers und repräsentativ wie möglich sein, um Verzerrungen zu reduzieren. Und die eingesetzten KI-Modelle sollten fortwährend kontrolliert werden durch z.B. regelmäßige Audits u, um Diskriminierung frühzeitig zu erkennen und zu korrigieren.

Datenschutz (DSGVO & Beschäftigtendatenschutz)

Checkliste und Themen bzgl. KI

Bei der Nutzung von KI in HR sind zunächst die wohlbekannten Vorgaben und Grundsätze des Datenschutzes zu beachten, siehe nachstehende Checkliste. Allerdings machen ein paar Besonderheiten der KI die Dinge nicht einfacher, im Gegenteil:

KI-Systeme können große Datenmengen verknüpfen, was die Herstellung von Personenbezügen, mithin die Identifizierung des Einzelnen, erleichtert.
Die aktuell am verfügbaren KI-Systeme und KI-Modelle zumeist US-amerikanischer Anbieter, nebst deren „Informationspolitik“ bezüglich ihrer Modelle, machen die Feststellung vielfach schwierig bis unmöglich, ob man als Betreiber nun als (allein) Verantwortlicher handelt mit dem Anbieter als Auftragsverarbeiter, oder in gemeinsamer Verantwortlichkeit. Überhaupt taucht hier das Thema Drittstaatentransfer, insbes. in die USA (Stichworte Data Privacy Framework, Angemessenheitsbeschluss, Standardvertragsklauseln usw.), nochmals verschärft auf.
Sowohl für Erhebung der personenbezogenen Daten, für Training und Nutzung von KI-Systemen mit diesen Daten ist eine Rechtsgrundlage vorzuweisen und sind die Grundsätze der DS-GVO einzuhalten – Stichworte sind hier u.a. Zweckbindung und Erforderlichkeit, Einwilligung und insbes. sog. Art. 9-Daten oder auch Erforderlichkeit der Datenverarbeitung.
Es muss sichergestellt sein, dass betroffene Personen vollständig über die Datenverarbeitung informiert werden, einschließlich der oftmals vorgenommenen Zweckänderung. Auskunft muss erteilt werden (können) über die jeweils involvierte Logik und die eingesetzten Algorithmen und deren Funktionsweise.
Fehlerhafte Daten müssen korrigiert oder gelöscht werden können, wobei geeignete Mechanismen zur Datenbereinigung vorzusehen sind, was eigentlich nur mittels nachträglicher Filter geht.

Verbot automatisierter Entscheidungen

Die DS-GVO hält aber auch eine richtige KI-Bestimmung parat: Art. 22 DS-GVO verbietet grundsätzlich automatisierte Entscheidungen mit rechtlicher oder sonst erheblicher Auswirkung auf die betroffene Person. D.h., die KI darf bspw. keine Verträge abschließen oder ähnlich stark auf den Betreffenden und seine Rechtspositionen einwirken. Die Letztentscheidung muss immer beim Menschen liegen. Eine Ausnahme vom Verbot besteht, wenn sie für den Abschluss oder die Erfüllung eines Vertrags erforderlich ist, auf einer ausdrücklichen Einwilligung beruht oder sonst eine gesetzliche Grundlage besteht. Ein EuGH-Urteil zur Schufa vom 07.12.2023 stellte klar, dass auch bloße Entscheidungshilfen als automatisierte Entscheidung gewertet werden können, wenn sie das Ergebnis faktisch vorbestimmen.

Angewendet auf KI-Systeme: Das ist immer der Fall, wenn das KI-System eine Entscheidung trifft auf Grundlage personenbezogener Daten mit Wirkung gegenüber der betroffenen Person. Gleiches gilt aber auch, wenn das KI-System einen Wahrscheinlichkeitswert errechnet, auf dessen Grundlage der Verantwortlicher automatisiert eine Entscheidung trifft, diese also „maßgeblich“ auf dem Wert beruht. Nicht anwendbar ist Art. 22 jedoch, wenn das KI-System zum Beispiel einen zwar Wahrscheinlichkeitswert errechnet und der Verantwortlicher diesen Wert mit „human in the loop“ für eine nicht maßgeblich auf den Wert gestützte Entscheidung nutzt; ebenso, wenn das KI-System mehrere Wahrscheinlichkeitswerte errechnet, die nach eigener Logik vom Verantwortlichen bei dessen Entscheidung (nicht automatisiert) kombiniert werden.

Entscheider:innen müssen also in der Lage und Willens sein, den Vorschlag der KI nachzuvollziehen und zu hinterfragen -und das auch tun! Hier taucht ein wesentliches Problem von KI auf: KI-Modelle sind oft eine Blackbox, was diese Nachvollziehbarkeit erschwert.

Besondere Kategorien personenbezogener Daten

KI-Systeme für den Bereich HR – und insbesondere solche, die mit Big Data trainiert werden – enthalten häufig besondere Kategorien personenbezogener Daten gemäß Art. 9 DS-GVO. Diese sog. Art. 9-Daten umfassen u.a. Informationen zu Konfession, ethnischer Herkunft oder politischen Meinungen, regelmäßig Gesundheitsdaten. Diese dürfen eigentlich nur nach vorheriger Einwilligung der betroffenen Person verarbeitet werden. Im Beschäftigungskontext ist dies jedoch problematisch, da die Wirksamkeit solcher Einwilligungen im Beschäftigten-, also Abhängigkeitsverhältnis in Frage steht mangels Freiwilligkeit der Entscheidung.

Weitere Optionen wären hier, sich auf öffentlich zugängliche Daten zu beschränken oder eben Art. 9-Daten ganz zu vermeiden. Eine Verarbeitung sollte m.E. möglich sein, wenn die betroffenen Personen diese Daten selbst allgemein verfügbar gemacht haben. Dies wird jedoch durch den Europäischen Datenschutzausschuss (EDSA) bei Daten, die aus social Media entnommen werden, streng ausgelegt. Eine Vermeidung von sensiblen Daten wiederum erfordert viel Steuerung etwa beim Training von KI-Systemen. Sie ist auch nicht immer möglich, wobei allerding sog. „Beifang“ von Art. 9-Daten, wenn diese nicht in ihrem spezifischen Zusammenhang verarbeitet werden, akzeptabel sein sollte.

Entwurf eines Beschäftigtendatengesetzes

Am 8. Oktober 2024 wurde der Referentenentwurf für ein Beschäftigtendatengesetz (BeschDG) veröffentlicht. Ziel des Gesetzes ist es, einen fairen Umgang mit Beschäftigtendaten zu gewährleisten und sowohl Arbeitgebern als auch Beschäftigten mehr Rechtssicherheit zu bieten.

Das Gesetz behandelt viele Fragestellungen, die in den letzten Jahren durch die Rechtsprechung entwickelt oder geklärt wurden, unter anderem Regelungen zur Datenverarbeitung vor Begründung eines Arbeitsverhältnisses, Überwachung und Leistungskontrolle sowie zum Umgang mit biometrischen Daten. Das reichte also auch in den Bereich KI-Nutzung in der HR hinein.

Allerdings ist davon auszugehen, dass der Entwurf in dieser Legislaturperiode nicht mehr verabschiedet wird aufgrund des Bruchs der Ampel-Koalition und vorzeitiger Neuwahlen. Wir müssen also weiter abwarten.

KI-Verordnung der EU: Hochrisikosysteme in HR

Neu, nunja: fast neu, ist die KI-Verordnung, die sich dezidiert zu KI-Systemen und Anwendungen im Bereich HR äußert. Daher müssen wir auch hierauf einen genaueren Blick werfen.

Grundsätze

Die KI-Verordnung als Produktsicherheitsregulierung verfolgt einen risikobasierten Ansatz und reguliert KI-Systeme entsprechend ihrer potenziellen Gefahren für Individuen und Gesellschaft:

Unannehmbares Risiko: Bestimmte KI-Anwendungen, wie Social Scoring, sind verboten.
Hohes Risiko: Strenge Anforderungen für sog. Hochrisikosysteme – das liegt hier (HR) im Fokus, siehe nachfolgende Ausführungen.
Begrenztes Risiko: Transparenzpflichten, etwa Kennzeichnung von Chatbots.
Minimales Risiko: Weitgehend freie Nutzung.

HR-Anwendungen sind Hochrisiko-Systeme

Nach der kommenden KI-Verordnung der EU gelten KI-Systeme im Personalbereich fast grundsätzlich als Hochrisikoanwendungen, Art. 6 i.V.m. Annex III, Ziffer 4) lit. a, b KI-VO:

„[…] a) KI-Systeme, die bestimmungsgemäß für die Einstellung oder Auswahl natürlicher Personen verwendet werden sollen, insbesondere zur Schaltung gezielter Stellenanzeigen, zur Analyse und Filterung von Bewerbungen und zur Bewertung von Bewerbern; b) KI-Systeme, die dazu verwendet werden sollen, Entscheidungen zu treffen, die sich auf die Bedingungen des Arbeitsverhältnisses, die Beförderung und die Beendigung von Arbeitsvertragsverhältnissen auswirken, Aufgaben auf der Grundlage von individuellem Verhalten oder persönlichen Eigenschaften oder Merkmalen zuzuweisen und die Leistung und das Verhalten von Personen in solchen Verhältnissen zu überwachen und zu bewerten sowie das Verhalten von Personen in entsprechenden Beschäftigungsverhältnissen zu beobachten und zu bewerten.“

Dies betrifft also einerseits die arbeitsbezogene Verwendung i.R.v. Beschäftigung und Personalmanagement, insbesondere Bewerberauswahl und -bewertung, Entscheidungen über Beförderungen, Versetzungen oder Kündigungen und Überwachung und Bewertung von Mitarbeiterleistungen. Anderseits betrifft es den Einsatz von KI-Modelle mit allgemeinem Verwendungszweck, die aufgrund ihrer konkreten Aufgabe als Hochrisikosystem bewertet werden (können), wie Bild- oder Spracherkennung oder Chatbots.

Anforderungen an Hochrisiko-Systeme

Unternehmen, die KI dergestalt einsetzen (wollen), müssen strenge Anforderungen erfüllen, darunter:

Risikomanagement: Ständige Identifikation, Bewertung und Kontrolle der mit der KI-Nutzung verbundenen Risiken. Dieser iterative Prozess muss den gesamten Lebenszyklus der KI umfassen.
Strenge Data-Governance: Hohe Anforderungen an die Qualität der Trainings-, Validierungs- und Testdatensätze. Sie müssen hinsichtlich ihrer Herkunft, Relevanz, Zweckgebundenheit und Vollständigkeit geprüft werden.
Umfassende technische Dokumentation: KI-Systeme müssen genau dokumentiert werden, insbesondere hinsichtlich ihrer Funktionsweise, um eine Nachvollziehbarkeit für Behörden und betroffene Personen zu gewährleisten.
Transparenzpflichten: Unternehmen müssen sicherstellen, dass Nutzer und betroffene Personen verstehen, wie KI-Entscheidungen getroffen werden, um nachvollziehbare und erklärbare Prozesse zu garantieren.
Menschliche Aufsicht: KI-gestützte Entscheidungen müssen durch Menschen überprüft werden können. Anomalien und Fehler sind frühzeitig zu erkennen und zu beheben.
Hohe Sicherheitsstandards: Der Schutz vor Cyberangriffen sowie Manipulationen an der KI muss gewährleistet sein.

Verstöße gegen die KI-Verordnung können mit Bußgeldern von bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes geahndet werden. Allerdings stoßen wir hier auf die oben genannten Probleme bezüglich mangelnder Transparenz und Informationsdefizite, da KI oftmals für Betreiber von KI-Systemen eine Blackbox ist und bleibt.

Ausnahmen

Unter bestimmten Umständen kann der Einsatz von KI-Systeme im HR-Bereich von den strengsten Regelungen ausgenommen sein. Art. 6 Abs. 2a KI-Verordnung sieht einen Katalog von Ausnahmen vor, die wir uns – glaube ich – im Bereich HR zunutze machen können, ohne den Einsatz von KI unprofitabel zu machen.

KI-Systeme, die lediglich enge verfahrenstechnische Aufgaben übernehmen, also eine bloß unterstützende, aber nicht entscheidende Rolle spielen, könnten unter weniger strengen Anforderungen betrieben werden. Beispiel: Lebenslauf-Parsing zur Vorauswahl von Bewerbungen.
Wenn eine KI ausschließlich zur Ergänzung bzw. Verbesserung bereits getroffener menschlicher Entscheidungen genutzt wird, ohne diese maßgeblich zu beeinflussen, kann eine Ausnahme greifen. Beispiel: Ein Online-Assessment, das durch wissenschaftlich validierte Diagnostik unterstützt.
KI-Systeme, die lediglich Trends oder Abweichungen in Entscheidungen erkennen, ohne dabei die eigentlichen Entscheidungen zu beeinflussen, fallen nicht unter die strikten Regelungen. Beispiel: Personalcontrolling, das geschlechtsbezogene Gehaltsunterschiede aufzeigt.
KI-Systeme, die ausschließlich zur Unterstützung bzw. Vorbereitung der Entscheidungsfindung beitragen, ohne selbst die finale Bewertung vorzunehmen, können von den hohen Anforderungen ausgenommen sein. Beispiel: Identifikation von Mitarbeitenden für Weiterbildungsmaßnahmen.

Unternehmen müssen dokumentieren, ob eine Ausnahme nach Art. 6 Abs. 2a KI-VO für ihre eingesetzten KI-Systeme zutrifft und dies im Falle einer Prüfung nachweisen können.

Einsatz von Large Language Models

Large Language Models (LLM) wie ChatGPT & Co. können für unproblematische Aufgaben in der HR eingesetzt werden, vorausgesetzt folgendes wird beachtet: Es sollten keine Kunden- oder Beschäftigtendaten eingeben werden, wenn diese Daten von den Modellen in die Cloud hochgeladen und zu Trainingszwecken genutzt werden. Es sollte hier also das Opt-out für Training und History und nach Möglichkeit Funktions-Accounts genutzt werden. Die Ausgaben der Modelle müssen immer auf Richtigkeit und Diskriminierung hin überprüft werden und jegliche automatisierte Letztentscheidung ausgeschlossen werden. Plus natürlich die weiteren, oben genannten Aspekte zum Datenschutz.

Handlungsempfehlungen für Unternehmen

Damit der Einsatz von KI in HR rechtssicher und ethisch vertretbar bleibt, sollten Unternehmen auf jeden Fall eine KI-Strategie entwickeln, einschließlich der Identifizierung von konkreten Use cases und der Festlegung von Zielen und Grenzen des KI-Einsatzes. Dazu kann bzw. sollte die Einführung einer KI-Richtlinie dienen mit Definitionen von zulässigen und unzulässigen Anwendungen. Datenschutzmaßnahmen sind umsetzen, um DS-GVO-Konformität zu gewährleisten. Diskriminierungsrisiken sind zu minimieren durch regelmäßige Kontrolle und Anpassung der eingesetzten KI-Modelle. Ohne menschliche Aufsicht, geht das – wie wir gelernt haben – nicht. Letztentscheidungen sollten durch Menschen und nicht vollständig automatisiert durch die KI-Systeme getroffen werden. Nicht zuletzt sollten die technischen und rechtlichen Entwicklungen aufmerksam verfolgt werden.

So gilt beispielsweise die Schulungspflicht nach Art. 4 KI-VO ab Anfang Februar dieses Jahres. Wenn man sich das zu Herzen nimmt, so kann man bis zum Inkrafttreten der oben vorgestellten Anforderungen an Hochrisikosysteme im Sommer 2026 vieles bewerkstelligen, um den KI-Einsatz in der HR auf eine gesunde und profitable Basis zu stellen.

Das Thema Mitbestimmung im Betrieb in Hinblick auf den Einsatz von KI habe ich hier übrigens ausgelassen, weil das hier den Rahmen und meine Kompetenzen sprengen würde.

Fazit

Der Einsatz von KI in HR bietet enorme Potenziale, erfordert aber eine sorgfältige rechtliche und ethische Abwägung. Unternehmen müssen sich der Risiken bewusst sein und geeignete Schutzmaßnahmen implementieren. Nur so kann KI im Personalwesen effizient und rechtskonform eingesetzt werden. Dann aber kann KI erhebliche Erleichterungen und Kostenersparnisse bringen.

KI in der HR: Chancen, Risiken und rechtliche Herausforderungen