Gestern, am 27. Februar 2025, hat der Europäische Gerichtshof (EuGH) in der Rechtssache C-203/22 „Dun & Bradstreet Austria“ ein wegweisendes Urteil zur Transparenz automatisierter Bonitätsbewertungen gefällt. Die Entscheidung stärkt die Rechte betroffener Personen und verpflichtet Unternehmen, deren Bewertungsverfahren offenzulegen. Die Entscheidung und die Ausführungen des EuGH haben direkte Auswirkungen auf Unternehmen, die automatisierte Entscheidungsfindung (Automated Decision Making, kurz ADM) einsetzen – einschließlich KI-Anwendungen.
Hintergrund
Die Klägerin, eine österreichische Verbraucherin, wollte einen Mobilfunkvertrag abschließen, wurde jedoch von dem Anbieter aufgrund einer negativen Bonitätsbewertung abgelehnt. Diese Bewertung beruhte auf einer automatisierten Analyse durch Dun & Bradstreet Austria, ohne dass die Klägerin nähere Informationen zu den zugrunde liegenden Kriterien oder den verwendeten Daten erhielt. Daraufhin klagte sie auf Auskunft über die Bewertungsmethode und die genutzten Daten. Der EuGH hatte letztlich zu klären, ob eine solche automatisierte Bonitätsbewertung den Anforderungen der Datenschutz-Grundverordnung (DSGVO) genügt.
Der EuGH entschied, dass ein Verstoß gegen die DS-GVO vorliege, weil das Unternehmen seinen Transparenzpflichten nicht hinreichend nachgekommen ist. Über das Verbot automatisierter Entscheidungen nach Art. 22 DS-GVO habe ich schon im Zusammenhang mit HR-Tools eingehend berichtet, auch im Lichte des Schufa-Urteils aus 2023. Solche ADM sind datenschutzrechtlich nur in bestimmten Ausnahmefällen zulässig, siehe Abs. 2. lit. a) – c): erforderlich für Vertragsanbahnung oder -erfüllung; aufgrund von bestimmten Rechtsvorschriften; mit ausdrücklicher Einwilligung der betroffenen Person.
Voraussetzung für faire und transparente Datenverarbeitung
Selbst wenn aber ein solcher Erlaubnistatbestand vorliegt, ist und bleibt immer die hinreichende Information der Betroffenen darüber erforderlich, was das Unternehmen mit welchen personenbezogenen Daten wie und wann macht, siehe Art. 12 DS-GVO: „Der Verantwortliche trifft geeignete Maßnahmen, um der betroffenen Person alle Informationen gemäß den Artikeln 13 und 14 und alle Mitteilungen gemäß den Artikeln 15 bis 22 und Artikel 34, die sich auf die Verarbeitung beziehen, in präziser, transparenter, verständlicher und leicht zugänglicher Form in einer klaren und einfachen Sprache zu übermitteln; …“ Hierbei geht es also sowohl um die Informationen, die vor Beginn der Datenerhebung und -verarbeitung zu geben sind (Art. 13 und 14), als auch um Auskünfte, die der Verantwortliche wie im vorliegenden Fall auf Informationsersuchen der betroffenen Person hin erteilen muss (Art. 15). Das Scoring-Unternehmen Dun & Bradstreet war hier wesentlich zu kurz gesprungen. Weder gab es für die Klägerin überhaupt irgendwelche Informationen bei Datenerhebung (gem. Art. 13, 14 DS-GVO), noch war die nach Art. 15 erteilte Auskunft ausreichend.
Art. 13 bis 15 DA-GVO listen umfangreich auf, welche Informationen dabei gegeben werden müssen. Diese umfassen laut Art. 13 Abs. 2 solche, die „notwendig sind, um eine faire und transparente Verarbeitung zu gewährleisten“, was in Bezug auf ADM gem. Art. 22 präzisiert wird auf „aussagekräftige Informationen über die involvierte Logik sowie die Tragweite und die angestrebten Auswirkungen einer derartigen Verarbeitung für die betroffene Person“ (so auch Art. 15 Abs. 1 lit. h) DS-GVO). Der EuGH hat nun präzisiert, was darunter zu verstehen ist und damit klare Vorgaben gemacht für Unternehmen, die sich ADM bedienen (wollen).
Die Transparenzvorgaben des EuGH für ADM
Der Verantwortliche muss das Verfahren und die Grundsätze, die konkret zur Anwendung kommen, so beschreiben, dass die betroffene Person nachvollziehen kann, welche ihrer personenbezogenen Daten im Rahmen der automatisierten Entscheidungsfindung auf welche Art verwendet wurden. Das meint laut EuGH i.S.v. Art. 15 Abs. 1 lit. h) DS-GVO alle Informationen, „die für das Verfahren und die Grundsätze der automatisierten Verarbeitung personenbezogener Daten zum Erreichen eines bestimmten Ergebnisses auf der Grundlage dieser Daten maßgeblich sind“.
Vorliegend wären das die im Rahmen der Bildung eines „Faktors“ verarbeiteten personenbezogenen Daten wie Geburtsdatum, Adresse, Geschlecht etc. Wie ist die automatisierte Bewertung im Einzelfall zustande gekommen? Welche Datenquellen und welche Berechnungsmethoden wurden angewandt? Hier beträfe das die der Berechnung des in Rede stehenden „Scores“ zugrunde liegende mathematische Formel, aber etwa auch die konkreten Intervalle, innerhalb deren unterschiedlichen Daten zum selben Faktor derselbe Wert beigemessen wird. In der Vorinstanz wurde von Sachverständigenseite auch gefordert, es solle eine Liste mit den „Scores“ von Personen („Scoring“) übermitteln, die im Zeitraum von sechs Monaten vor und sechs Monaten nach der Berechnung des „Scores“ der Klägerin erstellt worden seien und auf derselben Berechnungsregel basierten.
Im Ergebnis muss die Information bzw. Auskunft so beschaffen sein, dass sie es der betroffenen Person ermöglicht, die automatisierte Entscheidung nachzuvollziehen und sie anzufechten. Dazu gehört laut Erwägungsgrund 58 der DS-GVO, dass die Information präzise, leicht zugänglich und verständlich sowie in klarer und einfacher Sprache abgefasst ist und gegebenenfalls zusätzlich visuelle Elemente verwendet werden. Der EuGH spricht hier von einem Recht auf Erläuterung „des Verfahrens und der Grundsätze […], die bei der automatisierten Verarbeitung der personenbezogenen Daten der betroffenen Person zur Anwendung kamen, um auf der Grundlage dieser Daten zu einem bestimmten Ergebnis – etwa einem Bonitätsprofil – zu gelangen.“
Der EuGH hat dabei einerseits bestimmte Argumentationen von Dun & Bradstreet zerrissen und andererseits Aussagen getroffen, die über den vorliegenden Streitfall weit hinausweisen:
Übermittlung des Algorithmus genügt nicht
Automatisierter Entscheidungsprozesse, die auf komplexen Machine-Learning-Algorithmen (z. B. neuronalen Netzen) basieren, sind für Verbraucher:innen und selbst für Unternehmen schwer nachvollziehbar – das Black-Box-Problem. Der EuGH stellt fest: „Weder die bloße Übermittlung einer komplexen mathematischen Formel (etwa eines Algorithmus), noch die detaillierte Beschreibung jedes Schritts einer automatisierten Entscheidungsfindung genügen diesen Anforderungen, da beides keine ausreichend präzise und verständliche Erläuterung darstellt.“. Es bedürfe aussagekräftiger Informationen über die Logik, nicht eine ausführliche Erläuterung des Algorithmus oder gar dessen Offenlegung. Es liegt m.E. auf der Hand, dass dies für den Laien regelmäßig Steine statt Brot wären. Un die DS-GVO fordert derlei eben auch gar nicht.
Geheimnisschutz schützt nicht vor der Auskunftspflicht
Es soll laut EuGH nicht ausreichen, sich für eine Ablehnung oder starke Begrenzung des Informationsumfanges gegenüber den Betroffenen schlicht darauf zu berufen, dass eine solche Erläuterung bzw. die dabei übermittelten Informationen eigene Geschäftsgeheimnisse des Verantwortlichen oder geschützte Daten Dritter umfassten. Wenn derlei vorgebracht wird, sind diese angeblich geschützten Informationen und Daten der zuständigen Aufsichtsbehörde oder dem zuständigen Gericht zu übermitteln, welche dann die einander gegenüberstehenden Rechte und Interessen abwägen, um den Umfang des Auskunftsrechts der betroffenen Person hinsichtlich dieser Informationen zu ermitteln.
Counterfactuals als mögliche Lösung!
Das Gericht macht darüber hinaus klar, dass für eine transparente und nachvollziehbare Erläuterung ausreichen könnte, darüber zu informieren, in welchem Maße eine Abweichung bei den berücksichtigten personenbezogenen Daten zu einem anderen Ergebnis geführt hätte. Das ist eine ganz wesentliche und zukunftsweisende Aussage, die Unternehmen im Bereich ADM beherzigen sollten!
Gemeint sind sog. Counterfactual Explanations („kontrafaktische Erklärungen“), also hypothetische Szenarien, die einer betroffenen Person aufzeigen, welche Änderungen an den Eingabedaten erforderlich wären, um eine andere Entscheidung zu erhalten. Das bedeutet, dass nicht nur das Ergebnis einer automatisierten Entscheidung offengelegt wird, sondern auch, welche Faktoren die Entscheidung beeinflusst haben und wie sie sich ändern müssten, um ein anderes Resultat zu erzielen.
Eine solche kontrafaktische Erklärung könnte wie folgt aussehen:
„Ihr Antrag wurde aufgrund eines niedrigen Bonitätsscores von 540 abgelehnt. Wäre Ihr jährliches Einkommen um 5.000 € höher gewesen oder hätten Sie eine um 2 Jahre längere Beschäftigungsdauer in Ihrem aktuellen Job nachweisen können, hätten Sie eine Genehmigung erhalten.“
Counterfactuals bieten eine klare, verständliche und interpretierbare Erklärung, die hilft, den Entscheidungsprozess und die Gründe für eine Entscheidung nachzuvollziehen. Die betroffene Person erfährt nicht nur, dass sie abgelehnt wurde, sondern auch warum – und was sie ändern könnte. Counterfactuals können somit genau die geforderte aussagekräftige Logik liefern, indem sie zeigen, welche Daten relevant waren. Die betroffene Person kann Fehler oder unzutreffende oder unfaire Kriterien (z. B. fehlerhafte Einkommensdaten) erkennen und eine Korrektur bzw. manuelle Überprüfung verlangen oder Einspruch erheben, also ihre Rechte geltend machen.
Auch das Black-Box-Problem können Counterfactuals erleichtern, wie sie Entscheidungen greifbarer machen und bestimmte Muster leichter identifizieren und korrigieren lassen. Sie können bspw. potenzielle Diskriminierungen sichtbar machen, etwa dass Personen aus bestimmten Stadtteilen systematisch schlechtere Bonitätsbewertungen erhalten. Allerdings gehört zur Wahrheit dazu, dass bei hochkomplexen KI-gestützten Scoring-Modellen die Erstellung nachvollziehbarer Counterfactuals ihrerseits technisch anspruchsvoll ist.
Erste Reaktionen
Die österreichische Datenschutzbehörde (DSB) hat das Verfahren aufmerksam verfolgt und in Stellungnahmen betont, dass die Transparenz bei automatisierten Entscheidungsprozessen essenziell für den Schutz personenbezogener Daten ist. Sie begrüßte die Klarstellung des EuGH, dass betroffene Personen ein Recht auf umfassende Auskunft über die Funktionsweise solcher Systeme haben.
Auf Ebene des europäischen Gesetzgebers wurde das Urteil als Bestätigung der in der Datenschutz-Grundverordnung (DSGVO) verankerten Rechte gesehen. Mitglieder des Europäischen Parlaments äußerten, dass das Urteil die Notwendigkeit unterstreicht, bestehende Datenschutzgesetze strikt anzuwenden und gegebenenfalls anzupassen, um den Herausforderungen durch fortschreitende Automatisierung gerecht zu werden.
Verbraucherschutzorganisationen in Deutschland und Österreich begrüßten das Urteil als wichtigen Schritt zur Stärkung der Rechte von Konsumenten. Sie forderten Unternehmen auf, ihre Bewertungsverfahren transparenter zu gestalten und sicherzustellen, dass Verbraucher nachvollziehen können, wie Entscheidungen über ihre Kreditwürdigkeit getroffen werden.
Die Wirtschaft zeigte sich geteilt: Während einige Unternehmen die Entscheidung als Chance sehen, das Vertrauen ihrer Kunden durch erhöhte Transparenz zu stärken, äußerten andere Bedenken hinsichtlich des Schutzes von Geschäftsgeheimnissen und der praktischen Umsetzung der geforderten Offenlegungen.
Insgesamt wird erwartet, dass das Urteil des EuGH langfristige Auswirkungen auf die Praxis der automatisierten Datenverarbeitung in Europa haben wird.
Fazit
Jede Verarbeitung personenbezogener Daten muss auf einer wirksamen Rechtsgrundlage basieren, insbes. aus dem Katalog des Art. 6 DS-GVO. Bei ADM sind zudem die engen Grenzen des Art. 22 zu berücksichtigen. Damit allein ist es jedoch nicht getan, denn für eine rechtmäßige, heißt faire und transparente Verarbeitung muss die betreffende Person eben auch angemessen informiert werden, und zwar so, dass sie die Tatsachen und Umstände, die Zusammenhänge und Auswirkungen auch tatsächlich versteht. Hochkomplexe technische Funktionsweisen und abstrakte Formeln müssen für den Laien verständlich diesem erläutert werden. Wie das aussehen muss, aber auch wie es funktionieren kann – dafür hat der EuGH nun wegweisende Vorgaben gemacht. Meiner Ansicht nach sind Counterfactuals ein probates Mittel, um den Transparenzpflichten möglichst zu entsprechen. Voraussetzung ist natürlich, dass derjenige, der sich ADM bedient, über ein Mindestmaß an Kenntnis und Verständnis für das von ihm genutzte oder angebotene System verfügt. Sich diese Mühe zu machen, kann man sich leider nicht ersparen.
