Im kommenden Frühling oder Frühsommer tritt die Verordnung zur Festlegung harmonisierter Vorschriften für Künstliche Intelligenz (kurz KI-Verordnung; KI-VO oder auch AI Act) in Kraft. Hier gebe ich einen Überblick, worum es dabei genau geht.

Außerdem: Das ist der Beginn einer Reihe von Artikeln zum Thema künstliche Intelligenz:

An dieser Stelle werde ich in den nächsten Wochen und Monaten in kurzen Abständen Informationen zu verschiedenen Aspekten des Einsatzes künstlicher Intelligenz veröffentlichen – angefangen heute mit dem hochaktuellen AI Act, über rechtliche Betrachtungen zu generativer KI, Technologien wie Large Language Modellen und Anwendungen wie ChatGPT, zu Themen wie KI in der HR und Fragen des Datenschutzes oder des geistigen Eigentums bei KI. Also dranbleiben!

Der EU Artificial Intelligence Act – Worum geht es?

Die EU möchte eine sichere Rechtsgrundlage schaffen für den Einsatz von künstlicher Intelligenz in Europa. Das sind die Ziele:

Einerseits sollen die Anbieter von Technologien und Anwendungen, die auf KI basieren oder diese enthalten, einen Rahmen vorfinden, der ihnen vorgibt, unter welchen Voraussetzungen sie KI in ihren Produkten und Dienstleistungen am EU-Binnenmarkt anbieten können. Was muss ich beachten, was muss ich tun, wenn ich KI in der EU anbieten will? Welche Anforderungen muss ich bzw. muss mein Produkt bzw. meine Dienstleistung erfüllen? Ist ein fairer Marktzugang und Wettbewerb von KI-Systemen im EU-Binnenmarkt gesichert? An welche offizielle Stelle kann ich mich wenden, wenn ich Fragen zur Regulierung habe? Diese Fragen zu beantworten, schafft – der Idee nach – Sicherheit und soll den Einsatz von KI, vor allem aber auch Investitionen in diese Technologie und somit Innovationen befördern.

Andererseits soll mit der KI-Verordnung (kurz KI-VO) eine Regulierung geschaffen werden, welche den Schutz der Rechte und Freiheiten der Individuen im Blick hat, die KI-Produkte nutzen wollen (und sollen) oder mit KI in Berührung kommen bzw. deren Daten mittels KI verarbeitet werden. Ein wesentliches Ziel der KI-VO ist denn auch, eine sichere KI zu gewährleisten, die bestehenden Grundrechte und die Werte der Union zu wahren und dadurch das Vertrauen in die Technologie zu stärken.

Insgesamt soll die Entwicklung eines Binnenmarkts für rechtskonforme, sichere und vertrauenswürdige KI-Anwendungen erleichtert und eine Marktfragmentierung verhindert werden. Übergeordnetes Ziel ist die Sicherstellung des ordnungsgemäßen Funktionierens des Binnenmarktes durch Festlegung von Bedingungen für vertrauenswürdige KI.

Mittel der Wahl: Produktregulierung

Die KI-VO ist ihrem Wesen nach eine klassische Produktregulierung, wie wir es seit langem für zahlreiche Produkte auf EU-Ebene kennen. Im EU-Binnenmarkt bestehen bereits über 70 harmonisierte Vorschriften über die Anforderungen an Produkte. Dazu gesellt sich nun auch die KI-VO. Es geht also um Produktsicherheit und Marktüberwachung, Regulierungsgegenstand sind KI-Systeme (Definition aus der KI-VO siehe unten). Für diese werden Mindestanforderungen gesetzt, die einzuhalten sind, um am europäischen Markt überhaupt als sicher zu gelten und in Verkehr gebracht werden zu dürfen. Dies durchzusetzen obliegt dann den jeweiligen zuständigen nationalen Behörden (auch dazu weiter unten).

Als Rechtsakt setzt die KI-„Verordnung“ direkt geltendes Recht. Sie muss also nicht wie eine EU-Richtlinie erst noch in nationales Recht umgesetzt werden, sondern wirkt gleichermaßen in allen Mitgliedstaaten. Das kennen wir bspw. schon von der Datenschutz-Grundverordnung.

Wie „reguliert“ die KI-Verordnung?

Risikobasierter Ansatz

Die KI-VO unterscheidet zunächst KI-Systeme nach den mit ihnen verbundenen unterschiedlichen Risiken bzw. Risikostufen. Gemeint sind hier Risiken für die Gesundheit und Sicherheit oder für die Grundrechte natürlicher Personen. Die vier Abstufungen sind KI-Systeme mit unannehmbarem Risiko, mit einem hohen Risiko, mit begrenztem Risiko und solchen mit nur minimalem oder keinem Risiko. Je nach Risikostufe spricht die KI-VO strikte Verbote für deren Verwendung aus oder setzt mehr oder weniger strenge Anforderungen für deren Einsatz. Das nennt sich „risikobasierter“ Ansatz und soll sicherstellen, dass nur jeweils so viel oder so intensiv reguliert wird, wie es dem den KI-Systemen innewohnenden Risiko entspricht. Auch dieses Prinzip kennen wir bereits von der DS-GVO.

Das Herstellen, Inverkehrbringen und Nutzen von KI-Systemen mit unannehmbaren Risiken, etwa social scoring, sind danach in der EU schlicht verboten. Für KI-Systeme mit hohen Risiken werden strenge, zu erfüllende Anforderungen gesetzt, bei solchen mit begrenztem Risiko sind bestimmte Transparenzpflichten vorgesehen und KI-Systeme mit minimalem oder keinem Risiko sieht die EU keinen Regulierungsbedarf.

Definition von „KI-Systemen“

Was die KI-VO unter „KI-Systemen“ genau versteht, findet sich in Art. 3 der KI-VO: “Ein KI-System ist ein maschinengestütztes System, das so konzipiert ist, dass es mit unterschiedlichem Grad an Autonomie operieren kann und nach seiner Einführung eine Anpassungsfähigkeit aufweist, und das für explizite oder implizite Ziele aus den Eingaben, die es erhält, ableitet, wie es Ergebnisse wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erzeugen kann, die physische oder virtuelle Umgebungen beeinflussen können.“ [eigene Übersetzung] Das entspricht der 2023 überarbeiteten Definition der OECD, ergänzt um das Merkmal der Autonomie, stellt also insoweit keine EU-Insellösung dar, sondern ist unternational anschlussfähig.

Kritischen Stimmen nach ist die Definition zu weit und zu pauschal bzw. nicht eindeutig genug; was genau meint „unterschiedlicher Grad an Autonomie“? Die EU-Kommission wird (zukünftig, irgendwann, irgendwie) eine Liste mit Beispielen erstellen, welche Systeme unter KI fallen und welche nicht.

Was muss ich als Anbieter tun?

Risikoklassifizierung

Fällt das betreffende Technologie oder Anwendung unter obige Definition von „KI-System“, muss der Anbieter selbständig und in eigener Verantwortung die Risikoklassifizierung des KI-Systems durchführen. Es ist also eigenständig nach Maßgabe der KI-VO zu bestimmen, zu welcher Kategorie bzw. Risikostufe die vorliegende KI wohl gehört, insbesondere ob ein unannehmbares Risiko mit ihr verbunden ist. Kernvorschriften sind hier Art. 5 und 6 der KI-VO, welche in Verbindung mit den Anhängen II und III die verbotenen und die sog. Hochrisikosysteme beschreiben. Das sind umfangreiche Kataloge und Listen mit Beschreibungen und Referenzierungen und für den Laien gewiss nicht auf Anhieb leicht verständlich. Mehr Handreichungen bietet die EU-Kommission zurzeit noch nicht – das soll aber nachgereicht werden.

Dokumentation und Registrierung

Hält ein Anbieter sein KI-System nach erfolgter Prüfung für nicht verboten und nicht hochriskant, ist die Prüfung zu dokumentieren, die Dokumentation auf Verlangen der Aufsichtsbehörde offenzulegen und das KI-System in einer (noch zu schaffenden) EU-Datenbank (dazu unten) zu registrieren.

Welche KI-Systeme sind verboten?

Art. 5 KI-VO

Art. 5 KI-VO verbietet – verkürzt zusammengefasst – KI-Systeme oder Praktiken von KI, welche meist zum Nachteil der Betroffenen heimlich, manipulativ, täuschend und/oder durch Ausnutzung deren körperlichen, geistigen Einschränkungen oder sozialen oder wirtschaftlichen Situation auf diese einwirken oder deren Verhalten bewerten, klassifizieren oder vorhersagen, ebenso biometrische Kategorisierungssysteme und KI-Systeme, die Rückschlüsse auf sensible Informationen oder Emotionen zulassen, sowie bestimmte biometrische Fernidentifizierungs- und Gesichtserkennungssysteme. Sie alle beinhalten unannehmbare Risiken, wobei auch vereinzelte Ausnahmen genannt werden.

Wie identifiziere ich Hochrisiko-KI-Systeme?

Art. 6 KI-VO, Anhänge II und III

Das regelt Art. 6 KI-VO i.V.m. den Anhängen II und III: KI-Systeme, die Sicherheitsbauteile darstellen oder die unter Anhang II fallen, etwa Maschinen, Brennstoffe, Medizinprodukte, allerlei Fahrzeuge, Flugsicherheitsprodukte usw., und die nach einem der dort aufgelisteten (bereits bestehenden) Rechtsakte einer Konformitätsbewertung durch Dritte unterzogen werden müssen (Stichwort Produktregulierung und Marktüberwachung, siehe oben), sind automatisch Hochrisiko-KI-Systeme; bei solchen, die in die Bereiche von Anhang III fallen, kommt es darauf an, ob sie im Einzelfall tatsächlich ein „signifikantes“ Risiko mit sich bringen und ob sie die in Rede stehende Entscheidung (des KI-Systems) maßgeblich beeinflussen oder nicht. Keine solche maßgebliche Beeinflussung besteht jedenfalls bei KI-Systemen, die eingesetzt werden für enge verfahrenstechnische Aufgaben, reine Vorbereitungsaufgaben, die Verbesserung der Ergebnisse von zuvor durchgeführten menschlichen Tätigkeiten oder die Erkennung von Entscheidungen oder Ausreißern, ohne menschliche Beurteilungen zu ersetzen. Bei Anhang III geht es um Bereiche wie Biometrics, kritische Infrastruktur, Bildung, Beschäftigungsverhältnisse, essentielle private und öffentliche Dienstleistungen, Rechtsdurchsetzung, Asyl und Migration, Grenzschutz, Justizverwaltung oder demokratische Prozesse.

Fest steht, dass die Erstellung von Profilen natürlicher Personen („Profiling“) immer mit einem hohen Risiko verbunden sein wird!

Bewertungshilfen

Neben Art. 6 der KI-VO geben insbesondere die Erwägungsgründe 31 und 32 Anhaltspunkte bzw. Auslegungshilfen für die Frage, ob nun ein hohes Risiko vorliegt oder nicht. Aber all das richtig zu beurteilen wird nach meiner Einschätzung für den Laien vorerst mit erheblichen Unisicherheiten verbunden bleiben. Auch ich kann jetzt und hier nicht mit einem vorsortierten Katalog an KI-Systemen nebst Risikoeinstufung aufwarten. Erst binnen 18 Monaten ist die EU-Kommission gehalten, eine Liste mit Beispielen hochriskanter Systeme zu veröffentlichen. Andererseits wird gerade positiv gesehen, dass Unternehmen die Risikoklassifizierung selbstständig durchführen, da sie selbst ihre KI-Systeme am besten kennten und das Risiko daher am besten einschätzen könnten.

Was sind die Anforderungen an Hochrisiko-KI-Systeme?

Compliance-Anforderungen

Im Kern geht es um Compliance-Anforderungen, um bestehende Risiken des KI-Systems einzuhegen und deren Einsatz so sicher wie möglich zu gestalten. Hochrisiko-KI-Systeme werden auf dem EU-Markt zugelassen, sofern vorab eine Konformitätsbewertung durchgeführt wurde und sie zwingend vorgeschriebenen Anforderungen genügen. Geregelt sind die Anforderungen in Art. 9 bis 15 KI-VO. Anbieter bzw. Anwender von Hochrisiko-KI-Systemen sind zu folgendem verpflichtet:

Angemessene Risikobewertungs-u. Minderungssysteme zu implementieren, also ein Risikomanagement aufzusetzen, zu implementieren, zu dokumentieren und während des Lebenszyklus des KI-Systems aufrecht zu erhalten (Art. 9 Abs. 1).
Tätigkeiten für die Rückverfolgbarkeit der Ergebnisse zu protokollieren, d.h. hinreichende Datenqualität für Trainings-, Validierungs- und Testdatensätze zu gewährleisten, durch verhältnismäßige Datenverwaltungs- und Datenmanagementpraktiken, die für den beabsichtigten Zweck des KI-Systems geeignet sind (Art. 10 Abs. 2), durch das ausschließliche Verwenden von Datensätzen, die sachdienlich, hinreichend repräsentativ und im Hinblick auf den angestrebten Zweck so weit wie möglich fehlerfrei und vollständig sind (Art. 10 Abs. 3) und die in dem Maße, wie es der beabsichtigte Zweck erfordert, die besonderen Merkmale oder Elemente des spezifischen geografischen, kontextuellen, verhaltensmäßigen oder funktionalen Umfelds ihres Einsatzes berücksichtigen (Art 10 Abs. 4).
Eine technische Dokumentation vor dem Inverkehrbringen oder der Inbetriebnahme des KI-Systems zu erstellen (nach Maßgabe von in Anhang IV) und auf dem neuesten Stand zu halten (Art. 11 Abs. 1), um den Aufsichtsbehörden zu ermöglichen, die Compliance zu kontrollieren.
Zu ermöglichen, dass KI-Systeme technisch automatisch Ereignisse während der gesamten Lebensdauer des Systems aufzeichnen können (sog. „Logs“), bei biometrischen Systemen unter gesonderten Anforderungen. (Art. 12 Abs. 3).
KI-Systeme so zu konzipieren, dass ihre Funktionsweise hinreichend transparent ist, damit die Anwender die Ergebnisse des Systems interpretieren und diese angemessen nutzen können (Art. 13 Abs. 1) sowie eine einfach verständliche digitale Bedienungsanleitung vorhalten (Art. 13 Abs. 2 u. 3).
KI-Systeme so zu konzipieren, dass sie von natürlichen Personen – dem jeweiligen Risiko und Nutzungskontext gemäß – wirksam überwacht werden können, solange das KI-System in Betrieb ist, etwa durch geeignete Werkzeuge für Mensch-Maschine-Schnittstellen.
Eine hohe Robustheit, Sicherheit und Genauigkeit sicherzustellen, d.h. KI-Systeme so zu konzipieren, dass sie ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen und dies während ihres gesamten Lebenszyklus aufrecht zu erhalten (Art. 15 Abs. 1).

Hier kommt auch das Prinzip „cyber security by design“, zum Tragen das wir ähnlich als „data protection by design“ ebenfalls bereits schon aus der DS-GVO kennen.

Vorgehen

In der Praxis ergeben sich folgende Schritte für den Anbieter bzw. Verwender von Hochrisiko-KI-Systemen, um eine Marktzulassung zu erhalten:

Entwicklung des KI-Systems;
Durchführung einer Konformitätsbewertung des KI-Systems, welches den o.g. Anforderungen genügen muss – hier wird teils eine notifizierte Stelle mit einbezogen (dazu unten);
Registrierung in einer EU-Datenbank;
Konformitätserklärung und CE-Kennzeichnung des KI-Systems.

Erst dann kann das System in der EU in Verkehr gebracht werden.

Typisch Produktregulierung: Die Konformität des Produktes mit der relevanten Produktsicherheitsvorgabe kann dabei durch externe Stellen (Prüfhäuser) festgestellt werden. Es ist anzumerken, dass man davon ausgeht, dass nur ca. fünf Prozent der KI-Systeme in diese Hochrisiko-Kategorie fallen und also diesen Anforderungen unterliegen. Voraussichtlich über 90 % kommen mit einer Selbsterklärung aus.

Transparenzanforderungen

Information

Für alle (generativen) KI-Systeme, welche nicht verboten sind, einschließlich der Hochrisiko-KI-Systeme, gelten bestimmte Transparenzanforderungen, Art. 52 ff. KI-VO. Dabei wird nach Art, Funktion bzw. Zweck des KI-Systems unterschieden. Im Kern geht es darum, z.B. demjenigen, der mit einem KI-System interagiert, genau darüber zu informieren, ihn also nicht im unklaren darüber zu lassen, dass er mit einer KI kommuniziert; oder dass KI-Systeme, die Audio-, Bild- oder Textwerke erstellen oder manipulieren (einschließlich „deep fake“), diese entsprechend kennzeichnen; oder dass Systeme, die Emotionen wahrnehmen oder biometrische Kategorisierungen vornehmen, den Betroffenen darüber informieren und personenbezogene Daten gemäß geltender Datenschutzbestimmungen verarbeiten (Art. 52 KI-VO).

Anforderungen an General Purpose AI

Eine weitere Unterscheidung findet bei den Nicht-Hochrisiko-KI-Systemen auf Modellebene statt: Hier geht es um sog. General Purpose AI (GPAI) und dabei um Modelle mit und ohne „systemische Risiken“ (Art. 52a KI-VO). Für Letztere gelten wiederum besondere Anforderungen.

GPAI mit systemische Risiken

Ein systemisches Risiko soll bestehen, wenn das GPAI über hohe Wirkungskapazitäten („high impact capabilities“) verfügt. Diese impact capability wird mittels geeigneter technischer Instrumente und Methoden, einschließlich Indikatoren und Benchmarks, bewertet (Abs. 1 lit. (a)) und soll vorliegen, wenn der kumulative Rechenaufwand für sein Training mehr als 10^25 FLOPS (Gleitkommaoperationen) beträgt. Kritische Stimmen bemängeln diesen Schwellenwert als willkürlich gewählt und nicht zukunftssicher, was in Anbetracht der rasanten technischen Entwicklung nachvollziehbar erscheint. Ein systemisches Risiko soll ferner dann bestehen (Abs. 1 lit. (b)), wenn die EU-Kommission das so entscheidet, entweder von Amts wegen oder nach einer qualifizierten Warnung des wissenschaftlichen Gremiums, dass ein GPAI über Fähigkeiten oder Auswirkungen verfügt, die den unter Buchstabe (a) genannten gleichwertig sind.

Anforderungen

Die allgemeinen Anforderungen der KI-VO an GPAI bzw. dessen Anbieter umfassen bspw. das Vorhalten einer technischen Dokumentation, einer Strategie zur Einhaltung des Urheberrechts, hinreichend detaillierte Zusammenfassung von Trainingsdaten, Kooperationspflichten gegenüber der EU-Kommission und Downstream-Anbietern (Art. 52c KI-VO). Nicht zuletzt hier kommen noch zu entwickelnde Standards ins Spiel. Solange an diesen noch gearbeitet wird bzw. wo diese nicht greifen, kann die Einhaltung der Anforderungen über Verhaltenskodizes („codes of practice“, dazu unten) nachgewiesen werden.

Für GPAI-Modelle mit systemischen Risiken gelten zusätzliche Anforderungen (Art. 52d KI-VO): Die Anbieter haben hier eine Modellevaluierung nach standardisierten Protokollen und Instrumenten anzufertigen, die dem Stand der Technik entsprechen, um systemische Risiken zu erkennen und zu mindern, mögliche Systemrisiken zu bewerten und abzuschwächen, Informationen über schwerwiegende Vorfälle und mögliche Abhilfemaßnahmen zu dokumentieren und dem AI-Office und den zuständigen nationalen Behörden unverzüglich zu melden und ganz allgemein ein angemessenes Maß an Cybersicherheit für das GPAI-Modell und dessen physische Infrastruktur zu gewährleisten. Auch hierfür kann auf codes of practice zurückgegriffen werden, solange es noch keine harmonisierten Standards gibt.

Klassifizierung von GPAI-Modellen

Für die erforderliche Klassifizierung von GPAI AI-Modellen ergibt sich gem. Art. 52b KI-VO folgendes:

Pflicht zur Information der EU-Kommission binnen zwei Wochen, wenn die Voraussetzungen für ein GPAI mit systemischen Risiken gegeben sind;
Nachweis der Einhaltung der (obigen) Anforderungen gegenüber der EU-Kommission;
Möglichkeit der proaktiven Klassifizierung des GPAI-Modells durch die EU-Kommission;
Aufnahme in Liste aller GPAI-Modelle mit systemischen Risiken bei der EU-Kommission.

Die Aufsicht für GPAI liegt beim sog. „AI Office“ der EU-Kommission (dazu nachfolgend).

Welche Rollen haben EU-Institutionen und nationale Regulierungsbehörden?

Wie bei anderen Produktsicherheitsregelungen (Stichwort Marktüberwachung) hängt der Impact und der Erfolg des AI Act von der Governance auf nationaler und europäischer Ebene ab.

Nationale Ebene

Fangen wir mit der nationalen Governance an: Hier ist jeder Mitgliedstaat berufen, nun mindestens eine notifizierende Behörde und mindestens eine Marktüberwachungsbehörde zu schaffen. Letztere soll dabei einen „single point of contact“ für Anbieter stellen. Daneben sind unabhängige, also nicht staatliche Konformitätsbewertungsstellen einzurichten. Über diese laufen dann die oben dargestellten Konformitätsverfahren, Registrierungen usw. hier geht es also vornehmlich um die Überwachung der Hochrisiko-KI-Systeme. Es gibt also keinen wirklichen gesetzgeberischen Umsetzungsbedarf – abgesehen von einem Durchführungsgesetz mit Marktüberwachungsbestimmungen – , wohl aber umfangreiche Aufgaben bei der Einrichtung der Governance-Strukturen und -verantwortlichkeiten.

Derzeit ist noch völlig offen, wer die genannten Aufgaben in Deutschland übernehmen soll – das Bundesamt für Sicherheit in der Informationstechnik (BSI), die Bundesnetzagentur (BNetzA) und die Datenschutzbehörden werden hier genannt. Notifizierende Behörde wird wahrscheinlich die Deutsche Akkreditierungsstelle (DAkkS) und die Rolle der notifizierenden Stellen und damit der Konformitätsbewertungsstellen übernehmen wohl TÜV, DEKRA usw. Marktüberwachungsbehörden für die Annex II-Systeme werden die bisher schon zuständigen, föderal organisierten Überwachungsbehörden. Jedenfalls für die Überwachung von Annex III-Systeme müssen neue behördliche Strukturen geschaffen werden, da es hierfür schlicht noch keine Marktüberwachungsbehörden gibt, die das übernehmen könnten. Wie das umgesetzt wird, ist aktuell offen.

EU-Ebene

Auf EU-Ebene soll es neben der EU-Kommission und ihren Befugnissen und Pflichten nach der KI-VO ein „AI Board“ geben, ein „AI Office“ (oben zu GPAI schon angesprochen), ein „Scientific Panel“ und ein „Advisory Forum“.

Das AI Board besteht aus einem Vertreter pro Mitgliedstaat und soll EU-Kommission und Mitgliedstaaten beraten – vor allem zu sekundären Rechtsvorschriften, Verhaltenskodizes und technischen Normen – und unterstützen, um eine einheitliche und wirksame Anwendung der KI-VO zu ermöglichen. Es dient damit als eine Art Koordinierungsplattform und hat die strategische Aufsicht über die Aktivitäten des AI Office.

Das AI Office ist bei der EU-Kommission angesiedelt und soll vor allem exklusiv die Umsetzung und Durchsetzung der neuen Regeln für GPAI-Modelle überwachen und dazu Überwachungs- und Durchsetzungsbefugnisse erhalten. So kann das AI Office gemeinsame Ermittlungen koordinieren, Sanktionen verhängen und notfalls auch GPAI-Modelle aus dem Markt nehmen.

Wie oben erwähnt, können – und wahrscheinlich werden – bei GPAI-Modellen die noch zu entwickelnden Verhaltenskodizes („codes of practice“) eine wichtige Rolle spielen. Hier spielt das AI Office eine wichtige Rolle, das, unter Einbeziehung von Anbietern und nationalen Behörden, auf die Erstellung dieser Verhaltenskodizes für GPAI hinarbeiten soll (Art. 52e). Diese codes of practice sollen konkretisierende Regelungen enthalten zu Informationspflichten, zur Identifikation systemischer Risiken und zu Maßnahmen, Verfahren und Modalitäten zur Bewertung und Bewältigung der systemischen Risiken. Solche Verhaltenskodizes können wiederum durch die EU-Kommission genehmigt werden, wodurch sie allgemeine Gültigkeit innerhalb der EU erhalten. Wie genau diese Kodizes funktionieren sollen, wie deren Entstehungsprozess und die Beteiligung der Anbieter usw. aussehen soll und wann mit ihnen zu rechnen ist, ist jedoch weiter unklar.

Das Scientific Panel als wissenschaftliches Gremium unabhängiger Experten soll das AI Office bei Grundlagenmodellen beraten. Es hilft bei der Entwicklung von Methoden zur Bewertung der Leistungsfähigkeit von GPAI-Modellen, berät bei der Identifizierung und Minderung von „systemischen Risiken“ (siehe oben) und überwachen potenzielle Risiken, die mit ihnen verbunden sind.

Das Advisory Forum, das aus verschiedenen Stakeholdern wie Industrie, Start-ups, Zivilgesellschaft oder Wissenschaft zusammengesetzt sein soll, wiederum berät das AI Board.

Die EU-Kommission selbst wird, wie oben angemerkt, Beispielslisten erstellen mit IT-Systemen und deren Klassifizierungen. Auch wird sie die Liste in Anhang III der KI-VO anpassen, wobei jedoch noch unklar ist, in welchem Verfahren und nach welchen Kriterien das geschehen soll und wer in diese Entscheidung einbezogen wird. Sie kann zudem beispielsweise die Vorgaben für die technische Dokumentation und die Schwellenwerte für das Vorliegen systemischer Risiken per delegiertem Rechtsakt festlegen (Art. 10 Abs. 3 und Art. 52a Abs. 3).

Hat das was mit Datenschutz zu tun?

Vom Regelungsinhalt der KI-VO vordergründig wenig, aber de facto ganz viel. Die Datenschutz-Grundverordnung (Verordnung (EU)2016/679, DS-GVO) bleibt unberührt, ihre Vorgaben gelten im Grunde unverändert auch für KI-Systeme. Es finden sich in der KI-VO nur ein paar harmonisierte Vorschriften für Entwurf, Entwicklung und Verwendung bestimmter Hochrisiko-KI-Systeme sowie spezifische Beschränkungen für bestimmte Anwendungen biometrischer Fernidentifizierungssysteme. Zum Beispiel gelten für die Verarbeitung besonders sensibler personenbezogener Daten durch Hochrisiko-KI-Systeme besondere Anforderungen (Art. 10 Abs. 5).

KI und Datenschutz ist mir einen gesonderten Beitrag wert bzw. wird in mehreren nachfolgenden Beiträgen Erwähnung finden (müssen), z.B. wenn es um KI-Anwendungen für Human Resources geht. Die DS-GVO strahlt aus auf alle relevanten Regelungsbereiche wie jene von Digital Services Act, Digital Markets Act oder Data Act und bleibt damit zentral als „Grundordnung der Digitalwirtschaft“ (so Thomas Fuchs, der Hamburgische Beauftragte für Datenschutz und Informationsfreiheit).

Wie geht es weiter?

Stand heute (7. Februar 2024) sieht es so aus, als ob die KI-Verordnung tatsächlich die letzten Hürden genommen hat.

Inkrafttreten

Am 2. Februar haben alle Mitgliedstaaten der EU den AI Act einstimmig gebilligt. Am 13.02.2023 wird über den AI Act nochmals im gemeinsamen IMCO-LIEBE-Ausschuss des Europäischen Parlaments abgestimmt. Der IMCO-Ausschuss ist für die legislative Kontrolle und Prüfung der EU-Vorschriften über den Binnenmarkt, einschließlich des digitalen Binnenmarkts, sowie das Zollwesen und den Verbraucherschutz zuständig, LIBE bezeichnet den Ausschuss für bürgerliche Freiheiten, Justiz und Inneres. Es folgen leichte sprachlich juristische Anpassungen des Textes, dann die Verabschiedung im Europäischen Parlament im April und im EU-Ministerrat im Mai/Juni und schließlich die Veröffentlichung der Verordnung im EU Amtsblatt.

Voraus ging die politische Einigung im monatelangen sog. Trilog-Verfahren im Dezember 2023, bei dem (deshalb der Name) die EU-Kommission, das EU-Parlament und die Regierungen aller Mitgliedstaaten beteiligt waren. Damit steht zu erwarten, dass der AI Act im Mai oder Juni diesen Jahres in Kraft tritt (am 20. Tag nach der Veröffentlichung im Amtsblatt der EU).

Übergangsfristen

Mit Inkrafttreten beginnen auch die Übergangsfristen, die die KI-VO vorsieht (Art. 85 Abs. 2), zu laufen:

Verbote: 6 Monate nach Inkrafttreten
Verpflichtungen für GPAI-Modelle: 12 Monate
nationale Behördenstruktur: 12 Monate
Regelungen für Sanktionen: 12 Monate
Anforderungen für Hochrisiko-KI: 24 Monate

Geldbußen

Nach Ablauf dieser Übergangs- bzw. Umsetzungsfristen kann es – das darf nicht unerwähnt bleiben – bei Verstößen gegen die KI-VO zu Geldbußen kommen:

Verstoß gegen Verbote: 35 Mio. € oder 7 % des weltweiten Gesamtumsatzes
Verstoß gegen Hochrisiko-/GPAI-Anforderungen: 15 Mio. € oder 3 %
falsche Angaben: 7,5 Mio. € oder 1,5 %

Ein paar kritische Worte

Missachtung von Gute-Gesetzgebung-Prinzipien

Das gesamte Gesetzgebungsverfahren auf EU-Ebene war eine schwere Geburt. Auch jetzt besteht nach Ansicht Beteiligter noch ein Restrisiko für eine Ablehnung der KI-VO durch das EU-Parlament, wobei ich persönlich denke, dass die Verordnung so kurz vor den Wahlen zum EU-Parlament durchgedrückt wird. Wenn erstmal ein neues (populistischeres?) EU-Parlament steht, wäre das Schicksal der KI-VO offen.

Es wird bemängelt, dass die sog. „better regulation“-Grundsätze, missachtet worden seien. So hatten die nationalen Regierungen erst sehr spät die Entwürfe gesehen und wussten so teils nicht, worüber sie entscheiden sollten. Alles sei mit heißer Nadel gestrickt worden unter weitgehendem Ausschluss der Mitgliedstaaten.

Inhaltliche Kritik

Auch inhaltlich gibt es Kritik: Das Thema Hybridmodelle bei Hochrisiko-KI-Systemen sei nicht adressiert, so dass deren Einordnung unklar bliebe. Das Konzept der GPAI mit systemischen Risiken werde womöglich von Anbietern wie OpenAI oder Microsoft gerichtlich überprüft werden, Ergebnis offen. Es entstünde ein kompliziertes Geflecht an Aufsichtsbehörden mit unterschiedlichen Konzepten z.B. im Finanzbereich, die Überlappungen provozierten, so dass ein Compliance-Chaos drohe, jedenfalls eine regulatorische Doppelbelastung der Unternehmen. Start-ups kämen wegen der Komplexität der Anforderungen wohl nicht ohne eine Zertifizierung ihrer KI-Systeme aus. Bis die benötigte Governance- Struktur stünde vergingen sechs bis acht Jahre; eine zu lange Zeit der Unsicherheit, um in KI zu investieren. Das sind nur ein paar der mir bekannten uinhaltlichen Kritikpunkte.

Standortnachteile erwartet

Auch wird aus deutscher Sicht befürchtet, dass es – vergleichbar zur Durchsetzung der DSGVO – zu zwischen den Mitgliedstaaten unterschiedlicher Durchsetzung der KI-VO kommen könne, mit mehr (Deutschland) und weniger strengen (andere Mitgliedstaaten) Aufsichtsbehörden. Das Problem, dass Unternehmen in USA für das Datentraining ihrer KI-Entwicklungen auf viel höherwertigere Daten zugreifen können als in der EU, was den Zielen der KI-VO zuwiderlaufe, würde nicht adressiert.

Fazit

Es bleibt abzuwarten, wie die Umsetzung des AI Act sich gestaltet. Vieles liegt noch im Dunkeln, konkret Auswirkungen der Verordnung zu benennen, fällt aktuell noch schwer. Anbieter von KI sollten die nächsten Schritte sorgsam verfolgen.

Obige Ausführungen haben keinen Anspruch auf Vollständigkeit. Das Thema AI Act wird uns noch oft und in verschiedenen Facetten begleiten. Dies sollte daher nicht mehr als einen ersten Überblick geben. Vieles zur Umsetzung und zum „Leben“ der Verordnung steht noch aus. Ich werde weiter berichten und behalte mir vor, Updates zu diesem Artikel zu posten.

Bitte lasst mich wissen, wenn Ihr noch Fragen habt oder Wünsche zu Aspekten der KI-Regulierung, die Ihr näher betrachtet haben wollt. Auch bin ich dankbar für Vorschläge zu Themen rund um KI, die wir hier bearbeiten könnten.

Der AI Act kommt! Eine Einweisung.