Der EU AI Act im Fokus
Experteneinschätzung zu den Veränderungen in der öffentlichen Vergabe - Teil 1 von 5
Verwaltung der Zukunft hat Rechtsanwalt Okan Doğan zu den Themen Künstliche Intelligenz in der öffentlichen Verwaltung, dem EU AI Act und Datenschutz befragt. In einer fünfteiligen Serie präsentieren wir seine Antworten.
Frage 1: Herr Doğan, Sie sind Rechtsanwalt für Vergaberecht, Fachanwalt für IT-Recht und auch Experte für KI in der Vergabe. Das Europäische Parlament hat sich nun auf den EU AI Act geeinigt. Wie schätzen Sie die Verordnung ein? Welche Änderungen bringt der EU AI Act für die öffentliche Verwaltung in Bezug auf die Vergabe?
Okan Doğan: Ich freue mich, dass der AI Act endlich auf der Zielgeraden ist! Denn Künstliche Intelligenz erreicht immer mehr Bereiche des alltäglichen Lebens, der Industrie und selbstverständlich auch der öffentlichen Hand. Dadurch gewinnt KI zwangsläufig zunehmend an Einfluss. Dies möchte ich mit der nachfolgenden Geschichte veranschaulichen:
Ende April dieses Jahres scheiterte der Versuch der US-Organisation „Catholic Answers, Inc.“, einen Chatbot in der Rolle des katholischen Priesters „Father Justin“ zu etablieren: Die Organisation pausierte den Chatbot nach nur wenigen Tagen aufgrund unangemessener und kontroverser Antworten des KI-Priesters. Zum Beispiel erklärte Father Justin einem Nutzer, dass es völlig in Ordnung sei, ein Kind im Energydrink „Gatorade“ zu taufen.¹ Dadurch zog das Projekt zu Recht viel Aufmerksamkeit der Internetgemeinde auf sich, sodass die Verantwortlichen dieses problematische Verhalten des Chatbots kurzerhand „lösten“, indem sie „Father“ Justin in „Justin“ umbenannten. Denn Justin sei ohnehin nie ein „echter Priester“ gewesen. Von solchen nachträglichen Kunstgriffen ist schon nach der aktuellen Rechtslage grundsätzlich abzuraten und erst recht im künftigen Anwendungsbereich des AI Acts, der KI-Haftungsrichtlinie usw.
Diese auf den ersten Blick witzige Story vereint
- das verantwortungslose Branding eines KI-Produkts durch den Anbieter (vom „Priester“ zum „Laien“),
- den sensiblen sakralen – also glaubens- und emotionsgeprägten – Einsatzbereich eines KI-Produkts sowie
- das nicht zu unterschätzende Gefahrenpotenzial in Bezug auf den Output des Chatbots und den Umgang der Nutzenden mit diesem Output.
An diesem Beispiel wird deutlich, welches positive und gleichzeitig negative Potenzial KI in sensiblen sozialen Kontexten entfalten kann und unterstreicht die Notwendigkeit einer gut durchdachten und sorgfältigen Regulierung von Künstlicher Intelligenz. Im Gegensatz zu Bereichen wie der Blockchain- bzw. Krypto-Technologie, die durch mangelnde Regulierung zu einem „Wilden Westen" mit unzähligen Markenrechtsverletzungen und Betrugsgeschichten im großen und kleinen Stil geführt hat (z.B. FTX-Skandal, Terra Luna-Crash, NFT- und Token-Airdrop-Scams u.ä.), zielt die EU KI-Verordnung darauf ab, ein ähnliches Szenario bei KI-Technologien zu verhindern.
Vorwegzunehmen ist dabei, dass KI nicht gleich KI ist. Die Bandbreite der KI-Technologien und deren Anwendungen ist enorm: Sie reicht von relativ einfachen automatisierten Systemen für Routineaufgaben (z.B. bei der Bildgebung und Diagnostik in der Radiologie²) bis hin zu komplexen Algorithmen, die in der Lage sind, unterschiedlichste Aufgabenstellungen zu lösen (z.B. GPT-4 und Sora von OpenAI).
Mit anderen Worten: Unterschiedliche KI-Systeme bergen unterschiedliche Risiken und erfordern daher maßgeschneiderte gesetzliche Rahmenbedingungen.
Der AI Act versucht diesem Umstand Rechnung zu tragen, indem er KI-Systeme nach ihrem Risikopotential klassifiziert und entsprechende Anforderungen festlegt. Es wird also zwischen den Risikoklassen
- „untragbares Risiko“ (z.B. täuschende/manipulative KI-Systeme),
- „hohes Risiko“ (z.B. KI-Systeme zur Emotionserkennung),
- „sonstige KI-Systeme“ und „KI mit allgemeinem Verwendungszweck“ (z.B. ChatGPT)
unterschieden. Ich schätze diesen risikobasierten Grundgedanken des AI Acts sehr, da er bei richtiger Auslegung und Umsetzung zu Maßnahmen verpflichten wird, die in einem angemessenen Verhältnis zum jeweiligen Risiko stehen.
Außerdem wird der AI Act ein wichtiges Mindestmaß an Rechtssicherheit schaffen, auch wenn Verbände wie der Bitkom e.V. und der ZVEI e.V. diesbezüglich noch Vorbehalte haben. So wies Herr Weber von ZVEI Anfang des Jahres darauf hin, dass unpräzise Formulierungen im AI Act dazu führen könnten, dass selbst einfache Steuerungen von Haushaltsgeräten oder alltägliche Anwendungen in der Industrie als Hochrisiko-KI eingestuft werden.³ Herr Dr. Wintergerst von Bitkom gab zu bedenken, dass neben einer Risikoeinschätzung immer auch eine Abwägung der Chancen Künstlicher Intelligenz stattfinden müsse.⁴ Da der AI Act viele unbestimmte Rechtsbegriffe verwendet, die europaweit einheitlich interpretiert werden müssen, wird dies besonders bei grenzüberschreitenden Angelegenheiten auch meiner Meinung nach eine Herausforderung darstellen. Eine einheitliche Auslegung und praxisnahe Umsetzung des AI Acts wird auch eine wichtige Rolle für den langfristigen Erfolg des europäischen KI-Wirtschaftsraums spielen. In diesem Kontext wird neben den nationalen Aufsichtsbehörden auch der „Ausschuss für künstliche Intelligenz“ und die Governance auf Unionsebene gemäß Art. 64 ff. des AI Acts eine entscheidende Rolle spielen.
Mit Blick auf all diese und weitere Herausforderungen ist der AI Act der unvermeidliche Spagat zwischen einer notwendigen Allgemeingültigkeit (also Technologieneutralität) und einer ebenso wichtigen Konkretisierung. Leider gelingt dieser Spagat dem Verordnungsgeber nicht immer. Hier ein Beispiel: Art. 6 AI Act wird künftig eine zentrale Rolle spielen, weil in diesem die Voraussetzungen für die Einstufung als „Hochrisiko-KI-System“ und die sich daraus ergebenden Folgepflichten wie Dokumentation, Risikomanagement, Transparenz etc. geregelt sind. Unternehmen, insbesondere KMUs, sollten in der Lage sein, die Anforderungen des Art. 6 AI Act auch ohne juristische Fachkenntnisse zu verstehen. Derzeit ist der Artikel jedoch schwer nachvollziehbar und könnte deutlicher formuliert werden. Mit dem folgenden Aufbau der Regeln und Ausnahmen dürfen sich die Adressaten des Art. 6 AI Act also künftig auseinandersetzen:
- Erste Regel: Art. 6 Abs. 1 beginnt mit einem holprigen Schachtelsatz, der bestimmte KI-Systeme gemäß den in Anhang 1 genannten Rechtsvorschriften als „Hochrisiko-KI-System“ einstuft.
- Zweite Regel: Gemäß Art. 6 Abs. 2 sind außerdem die in Anhang III genannten KI-Systeme hochriskant.
- Zwischenfazit: Ein KI-System ist also „hochriskant“, wenn Art. 6 Abs. 1 oder 2 erfüllt ist.
- Ausnahme zur zweiten Regel: Nach Art. 6 Abs. 3 Unterabsatz 1 sind KI-Systeme gemäß Abs. 2 allerdings doch nicht „hochriskant“, wenn von ihnen kein erhebliches Risiko ausgeht. Dabei wird diese Ausnahme durch einen Katalog von vier alternativen Bedingungen flankiert.
- Rückausnahme zur Ausnahme zur zweiten Regel: Schließlich enthält Art. 6 Abs. 3 Unterabsatz 2 eine Rückausnahme (!), die ich an dieser Stelle zitieren muss, um das strukturelle Problem dieses Artikels deutlich zu machen: „Ungeachtet des Unterabsatzes 1 gilt ein in Anhang III aufgeführtes KI-System immer dann als hochriskant, wenn es ein Profiling natürlicher Personen vornimmt.“
Dieses System der Regeln und Ausnahmen in Art. 6 ist weit entfernt von einer „anwenderfreundlichen“ Regelung, auch wenn sie in sich widerspruchsfrei sein mag.
Kritisch zu beurteilen ist nach meinem Dafürhalten außerdem der künftige Rechtsrahmen für den Einsatz von KI-Systemen zu Zwecken der Strafverfolgung. Nach Art. 5 Abs. 1 lit. h) des AI Acts ist die Verwendung von biometrischen Echtzeit-Fernidentifizierungssystemen in öffentlich zugänglichen Räumen zu Zwecken der Strafverfolgung verboten, es sei denn eine der dort genannten Ausnahmen liegt vor. Und hier sehe ich das Problem: Die Ausnahmen betreffen zwar überwiegend schwerwiegende Straftaten wie Menschenhandel, Terrorismus und die sexuelle Ausbeutung von Kindern, es genügt aber bereits eine „tatsächliche und gegenwärtige“ oder „tatsächliche und vorhersehbare“ Gefahr eines Terroranschlags, um den Einsatz dieses per se verbotenen Echtzeit-Fernidentifikationssystems in öffentlich zugänglichen Räumen zu legitimieren.
Daher bin ich in meiner Meinung zum AI Act recht zwiegespalten:
Der AI Act kommt zur richtigen Zeit und basiert auf einer soliden Grundlage. Viele Änderungen gegenüber dem ersten Entwurf von 2021, wie die Definition eines „KI-Systems“, sind positiv. Andererseits gibt es im Detail noch Verbesserungsbedarf.
Welche Änderungen der AI Act für öffentliche Auftraggeber in Bezug auf die Vergabe bringt, lässt sich gegenwärtig nicht abschließend vorhersehen. Ich gehe allerdings von neuen Chancen, jedoch auch Herausforderungen aus, auf die sich öffentliche Auftraggeber jetzt schon einrichten sollten.
- Wie bereits erläutert, bietet der AI Act Rechtssicherheit für den öffentlichen Sektor. Bisher war es eine Herausforderung, KI-Lösungen einzusetzen, da unbeantwortete rechtliche und technische Fragen bestanden, die auf Seiten der öffentlichen Auftraggeber verständlicherweise zu einem zurückhaltenden Umgang mit KI-Technologien geführt haben. Die KI-Verordnung schafft endlich eine grundsätzliche Klarheit und ebnet den Weg für neue spannende Projekte.
- Daran anknüpfend wird die wohl wichtigste und positivste Änderung für öffentliche Auftraggeber darin bestehen, dass sie künftig Aufträge zur Entwicklung und Implementierung von KI-Systemen in großem Umfang vergeben können. Damit wird die öffentliche Hand einen bedeutungsvollen Beitrag zur Förderung der KI-Entwicklung innerhalb der EU leisten.
- Damit öffentliche Auftraggeber KI-Leistungen zielstrebig beschaffen bzw. in ihre eigenen Prozesse rechtssicher einbinden können, muss Wissen in Bezug auf den neuen Rechtsrahmen und seine Schnittstellen zu weiteren Gesetzen (DSGVO, Data Act⁵ etc.) sowie die technologischen Grundlagen, Entwicklungen und Beschränkungen von KI aufgebaut werden. Anderenfalls bestünde die latente Gefahr, dass öffentliche Auftraggeber gesetzlich verbotene oder technisch veraltete KI-Systeme ausschreiben und somit ihrem Auftrag der sparsamen und wirtschaftlichen Mittelverwendung nicht nachkommen. Negative Schlagzeilen wären nur eine der denkbaren Folgen.
Um nur einige Beispiele für aktuelle Entwicklungen zu nennen:
o Anfang Mai 2024 wurde eine neuartige neuronale Netzwerkarchitektur namens „Kolmogorov–Arnold Networks“ (KAN) präsentiert, die im Vergleich zu „klassischen“ Multi-Layer Perceptrons (MLPs) bessere Ergebnisse in puncto Genauigkeit und Interpretierbarkeit erzielen soll.⁶
o Wie die Friedrich-Schiller-Universität Jena im Februar 2024 bekannt gab⁷, habe ein Forschungsteam des Jenaer Leibniz-Instituts für Photonische Technologie gemeinsam mit einem internationalen Team eine Technologie entwickelt, die den hohen Energiebedarf von KI-Systemen deutlich reduzieren könnte. Das Verfahren mit der sperrigen Bezeichnung „Neuromorphes Computing mittels spaltungsbasierter Breitbandfrequenzerzeugung“ nutzt Licht für die neuronalen Berechnungen und orientiert sich dabei an den neuronalen Netzwerken des menschlichen Gehirns. D.h.: Eine im Kern analoge Technologie könnte – zumindest in bestimmten Bereichen – ein Effizienzproblem der digitalen neuronalen Netzwerke lösen.
o Das „Pruning“ und „Sparsification“ sind weitere Methoden, um den Bedarf an Rechenleistung für künstliche neuronale Netzwerke zu verringern. Während Sparsification darauf abzielt, die jeweilige Netzwerkarchitektur von Beginn an „spärlich“ zu gestalten, handelt es sich beim Pruning für gewöhnlich um eine nachträgliche Maßnahme. Dabei werden die Netzwerkneuronen dahingehend analysiert, welchen Anteil sie am Gesamtergebnis haben. Ist ihr Input unerheblich oder sehr gering, werden die betroffenen Netzwerknoten aus der Berechnung ausgeklammert.
- Parallel dazu sollten öffentliche Auftraggeber sich Gedanken über neue Strukturen und Verantwortlichkeiten machen. Eine Möglichkeit könnte darin bestehen, eine/n „KI-Beauftragte/n“ zu ernennen. Auch in der freien Wirtschaft sind bereits Tendenzen in diese Richtung zu erkennen, denn Unternehmen suchen zurzeit vermehrt „Chief AI Officers“ (CAIO) bzw. Chief AI and Data Officers (CAIDO).
- Von der Rechtssicherheit werden auch die Anbieter von KI-Systemen profitieren, so dass zu erwarten ist, dass E-Vergabe-Systeme sukzessive um intelligente Funktionen erweitert werden, die Vergabestellen bei der Vorbereitung und Durchführung von Ausschreibung unterstützen. Zum Beispiel, wenn Teilnahmeanträgen bzw. Angebote von KI vorausgewertet werden, könnten die Bearbeiter mehr Zeit in die wesentlichen Entscheidungen des Vergabeverfahrens investieren.
