Compliance und Vergabeverfahren bei KI im Fokus
Experteneinschätzung zu den Veränderungen in der öffentlichen Vergabe - Teil 2 von 5
Verwaltung der Zukunft hat Rechtsanwalt Okan Doğan zu den Themen Künstliche Intelligenz in der öffentlichen Verwaltung, dem EU AI Act und Datenschutz befragt. In einer fünfteiligen Serie präsentieren wir seine Antworten.
Frage 2: Können Sie erläutern, was nun die wichtigsten rechtlichen Herausforderungen bei der Beschaffung von KI-Lösungen im öffentlichen Sektor sind?
Okan Doğan: Bei den rechtlichen Herausforderungen müssen wir zwei Hauptbereiche beachten: Erstens die allgemeine Einhaltung rechtlicher Vorgaben und zweitens die praktische und gesetzeskonforme Durchführung von Vergabeverfahren.
◉ Rechtliche Compliance im Allgemeinen: Der öffentliche Sektor muss sicherstellen, dass die Beschaffung und Implementierung von KI-Lösungen den geltenden rechtlichen Vorschriften entsprechen. Es wird künftig nicht ausreichen, lediglich die Vorgaben des AI Acts zu wahren. Vielmehr bleiben bestehende Vorschriften des Datenschutzrechts, Arbeitsrechts, Verwaltungsrechts etc. vom AI Act ausdrücklich unberührt und müssen somit weiterhin mit den geplanten KI-Vorhaben in Einklang gebracht werden.
Somit darf auch ein KI-System, welches sämtliche Vorgaben des AI Acts erfüllt, weiterhin nur im verhältnismäßig eng gesteckten Rahmen der § 35a VwVfG, § 31a SGB X, § 155 Abs. 4 AO usw. für den vollständig automatisierten Erlass von Verwaltungsakten eingesetzt werden.
Herausforderungen in Vergabeverfahren
Im Zuge der Vorbereitung und Durchführung von Vergabeverfahren werden beispielsweide die folgenden – teilweise neuen – Fragestellungen aufkommen:
◘ „Möchten wir die Anbieterin oder Betreiberin sein?“ Es ist entscheidend, dass öffentliche Auftraggeber frühzeitig festlegen, welche Rolle sie beim Einsatz von KI grundsätzlich übernehmen wollen. Diese Entscheidung sollte sorgfältig getroffen und bei jeder neuen Beschaffung spezifisch geprüft werden.
Denn „Anbieter“ gemäß Art. 3 Nr. 3 AI Act treffen weit mehr Pflichten als „Betreiber“ gemäß Art. 3 Nr. 4 AI Act, weshalb öffentliche Auftraggeber in der Praxis für gewöhnlich als „Betreiber“ auftreten dürften. Ist der Einsatz einer Hochrisiko-KI geplant, treffen aber selbst Betreiber, bei denen es sich um Einrichtungen des öffentlichen Rechts handelt, erweiterte Pflichten wie z.B. die Pflicht zur Durchführung einer Grundrechte-Folgenabschätzung (Art. 27 Abs. 1 AI Act) und zur Registrierung in der EU-Datenbank (Art. 49 Abs. 3 i.V.m. Anhang VIII Abschnitt C AI Act).
Wichtig zu wissen ist zudem, dass ein Anbieter unter den Voraussetzungen des Art. 25 Abs. 1 AI Act im Hinblick auf ein konkretes, seinerseits hergestelltes KI-System von seinen Anbieterpflichten entbunden werden kann. Dies hat zur Folge, dass der ursprüngliche Betreiber die Pflichten aus Art. 16 AI Act übernimmt. Wenn öffentliche Auftraggeber diesen Effekt vermeiden möchten, sind derartige Fallstricke bereits bei der Gestaltung des Vergabeverfahrens zu beachten und nicht erst nach Vertragsschluss.
◘ „Wie definieren wir unseren Bedarf nach KI-Leistungen?“ Auch im Zusammenhang mit KI-bezogenen Leistungen steht am Anfang in der Regel eine Vision, die im Laufe der Vorbereitung und Durchführung des Vergabeverfahrens Konturen erhält. Es ist also zu definieren, was mit dem KI-System erreicht werden soll, welche Einsatzfelder bzw. Anwendungsfälle das KI-System haben soll und ob hierfür tatsächlich KI benötigt wird oder stattdessen andere bewährte Softwarelösungen existieren. Denn: Nicht überall, wo „KI“ draufsteht, ist tatsächlich auch KI drin.
Wenn das „Ob“ und die Rahmenbedingungen geklärt sind, gilt es den Anbietermarkt zu erkunden und den eigenen Bedarf mit den am Markt verfügbaren Leistungen abzugleichen. Aus der Markterkundung lassen sich bekanntlich wichtige Erkenntnisse für die vergaberechtlich verpflichtende Auftragswertschätzung, für die Ermittlung der benötigten Haushaltsmittel und die Wahl zwischen einer produktneutralen und produktspezifischen Ausschreibung ableiten. Wenn das KI-System vollständig oder teilweise unter Open Source-Lizenzen stehen soll, kann die Markterkundung auch hierzu wertvolle Informationen hervorbringen.
Wie auch bei „klassischen“ Beschaffungsvorhaben, sind die betroffenen Stakeholder wie Bedarfsträger, Datenschutzbeauftragte und Datensicherheitsbeauftragte, Barrierefreiheitsverantwortliche und Mitbestimmungsgremien im Falle von KI-bezogenen Leistungen erst recht frühzeitig in den Beschaffungsprozess einzubinden.
◘ „Worauf ist aus Sicht des Datenschutzes zu achten?“ Aus datenschutzrechtlicher Perspektive stellen sich im Kern die üblichen Fragen. Weil es sich bei KI aber um ein neues und komplexes Themenfeld handelt, ist dennoch ein besonderes Augenmerk auf den Datenschutz zu richten. Öffentliche Auftraggeber müssen (personenbezogene) Daten in KI-Systemen ganzheitlich - d.h. in Bezug auf ihren gesamten Lebenszyklus - betrachten. Demnach spielen personenbezogene Daten häufig nicht nur für die initialen Trainingsdaten und für Nutzereingaben (Input) eine Rolle, sondern auch für die Verarbeitung im KI-Modell sowie für die Ausgabe (Output) und ein etwaiges Nachtraining.
Daneben müssen sich öffentliche Auftraggeber Gedanken über die verschiedenen Betriebsszenarien machen, da sich diese auf die datenschutzrechtliche Verantwortlichkeit auswirken können: Betreibt der öffentliche Auftraggeber ein KI-System zu eigenen Zwecken auf einem eigenen Server, handelt es sich für gewöhnlich um eine einfache „Verantwortlichkeit“ des Auftraggebers. Setzen dagegen mehrere Stellen eine KI-Anwendung ein und wird diese mit deren Daten trainiert, dürfte es sich um eine gemeinsame Verantwortlichkeit im Sinne des Art. 26 DSGVO handeln.
Wird die KI-Anwendung eines externen Anbieters in die Software des öffentlichen Auftraggebers eingebunden und nicht mit den Daten des Auftraggebers trainiert, wird es sich regelmäßig um eine Auftragsverarbeitung gemäß Art. 28 DSGVO handeln.
Von hoher Wichtigkeit sind außerdem die Ermittlung der für die jeweiligen Verarbeitungsvorgänge einschlägigen Rechtsgrundlagen unter Berücksichtigung der Besonderheiten der Art. 10 Abs. 5 und 59 AI Act sowie die Festlegung eines angemessenen Mindestmaßes an Technischen- und Organisatorischen Maßnahmen (TOM) im Sinne des Art. 32 DSGVO.
Erfreulicherweise haben bereits die ersten Datenschutzaufsichtsbehörden Checklisten und Positionspapiere im Zusammenhang mit KI und Datenschutz veröffentlicht, namentlich
Hamburg⁸
Bayern und⁹
Baden-Württemberg ¹⁰
Die Datenschutzkonferenz (DSK) hat übrigens am 6. Mai 2024 eine Orientierungshilfe zu „Künstliche Intelligenz und Datenschutz“ veröffentlicht.¹¹
