Moin aus Hamburg

„Was möchtest du zusammenfassen lassen?" fragt das LLMoin. Ein Klick weiter und die Dateien können hochgeladen oder manuell ein Text eingefügt werden. Anschließend erscheint wie von Zauberhand ein fertig gekürzter Text. Das spart nicht nur Zeit, sondern auch Nerven.

Nicht lange schnacken – in Hamburg wird ausprobiert

In Hamburg wird der KI-Sprachassistent LLMoin gerade auf Herz und Nieren getestet – oder vielmehr auf Gewicht und Architektur. LLMoin basiert auf einem sogenannten Large Language Model (kurz: LLM), ein leistungsstarkes Sprachmodell, das darauf ausgelegt ist, menschliche Sprache zu verstehen und zu generieren. Ganz ausgereift ist das Projekt noch nicht, denn das LLMoin ist erst einmal nur ein Probedurchlauf. Dadurch sollen die Einsatzmöglichkeiten von LLLMs innerhalb der Hamburger Verwaltung getestet werden, um herauszufinden, welche Funktionen tatsächlich sinnvoll und hilfreich für die Mitarbeitenden sind.

Denn es ist wohl kaum ein Geheimnis: In der deutschen Verwaltung überwiegen bürokratische und textlastige Vorgänge – viele davon sind redundant. Die Nachfrage nach dem beliebten ChatGPT ist auch in Hamburg hoch und hat die Verwaltung ins Grübeln gebracht. Die amerikanische Software wirft viele datenschutzrechtliche Fragen auf den Plan, eine hausinterne Lösung musste also her. So wurde das Projekt LLMoin ins Leben gerufen.

Dazu entwickelte das Amt für IT und Digitalisierung der Senatskanzlei Hamburg (ITD) mit Hilfe des InnoTecHH Fonds im Herbst 2023 vier Funktionen für die verwaltungsinterne Anwendung: Zusammenfassung, Recherche-Assistent, Textgenerierung und der Expert*innenmodus. Letzterer ermöglicht – ähnlich wie bei ChatGPT – über selbst definierte „Prompts“ (Eingaben) mit dem System zu interagieren.

Es fanden sich rund 100 willige Testerinnen und Tester aus zwölf verschiedenen Verwaltungshäusern in Hamburg. Ihnen wurde ein Frontend bzw. eine Benutzer*innenoberfläche zur Verfügung gestellt, auf der sie eigenständig Dateien hochladen oder selbst eingeben konnten. Um die Einstiegsbarriere möglichst niedrig zu halten, gab es ein vorgeschaltetes Erklärvideo. Außerdem stellte der InnoTecHH Fonds den Tester*innen qualifizierte Ansprechpartner zur Seite. Im November begann die Erhebung, sie dauerte insgesamt sechs Wochen.

Was sind die Key-Take-Aways der Feldphase?

Die ersten Ergebnisse: Alle vier Funktionen von LLMoin wurden gut angenommen, am beliebtesten war jedoch der Rechercheassistent. „Mit dessen Hilfe konnten vorab definierte Datensätze zu ausgewählten fachlichen Kontexten mit natürlicher Sprache befragt werden. Dies erlaubt eine wesentlich besseren Zugang zu großen Dokumentenbeständen als die klassische Schlagwortsuche", berichtet Sören Alvermann, Projektleiter und Referent für neue Technologie im ITD. Auch der „sanfte" Einstieg mithilfe vordefinierter Anwendungsfälle und einfacher Nutzendenführung  wurde sehr positiv bewertet.

Vollends ausgewertet sind die Ergebnisse noch nicht. Der Fokus dieser ersten Feldstudie lag vor allem darauf, Feedback einzuholen. Es wurden also Interviews geführt, Abfragungen gemacht und um ausführliche E-Mails gebeten. In einer zweiten Pilotphase soll ein größeres Set an Sprachmodellen genutzt werden.

Datenschutz und Anbieterwechsel: Blick auf Phase 2

Das Thema Datenschutz hat das ITD für diese erste Feldphase bewusst ausgeklammert. „Wir sind uns dieser großen Herausforderung bewusst und haben deshalb vorerst keine personenbezogenen Daten verarbeitet. Gerade lag unser Interesse darin, schnell Erfahrungen zu sammeln", sagt Alvermann.

Während der Phase 1 wurde an dem Thema vorerst parallel im Hintergrund gearbeitet, für die Phase 2 wird aktuell evaluiert, unter welchen technischen und organisatorischen Voraussetzungen auch personenbezogene Daten verarbeitet werden können.

Änderungen soll es in einer zweiten Phase auch bezüglich des Anbieters geben. Bisher wurde das Sprachmodell Luminous des 2019 gegründeten deutschen KI-Start-Ups Aleph Alpha verwendet. Doch dabei soll es nicht bleiben. In der nächsten Testphase soll die Anwendung so konzipiert werden, dass sie mit unterschiedlichen LLMs von unterschiedlichen Anbietern funktionieren kann. So soll einer Abhängigkeit von einzelnen Sprachmodellen vorgebeugt werden.

Aleph Alpha erfreut sich gerade sehr viel Beliebtheit. Das Unternehmen aus Heidelberg wird als europäische Alternative zu US-Konzernen gesehen. Es bietet unter Gründer Jonas Andrulis hauptsächlich proprietäre Modelle an – also Softwares, deren Nutzung und Weiterverbreitung durch den Anbieter stark eingeschränkt wird. Es fallen jedoch auch Open-Source-Softwares in ihr Repertoire. Der Digitalminister Dr. Fabian Mehring kündigte im März an, dass das Start-Up einen Standort in München eröffnen wird und die Einführung von KI in der bayerischen Verwaltung voranzubringen soll.

In Hamburg ist man sich dieser Entwicklung gleichermaßen bewusst. Wichtig sei im Umgang mit dem Thema Künstliche Intelligenz in der Verwaltung vor allem das Thema Schulung, so Alvermann. Auch deshalb sei LLMoin ein erster Vorstoß in die richtige Richtung und ein Zeichen, dass KI in der Verwaltung zur Anwendung kommen soll.

Wie hat sich das Projekt finanziert?

Ein wichtiger Baustein eines solchen Projekts ist die Finanzierung. Der Stadtstaat hat sich bereits vor einiger Zeit auf die Fahnen geschrieben, selbst aktiv in den Vorantrieb digitaler Vorhaben zu gehen. Dazu erarbeitet der Hamburger Senat seine Digitalstrategie stets gemeinsam mit den Behörden und der Bezirksverwaltung.

Um konkret den Einsatz von KI und anderen neuen Technologien entwickeln und erproben zu können, hat die Senatskanzlei zu Beginn des letzten Jahres den InnoTecHH Fond ins Leben gerufen. Dieser stellt sowohl Fördermittel als auch Expertise zur Verfügung, sodass Erfahrungen mit der Umsetzung, Herausforderungen mit neuen Technologien und perspektivisch eine langfristige und stadtweite Anwendung angestrebt wird. Im Falle von LLMoin wurde die Finanzierung aus dem Topf des Hamburger Haushalts gedeckt.