1. Technische Grenzen aktueller KI-Modelle
Selbst die fortschrittlichsten KI-Systeme haben harte Grenzen. Wer diese nicht kennt, setzt sich und die Organisation unnötig Risiken aus.
- Halluzinationen: KI-Modelle erfinden manchmal Fakten, Quellen oder Paragraphen. In der Verwaltung kann eine falsche Rechtsgrundlage oder ein erfundener Sachverhalt schwerwiegende Folgen haben. Nie KI-Ausgaben ungeprüft verwenden.
- Wissensstand: Sprachmodelle haben einen Trainings-Stand (z.B. bis Anfang 2024). Änderungen in Gesetzen, Verordnungen oder Gerichtsentscheidungen nach diesem Stichtag sind dem Modell unbekannt.
- Kontextlänge: Modelle können nur eine begrenzte Menge an Text auf einmal verarbeiten (z.B. 4.000–200.000 Tokens). Lange Dokumente müssen in Teilen eingelesen werden, was den Zusammenhang verlieren kann.
- Kein Ermessen: KI-Modelle haben keinen Rechtsbegriff des Ermessens, keine Lebenserfahrung und keinen Zugang zu nicht-digitalisierten Akten. Sie können kein pflichtgemäßes Ermessen ausüben (§ 40 VwVfG).
- Keine echte Faktenprüfung: Ein Modell hat keinen Zugriff auf interne Datenbanken, keine Internet-Suche (außer speziell konfiguriert) und keine Ahnung, welche Antragsteller:in aktuell einen Widerspruch eingelegt hat.
Wichtig: Halluzinationen erkennen
Typische Anzeichen für Halluzinationen: Konkrete Paragraphennummern, die nicht existieren (z.B. "§ 12a AsylbLG"), oder vermeintliche Gerichtsentscheidungen, die fiktiv sind. Prüfen Sie immer gegen amtliche Quellen (Gesetz im Internet, beck-online, juris).
2. Rechtliche Grenzen des KI-Einsatzes
In der Verwaltung gibt es Bereiche, in denen KI ausgeschlossen oder stark eingeschränkt ist:
- Ermessensentscheidungen: Wenn der Gesetzgeber dem Sachbearbeiter eine Entscheidung überlässt (Ermessen), darf KI nicht die Entscheidung ersetzen. KI kann unterstützen, aber nicht entscheiden.
- Belehrungspflichten: Wenn ein Sachbearbeiter eine Rechtsbehelfsbelehrung erteilt, muss diese korrekt und vollständig sein. KI kann das formulieren, die inhaltliche Korrektheit muss aber ein Mensch prüfen.
- Beweiswürdigung: In Zweifelsfragen, ob ein Sachverhalt vorliegt oder nicht, muss ein Mensch die Beweise abwägen. KI kann Hinweise liefern, aber keine Beweiswürdigung ersetzen.
- Pflicht zur persönlichen Anhörung: In vielen Verfahren (z.B. SGB II, SGB XII) hat der Betroffene ein Recht auf persönliche Anhörung. Ein KI-Chatbot ist hier keine ausreichende Alternative.
- Verschlusssachen: VS-NfD (Verschlusssachen – nur für den Dienstgebrauch) oder höher dürfen nicht in öffentliche KI-Tools eingegeben werden. Das gilt auch für interne Entwürfe oder Personaldaten.
Praxisfall: Grenzen beim Wohngeldantrag
Ein KI-System könnte Wohngeldanträge auf Vollständigkeit prüfen und fehlende Dokumente identifizieren. Das ist zulässig. Aber: Das System darf nicht allein über den Anspruch entscheiden, weil Ermessensspielräume (z.B. bei der Angemessenheitsprüfung der Wohnung) existieren. Das letzte Wort hat immer der Mensch – und die schriftliche Begründung muss von einem Menschen stammen, damit sie bei einem Widerspruch vor Gericht standhält.
3. Risikoabschätzung vor KI-Einsatz
Bevor eine Behörde ein KI-System einführt, sollte eine einfache Risikoabschätzung erfolgen:
- Welche Daten werden verarbeitet? Sind es personenbezogene Daten? Wie sensibel sind sie?
- Welche Entscheidungen trifft das System? Unterstützung oder alleinige Entscheidung?
- Gibt es Betroffene? Wer ist betroffen? Wie werden sie informiert?
- Was passiert bei Fehlern? Gibt es Fallbacks? Wer haftet?
- Ist eine DSFA erforderlich? Bei hohem Risiko für Rechte und Freiheiten: ja (Art. 35 DSGVO).
Merksatz
KI ist kein Allheilmittel. Sie ist ein Werkzeug – leistungsstark, aber fehleranfällig. In der Verwaltung gilt: Wenn Zweifel bestehen, ob KI eingesetzt werden darf, ist die Antwort meist "Nein" oder "Nur mit menschlicher Aufsicht". Wer die Grenzen kennt, kann KI sicher und effektiv nutzen.