Grenzen des KI-Einsatzes
Lernziele
- Die drei wichtigsten technischen Grenzen aktueller KI-Modelle erklären können
- Die rechtlichen Grenzen des KI-Einsatzes in der Verwaltung benennen können
- Erkennen können, wann KI in einem Verwaltungsfall nicht eingesetzt werden darf
- Einschätzen können, ob ein geplanter KI-Einsatz risikoreich ist oder nicht
Kurz und einfach
KI macht Fehler. Sie erfindet Quellen, und neue Gesetze kennt sie oft nicht. Eine Entscheidung im Einzelfall kann sie nicht treffen. Die Begründung eines Bescheids schreibt ein Mensch. Verschlusssachen, zum Beispiel mit dem Stempel „Nur für den Dienstgebrauch“, gehören nicht in öffentliche KI-Werkzeuge. Das gilt auch, wenn Sie die Namen streichen. Fragen Sie vor dem Einsatz, welche Daten hineingehen, wer am Ende entscheidet und was bei einem Fehler passiert. Im Zweifel fragen Sie nach.
1. Technische Grenzen aktueller KI-Modelle
Selbst die fortschrittlichsten KI-Systeme haben harte Grenzen. Wer diese nicht kennt, setzt sich und die Organisation unnötig Risiken aus.
Nehmen wir eine Sachbearbeiterin, die einen Antrag auf Leistungen nach dem SGB II mit KI-Unterstützung bearbeitet. Bittet sie das Modell um die einschlägige Rechtsgrundlage, kann es einen Paragrafen erfinden, der so klingt wie „§ 12a AsylbLG“, aber nirgends steht. Diese Halluzination ist der gefährlichste Fehler, weil eine falsche Rechtsgrundlage oder ein erfundener Sachverhalt in der Verwaltung schwerwiegende Folgen hat. KI-Ausgaben dürfen deshalb nie ungeprüft weiterverwendet werden. Fragt sie nach einer Gesetzesänderung aus diesem Jahr, kennt das Modell sie möglicherweise nicht, weil sein Wissen an einem Trainings-Stichtag endet und Änderungen danach unbekannt bleiben. Legt sie dem Modell ein sehr langes Dokument vor, verarbeitet es nur eine begrenzte Textmenge auf einmal, oft zwischen 4.000 und 200.000 Token. Lange Dokumente müssen deshalb in Teilen eingelesen werden, wobei der Zusammenhang verloren gehen kann. Soll das Modell entscheiden, ob die Wohnung im Einzelfall angemessen groß ist, fehlt ihm die Fähigkeit zur Würdigung des unbestimmten Rechtsbegriffs der Angemessenheit nach § 22 Abs. 1 SGB II ebenso wie Lebenserfahrung und der Zugang zu nicht digitalisierten Akten. Eine belastbare Einzelfallwürdigung kann es nicht liefern. Und ob dieselbe Antragstellerin bereits einen Widerspruch eingelegt hat, weiß das Modell ohnehin nicht, weil es keinen Zugriff auf interne Datenbanken und, sofern nicht eigens konfiguriert, keine Internet-Suche hat.
Wichtig: Halluzinationen erkennen
Typische Anzeichen für Halluzinationen sind konkrete Paragrafennummern, die nicht existieren (z. B. „§ 12a AsylbLG“), oder vermeintliche Gerichtsentscheidungen, die fiktiv sind. Prüfen Sie immer an einer verlässlichen Quelle. Amtlich sind gesetze-im-internet.de für Bundesrecht und gesetze.berlin.de für Berliner Landesrecht. juris und beck-online sind kommerzielle Datenbanken, gut geeignet, aber keine amtliche Quelle.
2. Rechtliche Grenzen des KI-Einsatzes
In der Verwaltung gibt es Bereiche, in denen KI ausgeschlossen oder stark eingeschränkt ist. Verwendet der Gesetzgeber einen unbestimmten Rechtsbegriff wie die Angemessenheit der Unterkunft nach § 22 Abs. 1 SGB II, bleibt die Würdigung des Einzelfalls Rechtsanwendung, die ein Mensch verantwortet, und ein Gericht prüft sie im Streitfall vollständig nach. KI darf diese Würdigung nicht ersetzen, sie kann höchstens unterstützen. Erteilt die Sachbearbeitung eine Rechtsbehelfsbelehrung, muss ein Mensch ihre inhaltliche Richtigkeit prüfen, auch wenn KI die Formulierung liefert. In Zweifelsfragen, ob ein Sachverhalt vorliegt, muss ein Mensch die Beweise abwägen. KI kann dafür Hinweise liefern, aber die Beweiswürdigung nicht ersetzen. Steht der betroffenen Person in einem Verfahren nach SGB II oder SGB XII ein Recht auf persönliche Anhörung zu, reicht ein KI-Chatbot dafür nicht aus. Und eine als VS-NfD oder höher eingestufte Verschlusssache gehört ebenso wenig in ein öffentliches KI-Tool wie ein interner Entwurf oder ein Personaldatensatz.
Fall aus dem Amt: Grenzen beim Antrag nach dem SGB II
Ein KI-System könnte Anträge nach dem SGB II auf Vollständigkeit prüfen und fehlende Dokumente identifizieren. Das ist zulässig. Aber: Das System darf nicht allein über den Anspruch entscheiden, weil die Angemessenheitsprüfung der Wohnung eine Würdigung des Einzelfalls verlangt, die ein Mensch verantwortet. Das letzte Wort hat immer der Mensch – und die schriftliche Begründung muss von einem Menschen stammen, damit sie bei einem Widerspruch vor Gericht standhält.
3. Risikoabschätzung vor KI-Einsatz
Bevor eine Behörde ein KI-System einführt, sollte eine einfache Risikoabschätzung erfolgen. Sie beantwortet fünf Fragen.
- Welche Daten werden verarbeitet, und wie sensibel sind sie, wenn es sich um personenbezogene Daten handelt?
- Trifft das System eine unterstützende oder eine alleinige Entscheidung?
- Wer ist von der Entscheidung betroffen, und wie werden diese Personen informiert?
- Was passiert bei einem Fehler, gibt es einen Fallback, und wer haftet dafür?
- Ist eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO erforderlich, weil ein hohes Risiko für Rechte und Freiheiten besteht?
Merksatz
KI ist kein Allheilmittel. Sie ist ein Werkzeug – leistungsstark, aber fehleranfällig. In der Verwaltung gilt: Wenn Zweifel bestehen, ob KI eingesetzt werden darf, ist die Antwort meist „Nein“ oder „Nur mit menschlicher Aufsicht“. Wer die Grenzen kennt, kann KI sicher und effektiv nutzen.
Vier Anliegen an einem Vormittag
Ausgangslage
Vier Anliegen landen an einem Vormittag auf Ihrem Tisch.
- Eine Kollegin will sich einen 40-seitigen Prüfbericht der Innenrevision zusammenfassen lassen. Der Bericht ist als VS-NfD eingestuft.
- Sie sollen prüfen, ob ein Antrag vollständig ist, ob also alle acht geforderten Unterlagen vorliegen.
- Sie sollen begründen, warum eine Wohnung im Einzelfall als unangemessen groß gilt, obwohl sie die Richtwerte nur knapp überschreitet.
- Sie wollen wissen, ob sich die Widerspruchsfrist durch eine Gesetzesänderung von 2026 verschoben hat.
Auftrag
Ordnen Sie jedem Anliegen zu, ob KI dafür in Frage kommt, und begründen Sie jede Zuordnung mit einem Satz. Wo KI in Frage kommt, sagen Sie dazu, was ein Mensch danach zwingend prüft.
Ihre Eingaben bleiben in diesem Browserfenster. Sie werden nicht gespeichert und nicht übertragen, ein Neuladen der Seite verwirft sie.
Musterlösung anzeigen
1. Prüfbericht, VS-NfD
Kommt nicht in Frage. Eine Verschlusssache gehört nicht in ein Werkzeug, über das die Behörde keine Kontrolle hat. Das gilt unabhängig davon, wie gut die Zusammenfassung wäre. Betreibt das Haus ein eigenes, freigegebenes Modell auf eigener Hardware, ist die Frage neu zu stellen. Beantworten muss sie die IT-Sicherheit und nicht die Sachbearbeitung.
2. Vollständigkeitsprüfung
Kommt in Frage. Eine Prüfung gegen eine feste Liste ist eine formale Aufgabe ohne Ermessen. Der Mensch prüft danach Stichproben und vor allem die Fehlanzeigen, weil ein übersehenes Dokument teurer ist als ein zu Unrecht angemahntes.
3. Begründung der Unangemessenheit
Kommt für die Begründung selbst nicht in Frage. Die Angemessenheit im Einzelfall ist ein unbestimmter Rechtsbegriff, den ein Gericht im Streitfall vollständig nachprüft. Die Begründung muss von der Person stammen, die sie im Widerspruchsverfahren vertritt. Ein Modell darf den Aufbau ordnen und auf fehlende Punkte hinweisen. Den abwägenden Teil schreibt es nicht.
4. Widerspruchsfrist
Kommt in Frage, aber nur als Hinweisgeber. Ein Modell ohne Websuche kennt eine Änderung von 2026 möglicherweise nicht und nennt trotzdem eine Zahl. Geprüft wird am Gesetzestext und nicht an der Antwort.
Woran Sie eine gute Antwort erkennen
- Sie unterscheidet danach, was die Aufgabe verlangt, und nicht danach, was technisch geht. Zusammenfassen kann ein Modell in allen vier Fällen.
- Sie erkennt bei Nummer 3 den Wertungsspielraum und trennt den Aufbau der Begründung von der Abwägung.
- Sie benennt bei Nummer 2 die Fehlanzeige als das Riskante. Eine falsch gemeldete Lücke fällt sofort auf, eine übersehene Lücke fällt niemandem auf.
- Sie behandelt die Einstufung bei Nummer 1 als Ausschlussgrund und wägt nicht ab.
Woran eine schwache Antwort scheitert
- Sie antwortet viermal „ja, mit menschlicher Prüfung“. Das ist formal nie falsch und hilft niemandem weiter.
- Sie hält Nummer 1 für zulässig, wenn man die Namen entfernt. Die Einstufung hängt am Dokument und nicht an den Namen darin.
- Sie lässt bei Nummer 4 die Antwort des Modells als Auskunft stehen und gibt sie so weiter.
- Sie hält die Angemessenheitsprüfung bei Nummer 3 für reine Rechenarbeit und übersieht den Wertungsspielraum.
Häufige Verwechslungen
Anonymisierung hebt eine Einstufung nicht auf. Ein VS-NfD-Dokument bleibt eingestuft, auch wenn kein Name mehr darin steht. Über die Einstufung entscheidet die herausgebende Stelle.
Eine KI mit Zugang zum Internet ist deshalb noch nicht aktuell. Sie findet, was die Suche liefert, und greift auf ihr Trainingswissen zurück, wenn die Suche nichts Eindeutiges ergibt. Welchen der beiden Wege sie gegangen ist, sagt sie von sich aus nicht.
Diskussion & Erfahrungsaustausch
Wie nutzen Sie KI in Ihrer Behörde zu diesem Thema? Teilen Sie Erfahrungen, stellen Sie Fragen, anonym oder mit E-Mail. Kommentare liegen auf eigenen Servern (DSGVO-konform).