Daten und Entscheidungen
Lernziele
- Einschätzen können, was ein Sprachmodell an einer Datentabelle leistet und wo es aufhört, verlässlich zu sein
- Eine beschreibende Auswertung von einer Ursachenbehauptung unterscheiden und beide verschieden behandeln können
- Ein KI-Ergebnis an festen Prüffragen annehmen, zurückgeben oder verwerfen können
- Die datenschutzrechtlichen Bedingungen einer Auswertung klären können, bevor die Daten das Haus verlassen
1. Was ein Modell an einer Tabelle tut
In den Fachverfahren einer Behörde liegen Zahlen, die niemand auswertet, weil die Zeit dafür fehlt. Gibt man einem Sprachmodell eine Tabelle, bringt es Freitext in Kategorien, rechnet Häufigkeiten und Mittelwerte aus, beschreibt Verläufe über die Zeit und markiert Ausreißer. Eine Auswertung von 5.000 Bürgeranfragen nach Thema und Monat dauert damit Minuten statt Tage.
Zuverlässig rechnen kann das Modell dabei nicht. Beim Zusammenfassen über größere Zeilenmengen entstehen Rechenfehler, die es nicht bemerkt und nicht meldet. Jede Zahl, die weitergeht, wird deshalb in der Ausgangstabelle nachgezählt. Den Vorgang hinter den Zahlen kennt es ebenfalls nicht. Ein Bezirk mit 300 Prozent mehr Anfragen als im Vorjahr kann ein lokales Ereignis abbilden oder einen Erfassungsfehler, und welches von beidem zutrifft, klärt die Sachbearbeitung.
2. Zusammenhang und Ursache
Der häufigste Fehler einer KI-Auswertung steht im Satz nach den Zahlen. Ein Modell findet Merkmale, die zusammen auftreten. Ob eines davon das andere verursacht, steht in den Daten nicht. Trotzdem endet die Antwort regelmäßig mit einer Ursache und einer Empfehlung, weil Auswertungstexte in den Trainingsdaten so enden.
Ein Beispiel aus einem Bürgeramt. Montags gehen mehr Anfragen ein als an den übrigen Tagen. Der Montag ist dabei der Tag, an dem abgearbeitet wird, was am Wochenende liegen blieb. Wer die Zahl als Ursache liest, plant die Personaldecke am falschen Umstand entlang.
Heikel wird es, wenn ein Merkmal stellvertretend für etwas anderes steht. Findet ein Modell einen starken Zusammenhang zwischen der Postleitzahl und der Ablehnungsquote, beschreibt die Postleitzahl meist Einkommen, Wohnlage und Haushaltsgröße. Wird dieser Zusammenhang als Regel in ein System übernommen, schreibt die Behörde eine frühere Ungleichbehandlung fort, ohne dass es jemandem auffällt.
3. Bevor ein Ergebnis in eine Vorlage geht
Ein Ergebnis wird angenommen, zurückgegeben oder verworfen. Die Entscheidung hängt an fünf Fragen, mit deren Nummern die zweite Übung unten arbeitet.
- Woher stammen die Eingangsgrößen? Welche davon hat das Modell selbst eingesetzt, ohne das zu kennzeichnen?
- Lassen sich die genannten Werte am eigenen Datenbestand nachrechnen?
- Hält die Rechnung der Fachkenntnis stand, etwa bei Mittelwerten über sehr ungleiche Fälle?
- Passt das Ergebnis auf diesen Fall oder auf einen allgemein beschriebenen?
- Wer vertritt die Zahl, wenn im Ausschuss nachgefragt wird?
Dasselbe gilt bei technischen Störungen. Zum Fehler 403 am Antragsportal liefert ein Modell mögliche Ursachen zum Durchprobieren, vom fehlenden Zugangsrecht bis zur getrennten VPN-Verbindung. Welche es war, zeigt der Test.
Am wenigsten eignet sich ein Modell für eine einmalige, rechtlich umstrittene Entscheidung mit politischer Tragweite, weil sie Abwägung, Begründung und demokratische Legitimation verlangt. Entscheidung und Begründung muss eine Person im Widerspruchsverfahren vertreten.
4. Datenschutz vor der Auswertung
Geklärt wird das vor der ersten Zeile. In die Auswertung gehen nur die Merkmale, die die Fragestellung braucht, personenbezogene Felder werden vorher pseudonymisiert, und ausgewertet wird für den Zweck, für den die Daten erhoben wurden. Wer wann welche Daten wozu ausgewertet hat, wird festgehalten, weil diese Angabe bei einer Auskunftsanfrage gebraucht wird.
Personenbezogene Daten gehören dabei in ein Werkzeug im eigenen Haus oder in eines mit vertraglich geklärter Auftragsverarbeitung. Für ein frei zugängliches Cloud-Werkzeug reicht die Anonymisierung allein nicht, weil sie in kleinen Gruppen nicht hält. Über Bezirk, Altersgruppe und Antragsmonat lässt sich eine Person wieder zuordnen, sobald die Gruppe klein genug ist.
Wenn aus der Auswertung eine Entscheidung wird
Sobald ein System den Zugang zu öffentlichen Leistungen bewertet oder darüber entscheidet, zählt Anhang III der KI-Verordnung es zu den Hochrisiko-Systemen. Dann kommen menschliche Aufsicht nach Art. 14 der Verordnung, Transparenz gegenüber den Betroffenen und regelmäßig eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO hinzu. Art. 22 DSGVO gilt ohnehin, wonach niemand einer ausschließlich automatisierten Entscheidung mit rechtlicher Wirkung unterworfen werden darf.
Ein Analyseergebnis zurückgeben
Ausgangslage
Sie haben einem Modell eine anonymisierte Liste mit 3.200 Anträgen auf Elterngeld aus dem Jahr 2025 gegeben und um eine Auswertung gebeten. Die Antwort:
In Bezirk C liegt die Ablehnungsquote bei 23 %, im Landesdurchschnitt bei 9 %. Die Bearbeitungsdauer ist dort mit 47 Tagen ebenfalls überdurchschnittlich (Landesdurchschnitt 31 Tage). Die Daten zeigen, dass die längere Bearbeitungsdauer in Bezirk C zu mehr Ablehnungen führt. Empfehlung: Personalaufstockung in Bezirk C.
Auftrag
Formulieren Sie die Rückmeldung an den Kollegen, der Ihnen dieses Ergebnis weitergereicht hat. Sagen Sie, was Sie übernehmen, was Sie zurückweisen und welche Prüfung Sie als Nächstes machen würden.
Ihre Eingaben bleiben in diesem Browserfenster. Sie werden nicht gespeichert und nicht übertragen, ein Neuladen der Seite verwirft sie.
Musterlösung anzeigen
Übernehmen
Die beiden Zahlenpaare, sofern sie sich nachrechnen lassen. 23 % gegen 9 % und 47 Tage gegen 31 Tage sind beschreibende Werte aus der Liste. Bevor sie in eine Vorlage gehen, zähle ich beides in der Ausgangstabelle nach, weil Sprachmodelle beim Aggregieren über größere Datenmengen Rechenfehler machen, ohne sie zu bemerken.
Zurückweisen
Den Satz über die Ursache. Aus zwei gleichzeitig auffälligen Werten folgt kein Wirkungszusammenhang. Der Zusammenhang kann genauso gut umgekehrt laufen, wenn schwierige Fälle länger dauern und häufiger abgelehnt werden. Oder ein dritter Umstand wirkt auf beides, etwa eine abweichende Prüfpraxis, eine andere Bevölkerungsstruktur oder eine Softwareumstellung im Bezirk.
Mit der Ursachenbehauptung fällt auch die Empfehlung. Aus den vorliegenden Daten lässt sich ein Personalbedarf nicht ableiten.
Nächste Prüfung
Die Ablehnungsgründe in Bezirk C, aufgeschlüsselt nach Grund und Eingangsmonat. Dominiert dort ein einzelner Grund, etwa fehlende Nachweise, liegt die Erklärung eher in der Prüfpraxis oder im Antragsformular als in der Personaldecke. Verteilen sich die Gründe wie im Landesdurchschnitt, ist die nächste Frage eine andere.
Woran Sie eine gute Antwort erkennen
- Sie trennt die beschreibende Statistik von der Ursachenaussage und behandelt beide verschieden.
- Sie nennt mindestens eine plausible Gegenerklärung. Damit ist die Zurückweisung begründet und nicht nur behauptet.
- Sie will nachrechnen. Ein Modell, das über 3.200 Zeilen aggregiert, liefert Zahlen, die stimmen können und trotzdem geprüft werden müssen.
- Die vorgeschlagene Prüfung ist konkret genug, dass jemand sie morgen anfangen kann.
Woran eine schwache Antwort scheitert
- Sie übernimmt das Ergebnis, weil es plausibel klingt. Genau darin liegt die Gefahr, denn der Satz über die Ursache klingt wie der Rest.
- Sie weist alles zurück, auch die Zahlen. Damit geht die brauchbare Vorarbeit verloren und die Auswertung fängt von vorn an.
- Sie schreibt „Korrelation ist nicht Kausalität“ und hört da auf, ohne eine Gegenerklärung zu nennen. Der Satz ist richtig und überzeugt niemanden.
- Sie fragt das Modell nach einer Erklärung. Ein Sprachmodell begründet auf Nachfrage jede Aussage, auch eine falsche.
Häufige Verwechslungen
Anonymisiert heißt nicht harmlos. In einer kleinen Gruppe lässt sich eine Person über wenige Merkmale wieder zuordnen, etwa Bezirk, Altersgruppe und Antragsmonat. Ein Bezirk mit vierzig Anträgen im Jahr ist eine kleine Gruppe.
Eine Empfehlung ist kein Analyseergebnis. Das Modell hat sie angehängt, weil Auswertungstexte üblicherweise so enden. Eine Empfehlung setzt eine Abwägung voraus, die in den Daten nicht steckt.
Fünf Prüffragen an einer Personalbedarfsrechnung
Ausgangslage
Sie haben ein Modell gebeten, den Personalbedarf des Bürgeramts für das kommende Jahr abzuschätzen, und ihm die Fallzahlen der letzten drei Jahre gegeben. Die Antwort:
Auf Basis der Fallzahlentwicklung (2023: 41.200, 2024: 44.800, 2025: 48.100) ergibt sich ein jährliches Wachstum von rund 8 %. Für 2026 sind etwa 52.000 Fälle zu erwarten. Bei einer durchschnittlichen Bearbeitungszeit von 18 Minuten je Fall und 1.580 produktiven Jahresstunden je Vollzeitkraft entspricht das einem Bedarf von 9,9 Vollzeitkräften. Aktuell sind 8 Stellen besetzt. Empfehlung: zwei zusätzliche Stellen.
Auftrag
Gehen Sie die fünf Prüffragen aus diesem Modul der Reihe nach durch und beantworten Sie jede mit Bezug auf diese Antwort. Entscheiden Sie danach, was Sie mit dem Ergebnis machen.
Ihre Eingaben bleiben in diesem Browserfenster. Sie werden nicht gespeichert und nicht übertragen, ein Neuladen der Seite verwirft sie.
Musterlösung anzeigen
1. Quelle nachvollziehbar?
Die Fallzahlen stammen von mir, die sind prüfbar. Die 18 Minuten Bearbeitungszeit und die 1.580 Jahresstunden habe ich nicht geliefert. Beides hat das Modell selbst eingesetzt und nicht gekennzeichnet, und beides sind die entscheidenden Größen der ganzen Rechnung.
2. Zahlen belegbar?
Die Fortschreibung mit 8 % rechnet ein Wachstum fort, ohne dessen Grund zu kennen. Steht dahinter ein Zuzug, könnte er anhalten. Steht dahinter ein Rückstau oder eine einmalige Umtauschwelle bei Ausweisen, endet er von selbst. Nachzurechnen sind auch die Prozentangabe und die Multiplikation.
3. Logisch plausibel?
Die Rechnung unterstellt, dass jeder Fall gleich lang dauert. Im Bürgeramt dauert eine Adressänderung Minuten und eine Einbürgerungsangelegenheit Stunden. Aus einem Mittelwert über eine so ungleiche Menge lässt sich kein Personalbedarf ableiten.
4. Relevant für diesen Fall?
In der Rechnung fehlen Einarbeitungszeiten, Öffnungszeiten, Terminvergabe und Wartezeitenziele. Ein Bürgeramt wird auf Spitzen ausgelegt und nicht auf den Jahresdurchschnitt.
5. Verantwortung eindeutig?
Wer diese Zahl in eine Stellenanmeldung schreibt, steht dafür ein. Mit zwei ungekennzeichneten Annahmen im Kern der Rechnung kann ich sie nicht vertreten.
Was ich damit mache
Ich behalte die Struktur der Rechnung, also Fallzahl mal Bearbeitungszeit geteilt durch Jahresarbeitszeit. Beide Annahmen ersetze ich durch Werte aus dem eigenen Haus, die Bearbeitungszeit staffele ich nach Anliegensart, und statt einer Zahl rechne ich eine Spanne. Die Empfehlung „zwei Stellen“ streiche ich, bis diese Spanne steht.
Woran Sie eine gute Antwort erkennen
- Sie findet die beiden Annahmen, die das Modell selbst eingesetzt hat. Das ist die schwierigste Stelle, weil beide unauffällig im Fließtext stehen.
- Sie hinterfragt die Fortschreibung des Wachstums und nennt eine Alternative dazu.
- Sie erkennt den Mittelwert als Problem und begründet das an der Sache, nicht mit einer Regel.
- Sie behält den brauchbaren Teil und wirft nur weg, was nicht belegt ist.
Woran eine schwache Antwort scheitert
- Sie prüft nur, ob die Multiplikation stimmt. Sie stimmt, und das Ergebnis ist trotzdem unbrauchbar.
- Sie übernimmt die Empfehlung, weil zwei Stellen ohnehin gebraucht werden. Dann steht in der Vorlage eine Zahl ohne Grundlage, und die erste Rückfrage bringt sie zu Fall.
- Sie verwirft alles und rechnet von vorn. Die Struktur der Rechnung war richtig.
- Sie fragt das Modell, woher die 18 Minuten stammen. Es wird eine Herkunft nennen, die plausibel klingt.
Häufige Verwechslungen
Eine nachvollziehbare Rechnung ist noch keine belegte Rechnung. Jeder Rechenschritt kann korrekt sein, während die Eingangsgrößen geraten sind. Ein ausführlicher Rechenweg lenkt die Aufmerksamkeit sogar von den Annahmen ab.
Eine Prognose ist keine Planungszahl. Sie beschreibt, was bei unveränderten Bedingungen zu erwarten wäre. Die Planung entscheidet zusätzlich über Ziele, Risiken und das, was die Behörde bewusst anders machen will.
Diskussion & Erfahrungsaustausch
Wie nutzen Sie KI in Ihrer Behörde zu diesem Thema? Teilen Sie Erfahrungen, stellen Sie Fragen, anonym oder mit E-Mail. Kommentare liegen auf eigenen Servern (DSGVO-konform).