KI-Systeme evaluieren
Lernziele
Nach diesem Modul können Sie:
- Anbieter von KI-Systemen anhand von fünf Dimensionen vergleichen
- Eine Compliance-Checkliste für DSGVO und AI Act im öffentlichen Dienst anwenden
- Ein KI-System strukturiert gegen ein anerkanntes Rahmenwerk prüfen
- Eine Nutzen-Risiko-Abwägung für eine Entscheidung erstellen
1. Anbietervergleich: Was wirklich zählt
Nach dem erfolgreichen Pilotbetrieb steht das Bürgeramt aus Modul 3.1 vor einer zweiten Entscheidung. Ein Anbieter bewirbt sich mit einer kommerziellen Wartemanagement-Suite, komplett mit Chatbot, während der selbstgebaute Prototyp inzwischen an zwei Schaltern läuft und gute Zahlen liefert. Bei der Auswahl eines KI-Tools für die Verwaltung geht es nicht nur um Funktionsumfang. Fünf Dimensionen entscheiden in der Praxis.
Die DSGVO-Konformität klärt, wo Daten verarbeitet werden und ob ein Auftragsverarbeitungsvertrag vorliegt. Im Beispiel verarbeitete die Suite Warteschlangendaten auf Servern außerhalb der EU, eine Zusage zur Datenhaltung in der EU konnte der Anbieter erst nach Rückfrage nachreichen. Die Transparenz zeigt, ob ein Anbieter erklären kann, wie sein Modell entscheidet, und ob er Trainingsdaten und Herkunft dokumentiert. Die Integrationsfähigkeit fragt, ob sich ein Werkzeug in die bestehende IT-Landschaft einbinden lässt, im Bürgeramt in das vorhandene Aufrufsystem, ohne es zu ersetzen. Support und Schulung meinen deutschsprachigen Support und mitgelieferte Schulungsmaterialien. Die Exit-Strategie legt fest, ob Daten jederzeit exportiert werden können und was bei einer Insolvenz des Anbieters passiert.
Red Flag
Kann ein Anbieter den Ursprung der Trainingsdaten nicht dokumentieren oder keinen Auftragsverarbeitungsvertrag liefern, ist sein System für den Einsatz mit öffentlichen Daten in Deutschland ungeeignet, unabhängig davon, wie gut es sonst funktioniert. Im Bürgeramt fiel die Entscheidung am Ende für den Ausbau des eigenen Prototyps: Er kostete weniger, die Daten blieben im eigenen Haus, und die IT-Koordinatorin kannte den Code bereits aus der Pilotphase.
2. Die Compliance-Checkliste
Vor dem Start jedes KI-Pilotprojekts sollten folgende Punkte geprüft sein:
Compliance-Checkliste für öffentliche KI-Projekte
- DSGVO-Rechtsgrundlage für die Datenverarbeitung festgelegt?
- Auftragsverarbeitungsvertrag (AVV) mit dem Anbieter vorhanden?
- Datenverarbeitung ausschließlich in EU/EWR garantiert?
- Nutzung personenbezogener Daten bei externen KI-Tools ausgeschlossen?
- Entscheidungsbefugnis des Menschen dokumentiert (kein Black-Box-Automatismus)?
- Möglichkeit zur Erläuterung einzelner KI-Entscheidungen gegenüber Betroffenen sichergestellt (Art. 86 KI-VO, Pflicht für Hochrisiko-Systeme nach Anhang III ab 2.12.2027)?
- Dokumentation über Trainingsdaten und mögliche Bias-Quellen vorhanden?
Eine strukturierte Prüfung dieser Art liegt bereits im Kurs vor. Das Prüfschema-Konformität-Werkzeug vergleicht den KI-Führerschein selbst gegen anerkannte Rahmenwerke wie den EU AI Act Art. 4 und die Trustworthy-AI-Leitlinien der EU-Kommission. Es zeigt das Prinzip, das sich auf ein beliebiges KI-System übertragen lässt: Kriterium für Kriterium gegen ein anerkanntes Rahmenwerk halten, statt aus dem Bauch zu urteilen. Im Praxisfall am Ende von Gold wenden Sie genau dieses Prinzip auf Ihr eigenes Vorhaben an.
3. Proof-of-Concept richtig aufsetzen
Ein PoC sollte klein, schnell und messbar sein: ein klar abgegrenzter Anwendungsfall, definierte Erfolgskriterien, Testdaten, die den echten Betrieb repräsentieren, und ein Zeitfenster von höchstens zwölf Wochen. Im Bürgeramt lief der eigene Prototyp acht Wochen an zwei Schaltern, bevor überhaupt über einen Anbieterwechsel gesprochen wurde, und genau diese acht Wochen lieferten die Vergleichszahlen, gegen die sich das kommerzielle Angebot messen lassen musste.
Merksatz
Ein PoC beweist nicht, dass ein System perfekt ist. Er beweist nur, dass es für diesen Datensatz in diesem begrenzten Rahmen funktioniert. Ein erfolgreicher PoC ist keine Freifahrt für den vollen Rollout.
4. Nutzen-Risiko-Abwägung
Jede Entscheidung für ein KI-System sollte transparent dokumentiert sein. Der Nutzen lässt sich quantifizieren, etwa als Zeitersparnis pro Vorgang, Fehlerreduktion in Prozent oder Serviceverbesserung für die Bürgerinnen und Bürger. Risiken lassen sich qualifizieren, etwa Datenschutzverletzungen, Fehlentscheidungen, Abhängigkeit vom Anbieter oder Akzeptanzverlust bei den Mitarbeitenden. Und Risikominderung beschreibt, welche Maßnahmen die Risiken senken, etwa ein Mensch in der Schleife, regelmäßige Audits oder ein Fallback-Prozess für den Ausfall.
Kontrollfrage
Fällt das System morgen aus oder liefert falsche Werte: Gibt es dann einen manuellen Prozess, der den Betrieb aufrechterhält? Ohne diesen Prozess ist ein System noch nicht reif für den produktiven Einsatz.
Red Flag oder akzeptabel?
Ordnen Sie jede Aussage eines Anbieters der passenden Einschätzung zu. Sie erhalten sofort eine Rückmeldung mit kurzer Begründung.
Eine eigene Nutzen-Risiko-Abwägung
Auftrag
Formulieren Sie eine Nutzen-Risiko-Abwägung für ein eigenes kleines KI-Vorhaben, real oder ausgedacht. Nennen Sie einen quantifizierbaren Nutzen, ein qualifizierbares Risiko und eine Maßnahme, die dieses Risiko senkt.
Ihre Eingaben bleiben in diesem Browserfenster. Sie werden nicht gespeichert und nicht übertragen, ein Neuladen der Seite verwirft sie.
Musterlösung anzeigen
So könnte das für das Bürgeramt aussehen: „Nutzen: Die Nachfragen an der Information sinken um die Hälfte, geschätzter Zeitgewinn zwei Stunden pro Schalter und Tag. Risiko: Bei einem Ausfall des Aufrufsystems zeigt die Anzeige veraltete Werte an, ohne das kenntlich zu machen. Maßnahme: Ein Zeitstempel auf der Anzeige macht sichtbar, wie alt der letzte Datenabgleich ist, und bei mehr als zehn Minuten Verzögerung blendet sich ein Hinweis ein, dass die Schätzung unsicher ist.“
Bereit für den produktiven Einsatz?
Prüfen Sie vor dem produktiven Einsatz eines KI-Systems, ob diese Punkte geklärt sind.
Vor dem Rollout
- Ein Fallback-Prozess besteht für den Fall, dass das System ausfällt oder falsche Werte liefert.
- Der Auftragsverarbeitungsvertrag ist unterzeichnet, nicht nur zugesagt.
- Erfolgskriterien aus dem Proof of Concept sind erreicht, nicht nur das Versprechen des Anbieters.
- Ein Mensch bleibt für die Letztentscheidung zuständig, keine automatische Ausführung ohne Kontrolle.
- Die Kosten für Wartung und Monitoring sind im Budget der nächsten Jahre eingeplant, nicht nur für das erste Jahr.
Evaluation im Alltag Ihrer Ebene
Ein KI-System wählt man nach Compliance, nachweisbarem Nutzen und einem belastbaren Fallback, nicht nach dem schönsten Vertriebsversprechen. Entscheidend ist, wer die Auswahl verantwortet und wie groß der Bedarf wirklich ist. Wählen Sie oben Ihre Ebene für ein passendes Beispiel.
Eine Senatsverwaltung prüft ein KI-System, das später in mehreren nachgeordneten Behörden eingesetzt werden soll. Hier zählt die strategische Frage nach Interoperabilität, Vergaberecht und einer landesweiten Datenschutz-Folgenabschätzung, nicht nur die Sicht der einzelnen Behörde. Ein Proof-of-Concept in einer Pilotbehörde liefert die Entscheidungsgrundlage, bevor ein Rahmenvertrag geschlossen wird. Die Auswahl ist eine Steuerungsentscheidung, keine reine IT-Beschaffung.
Ein Bezirksamt vergleicht zwei Anbieter für ein Assistenzsystem im Bürgerservice. Wichtig ist die Frage, ob das System in die bestehende IT-Landschaft des Bezirks passt und ob der Anbieter einen Auftragsverarbeitungsvertrag mit EU-Serverstandort bietet. Ein vierwöchiger Testbetrieb mit echten, aber anonymisierten Anfragen zeigt, ob die versprochene Zeitersparnis im Alltag wirklich eintritt. Der Personalrat wird früh eingebunden.
Ein Landesamt evaluiert ein Fachsystem mit KI-Komponente für die Antragsprüfung. Da hier viele gleichartige Vorgänge anfallen, lohnt sich eine harte Nutzenmessung: Bearbeitungszeit pro Vorgang vorher und nachher, Fehlerquote, Quote der Fälle, die doch manuell nachgeprüft werden müssen. Eine hohe Nachprüfquote entwertet den Nutzen. Der Anbieter muss die Funktionsweise so erklären, dass die Fachaufsicht sie nachvollziehen kann.
Eine Gemeinde mit knappen Ressourcen prüft ein günstiges KI-Werkzeug. Die Nutzen-Risiko-Abwägung ist hier besonders nüchtern zu führen. Lohnt sich der Aufwand für Einführung, Schulung und Datenschutzprüfung bei der tatsächlichen Fallzahl? Oft ist die ehrliche Antwort, klein anzufangen oder auf eine interkommunale Lösung zu warten, statt allein ein System zu beschaffen, das niemand pflegen kann.
Eine Stadtverwaltung evaluiert einen KI-Chatbot für das städtische Serviceportal. Neben Compliance zählt die Frage nach dem Fallback: Was passiert, wenn der Chatbot eine falsche Auskunft gibt oder ausfällt? Ein klar erreichbarer menschlicher Kanal muss erhalten bleiben. Im Proof-of-Concept wird gemessen, wie oft der Chatbot korrekt antwortet und wie oft Bürger doch zur Sachbearbeitung weitergeleitet werden müssen.
Die Beispiele richten sich nach der oben oder im Lernpfad gewählten Verwaltungsebene.
Diskussion & Erfahrungsaustausch
Wie nutzen Sie KI in Ihrer Behörde zu diesem Thema? Teilen Sie Erfahrungen, stellen Sie Fragen, anonym oder mit E-Mail. Kommentare liegen auf eigenen Servern (DSGVO-konform).