Lernziele
Nach diesem Modul können Sie:
- Anbieter von KI-Systemen anhand wichtiger Kriterien vergleichen können
- Eine Checkliste für DSGVO und AI Act im öffentlichen Dienst anwenden können
- Den Nutzen und die Risiken eines Proof-of-Concept einschätzen können
- Eine Nutzen-Risiko-Abwägung für Entscheidungen erstellen können
1. Anbietervergleich: Was wirklich zählt
Bei der Auswahl eines KI-Tools für die Verwaltung geht es nicht nur um Funktionsumfang. Achten Sie auf diese fünf Dimensionen:
- DSGVO-Konformität: Wo werden Daten verarbeitet (EU/EWR)? Gibt es einen Auftragsverarbeitungsvertrag (AVV)?
- Transparenz: Kann der Anbieter erklären, wie das Modell entscheidet? Gibt es Dokumentation über Trainingsdaten und Herkunft?
- Integrationsfähigkeit: Lässt sich das Tool in bestehende Systeme (z. B. Dokumentenmanagement) einbinden?
- Support & Schulung: Wie ist der deutschsprachige Support? Werden Schulungsmaterialien bereitgestellt?
- Exit-Strategie: Können Sie Ihre Daten jederzeit exportieren? Was passiert bei Insolvenz des Anbieters?
Red Flag
Wenn ein Anbieter nicht in der Lage ist, den Trainingsdaten-Ursprung zu dokumentieren oder einen AVV zu liefern, ist das System für den Einsatz mit öffentlichen Daten in Deutschland ungeeignet – unabhängig davon, wie gut es funktioniert.
2. Die Compliance-Checkliste
Vor dem Start jedes KI-Pilotprojekts sollten folgende Punkte geprüft sein:
Compliance-Checkliste für öffentliche KI-Projekte
- DSGVO-Rechtsgrundlage für die Datenverarbeitung festgelegt?
- Auftragsverarbeitungsvertrag (AVV) mit dem Anbieter vorhanden?
- Datenverarbeitung ausschließlich in EU/EWR garantiert?
- Nutzung personenbezogener Daten bei externen KI-Tools ausgeschlossen?
- Entscheidungsbefugnis des Menschen dokumentiert (kein Black-Box-Automatismus)?
- Möglichkeit zur Erklärung von KI-Entscheidungen sichergestellt (EU AI Act Art. 14)?
- Dokumentation über Trainingsdaten und mögliche Bias-Quellen vorhanden?
3. Proof-of-Concept richtig aufsetzen
Ein PoC sollte klein, schnell und messbar sein. Idealerweise:
- Ein klar abgegrenzter Use-Case (z. B. „Klassifizierung von 500 Antragsformularen“)
- Definierte Erfolgskriterien (z. B. „> 90 % korrekte Zuordnung“)
- Testdaten, die repräsentativ für den echten Betrieb sind
- Ein Zeitfenster von maximal 12 Wochen
Merksatz
Ein PoC beweist nicht, dass das System perfekt ist – er beweist nur, dass es für diesen Datensatz in diesem begrenzten Rahmen funktioniert. Ein erfolgreicher PoC ist keine Freifahrt für den vollen Rollout.
4. Nutzen-Risiko-Abwägung
Jede Entscheidung für ein KI-System sollte transparent dokumentiert sein. Eine einfache Matrix hilft:
- Nutzen (quantifizieren): Zeitersparnis pro Vorgang, Fehlerreduktion in Prozent, Serviceverbesserung für Bürger
- Risiken (qualifizieren): Datenschutzverletzungen, Fehlentscheidungen bei Bürgern, Abhängigkeit vom Anbieter, Akzeptanzverlust bei Mitarbeitern
- Risikominderung: Welche Maßnahmen senken die Risiken? (z. B. Mensch-in-der-Schleife, regelmäßige Audits, Fallback-Prozesse)
Kontrollfrage
Wenn das KI-System morgen ausfällt oder „quatscht“ – haben Sie einen manuellen Prozess, der den Betrieb aufrechterhält? Wenn nein: Das System ist noch nicht reif für den produktiven Einsatz.
💬
Diskussion & Erfahrungsaustausch
Klicken zum Aufklappen
Wie nutzen Sie KI in Ihrer Behörde zu diesem Thema? Teilen Sie Erfahrungen, stellen Sie Fragen — anonym oder mit E-Mail. Kommentare liegen auf eigenen Servern (DSGVO-konform).