Kurs in Entwicklung – Beta-Version
Stufe 3: Impact Layer

KI-Systeme evaluieren

⏱ 25 Min 📋 Pflichtmodul 🔓 Verfügbar

Lernziele

Nach diesem Modul können Sie:

1. Anbietervergleich: Was wirklich zählt

Bei der Auswahl eines KI-Tools für die Verwaltung geht es nicht nur um Funktionsumfang. Achten Sie auf diese fünf Dimensionen:

Red Flag

Wenn ein Anbieter nicht in der Lage ist, den Trainingsdaten-Ursprung zu dokumentieren oder einen AVV zu liefern, ist das System für den Einsatz mit öffentlichen Daten in Deutschland ungeeignet – unabhängig davon, wie gut es funktioniert.

2. Die Compliance-Checkliste

Vor dem Start jedes KI-Pilotprojekts sollten folgende Punkte geprüft sein:

Compliance-Checkliste für öffentliche KI-Projekte

  • DSGVO-Rechtsgrundlage für die Datenverarbeitung festgelegt?
  • Auftragsverarbeitungsvertrag (AVV) mit dem Anbieter vorhanden?
  • Datenverarbeitung ausschließlich in EU/EWR garantiert?
  • Nutzung personenbezogener Daten bei externen KI-Tools ausgeschlossen?
  • Entscheidungsbefugnis des Menschen dokumentiert (kein Black-Box-Automatismus)?
  • Möglichkeit zur Erklärung von KI-Entscheidungen sichergestellt (EU AI Act Art. 14)?
  • Dokumentation über Trainingsdaten und mögliche Bias-Quellen vorhanden?

3. Proof-of-Concept richtig aufsetzen

Ein PoC sollte klein, schnell und messbar sein. Idealerweise:

Merksatz

Ein PoC beweist nicht, dass das System perfekt ist – er beweist nur, dass es für diesen Datensatz in diesem begrenzten Rahmen funktioniert. Ein erfolgreicher PoC ist keine Freifahrt für den vollen Rollout.

4. Nutzen-Risiko-Abwägung

Jede Entscheidung für ein KI-System sollte transparent dokumentiert sein. Eine einfache Matrix hilft:

Kontrollfrage

Wenn das KI-System morgen ausfällt oder „quatscht“ – haben Sie einen manuellen Prozess, der den Betrieb aufrechterhält? Wenn nein: Das System ist noch nicht reif für den produktiven Einsatz.

💬 Diskussion & Erfahrungsaustausch Klicken zum Aufklappen

Wie nutzen Sie KI in Ihrer Behörde zu diesem Thema? Teilen Sie Erfahrungen, stellen Sie Fragen — anonym oder mit E-Mail. Kommentare liegen auf eigenen Servern (DSGVO-konform).

Kommentare werden geladen…