Algorithmus-Kritik und KI-Gestaltung
Lernziele
- Erklären können, wie Algorithmen in der Verwaltung Entscheidungen unterstützen und wo die Grenzen sind
- Typische Fallstricke von Algorithmen in der Verwaltung erkennen können (Bias, undurchsichtige Black-Box-Systeme)
- Algorithmische Entscheidungen kritisch bewerten und auf Fairness prüfen können
- Gestaltungsprinzipien für faire Algorithmen anwenden können (Audit, Transparency by Design)
1. Was ist ein Algorithmus?
Ein Algorithmus ist nichts anderes als eine Schritt-für-Schritt-Anleitung zur Lösung eines Problems. Wenn Sie einen Antrag auf Wohngeld stellen, prüft ein Sachbearbeiter nach festen Regeln: Einkommen, Miete, Familienstand. Das ist bereits algorithmisch, formal gesprochen eine endliche, eindeutige Handlungsvorschrift, in der Verwaltung meist als Entscheidungsbaum, Scoring-System oder Klassifizierungsregel unterwegs, etwa in der Form: Liegt das Haushaltseinkommen unter X und die Miete unter Y, ergibt sich das Wohngeld Z.
Der Unterschied liegt in der Ausführung. Ein Computer-Algorithmus macht dieselbe Prüfung automatisch und skaliert sie auf tausende Fälle. Das ist effizient, aber auch riskant, wenn die zugrunde liegenden Regeln fehlerhaft oder ungerecht sind.
Fall aus dem Amt: Wohngeld-Rechner
Ein Wohngeld-Rechner ist ein einfacher Algorithmus: Er nimmt Eingaben (Einkommen, Miete, Personen im Haushalt) und berechnet nach festen Regeln einen Betrag. Kritisch wird es, wenn der Algorithmus nicht nur rechnet, sondern auch bewertet – z. B. „Angemessenheit der Wohnung“ mit Hilfe von Marktdaten.
2. Algorithmen in der Verwaltung – Wo begegnen sie uns?
Algorithmen sind bereits in vielen Verwaltungsprozessen verankert, oft unsichtbar.
- Sozialleistungen: Automatisierte Bewilligungsprüfungen (SGB II, SGB XII, BAföG)
- Arbeitsmarkt: Job-Vorschläge und Maßnahmen-Zuweisungen (SGB II/III)
- Stadtplanung: Verkehrsfluss, Parkraumbewirtschaftung, Bebauungspläne
- Personalauswahl: Scoring bei Bewerbungen, algorithmische Vorsortierung
- Bürgeranfragen: Chatbots, automatisierte Antwortsysteme, FAQs
Kritisch: Black-Box-Problematik
Viele moderne KI-Algorithmen (insbesondere Deep Learning) sind Black-Box-Systeme: Sie liefern Ergebnisse, aber niemand kann genau nachvollziehen, warum sie zu einer bestimmten Entscheidung gekommen sind. In der Verwaltung ist das ein Problem – denn Begründungspflicht und Nachprüfbarkeit sind zentral.
3. Algorithmus-Kritik: Was kann schiefgehen?
Algorithmen sind nicht neutral. Sie spiegeln die Annahmen ihrer Entwickler und die Daten ihrer Trainingszeit wider, und mehrere typische Probleme kehren in der Verwaltungspraxis immer wieder.
Historischer Bias entsteht, wenn alte Daten bereits diskriminierende Muster enthalten und der Algorithmus sie fortschreibt, etwa ein Wohngeld-Algorithmus, der bestimmte Stadtviertel systematisch schlechter bewertet, weil sie es in den Trainingsdaten auch waren. Nah verwandt ist die Proxy-Diskriminierung: Ein Attribut wie die Postleitzahl wirkt unauffällig, steht aber stellvertretend für die soziale Herkunft und diskriminiert auf diesem Umweg. Ein Feedback-Loop verstärkt bestehende Ungleichheiten noch weiter, wenn ein Algorithmus mit seinen eigenen Ergebnissen weitertrainiert wird, etwa eine Polizei-Prädiktionssoftware, die ein Viertel häufiger kontrolliert und dadurch dort mehr Daten sammelt, die wiederum weitere Kontrollen begründen. Mangelnde Transparenz bedeutet, dass Betroffene nicht einmal wissen, dass ein Algorithmus überhaupt entschieden hat, geschweige denn wie. Und wo menschliche Aufsicht auf dem Papier vorgesehen ist, wird sie in der Praxis oft ausgehebelt, weil ein Vorschlag der Maschine ungeprüft übernommen wird, nach dem Motto, der Computer wisse es ohnehin besser.
Fall aus dem Amt: Scoring-System Jobcenter
Ein Jobcenter setzt ein KI-System ein, das Bewerberinnen und Bewerber nach ihren Chancen auf dem Arbeitsmarkt einstuft. Die Trainingsdaten stammen aus den 2000er-Jahren. Das System bewertet Menschen mit Migrationshintergrund systematisch schlechter, weil sie in den alten Daten seltener als „erfolgreich“ vermittelt galten. Das ist kein bewusster Rassismus. Das System hat das Muster in den historischen Daten gelernt und reproduziert es jetzt automatisch, ein Lehrbuchfall von historischem Bias.
4. Gestaltungsprinzipien für faire Algorithmen
Wie lassen sich Algorithmen so gestalten, dass sie fair, transparent und überprüfbar bleiben? Die EU Trustworthy AI Guidelines und der EU AI Act geben dafür die Richtung vor.
Transparency by Design bedeutet, von Anfang an zu dokumentieren, welche Daten, Regeln und Annahmen dem Algorithmus zugrunde liegen, denn nachträglich ist das ungleich schwieriger. Dazu gehört, in den Trainingsdaten auf ausreichende Diversität zu achten, damit alle relevanten Gruppen angemessen vertreten sind, und regelmäßig mit Fairness-Audits zu prüfen, ob verschiedene Gruppen statistisch unterschiedliche Ergebnisse erhalten, etwa mit Kreuztabellen oder einem Test auf Demographic Parity. Menschliche Aufsicht, auch Human-in-the-Loop genannt, heißt, dass ein Mensch jeden Algorithmus-Vorschlag prüfen und bestätigen kann, bevor er wirkt. Erklärbarkeit heißt, dass Betroffene verstehen können, wie eine Entscheidung zustande kam, mindestens in verständlicher Sprache. Explainable AI, kurz XAI, ist der Sammelbegriff für Verfahren, die genau das technisch leisten: Sie zeigen, welche Merkmale ein Ergebnis wie stark beeinflusst haben, etwa SHAP, LIME oder eine Feature-Importance-Auswertung. Beim Scoring-System des Jobcenters hätte ein solches Verfahren offengelegt, welches Merkmal die schlechtere Bewertung von Menschen mit Migrationshintergrund trieb, statt sie erst nachträglich in den historischen Daten zu entdecken. Ein Widerspruchsweg stellt zusätzlich sicher, dass sich jede automatisierte Entscheidung von einem Menschen überprüfen lässt. Genau an diesen Prinzipien hätte sich das System messen lassen müssen, bevor es in Betrieb ging.
Merksatz
Algorithmen sind keine neutralen Werkzeuge. Sie spiegeln Annahmen, Daten und Machtverhältnisse wider. Vertrauenswürdige Algorithmen brauchen Transparenz, Fairness-Audits und menschliche Aufsicht, und der EU AI Act verlangt genau das für hochriskante Systeme.
5. Prüfung und Auditierung von Algorithmen
Als Mitarbeitende im öffentlichen Dienst können Sie bei jedem neuen KI-System diese Fragen stellen.
- Welche Daten wurden verwendet? Sind sie aktuell, und decken sie alle relevanten Gruppen ab?
- Welche Annahmen wurden getroffen, wer hat das Modell entwickelt und mit welchem Ziel?
- Wie wurden sensible Attribute behandelt? Gibt es eine Proxy-Diskriminierung, zum Beispiel über Postleitzahl oder Name?
- Wie oft wird das System überprüft? Gibt es regelmäßige Fairness-Audits?
- Was passiert bei Fehlern? Gibt es einen Fallback, und wer überprüft die Ergebnisse?
Rechtlich: Art. 13 EU AI Act (Transparenz)
Anbieter hochriskanter KI-Systeme müssen ihr System nach Art. 13 EU AI Act so transparent gestalten, dass Betreiber die Ausgaben angemessen interpretieren und nutzen können. Diese Pflicht gehört zu den Hochrisiko-Pflichten nach Anhang III und gilt nach der Verschiebung durch den Digital Omnibus erst ab dem 2. Dezember 2027. Dann müssen auch Sachbearbeiter:innen die Entscheidungsgrundlagen verstehen und dokumentieren können.
Eine Fairness-Prüfung entwerfen
Ausgangslage
Ein Fachbereich will einen Vorschlagsalgorithmus für Maßnahmen der beruflichen Weiterbildung einführen. Der Anbieter versichert schriftlich, das System bekomme keine Angaben zu Geschlecht, Herkunft oder Staatsangehörigkeit. Sie sollen die Fairness-Prüfung entwerfen, mit der das System vor dem Produktivgang und danach laufend kontrolliert wird.
Auftrag
Beschreiben Sie die Prüfung. Sagen Sie, was verglichen wird, gegen welchen Maßstab, wie oft, und was geschieht, wenn die Prüfung anschlägt. Nennen Sie mindestens zwei Merkmale, die das System trotz der Zusicherung indirekt aufnehmen könnte.
Ihre Eingaben bleiben in diesem Browserfenster. Sie werden nicht gespeichert und nicht übertragen, ein Neuladen der Seite verwirft sie.
Musterlösung anzeigen
Was verglichen wird
Für jeden Vorschlagstyp wird die Zuweisungsquote nach Gruppen aufgeschlüsselt, also nach Geschlecht, Altersgruppe, Wohnbezirk, Bildungsabschluss und Dauer des Leistungsbezugs. Diese Merkmale liegen der Behörde vor, auch wenn das System sie nicht bekommt. Genau deshalb kann die Behörde prüfen, was der Anbieter nicht prüfen kann.
Maßstab
Verglichen wird die Verteilung der Vorschläge zwischen Gruppen mit vergleichbarem Profil. Auffällig wird eine Gruppe, wenn sie einen Vorschlagstyp deutlich seltener oder häufiger erhält als die Vergleichsgruppe mit ähnlicher Qualifikation und ähnlichem Erwerbsverlauf. Eine Abweichung ist ein Prüfanlass und noch kein Beweis, denn sie kann auch aus dem tatsächlich verfügbaren Kursangebot stammen.
Häufigkeit und Folge
Einmal vor dem Produktivgang an historischen Fällen, danach vierteljährlich, zusätzlich nach jeder Modellaktualisierung durch den Anbieter. Der letzte Anlass wird gern vergessen, dabei ändert ein Update das Verhalten des Systems stärker als ein Quartal Betrieb.
Schlägt die Prüfung an, geht die Auffälligkeit mit den Zahlen an die verantwortliche Stelle und an die Datenschutzbeauftragte. Bis zur Klärung prüft die Sachbearbeitung die betroffenen Vorschlagstypen einzeln, statt sie zu übernehmen. Abgeschaltet wird das System, wenn sich die Abweichung innerhalb einer vorher festgelegten Frist nicht erklären lässt.
Merkmale, die indirekt einfließen
Wohnbezirk und Postleitzahl wirken als Näherungswert für soziale Lage und Herkunft. Erwerbsunterbrechungen und Teilzeitzeiten wirken als Näherungswert für Betreuungsarbeit und damit häufig für das Geschlecht. Dazu kommen im Ausland erworbene Abschlüsse, das Jahr des Schulabschlusses als Näherung für das Alter und die Teilnahme an Sprachkursen.
Woran Sie eine gute Antwort erkennen
- Sie prüft Ergebnisse und nicht Eingaben. Ob das System ein Merkmal bekommt, ist nachrangig. Entscheidend ist, wie sich die Vorschläge über die Gruppen verteilen.
- Sie nennt konkrete Näherungsmerkmale und den Weg, über den sie wirken.
- Sie legt einen Auslöser und eine Folge fest. Eine Prüfung ohne Konsequenz ist Statistik.
- Sie nimmt die Modellaktualisierung als eigenen Prüfanlass auf.
Woran eine schwache Antwort scheitert
- Sie verlässt sich auf die Zusicherung des Anbieters. Die betrifft die Eingabe, das Problem entsteht im Ergebnis.
- Sie prüft einmalig vor dem Produktivgang. Damit misst sie einen Zustand, den es nach dem ersten Update nicht mehr gibt.
- Sie definiert keinen Maßstab. Ohne Vergleichsgruppe lässt sich keine Zahl bewerten.
- Sie will bei jedem Treffer sofort abschalten. Dann wird die Prüfung im Alltag ausgesetzt, weil niemand ein laufendes Verfahren stoppen will.
Häufige Verwechslungen
Ein Merkmal wegzulassen macht ein System nicht fair. Die Information steckt in anderen Feldern weiter drin, und die Behörde verliert dazu noch die Möglichkeit, den Unterschied überhaupt zu messen.
Gleiche Behandlung und gleiches Ergebnis sind zwei verschiedene Maßstäbe. Ein System kann alle Profile nach denselben Regeln behandeln und eine Gruppe trotzdem systematisch schlechter stellen, weil die Regeln aus einer Zeit stammen, in der diese Gruppe seltener vermittelt wurde. Welcher Maßstab gilt, wird vor der Prüfung festgelegt und nicht danach.
Diskussion & Erfahrungsaustausch
Wie nutzen Sie KI in Ihrer Behörde zu diesem Thema? Teilen Sie Erfahrungen, stellen Sie Fragen, anonym oder mit E-Mail. Kommentare liegen auf eigenen Servern (DSGVO-konform).