Ethische Aspekte und Antidiskriminierung
Lernziele
- Ethische Konflikte bei KI in der Verwaltung erkennen können
- Erklären können, warum KI-Systeme Vorurteile aus Trainingsdaten übernehmen
- Erklären können, warum Fairness, Transparenz und Rechenschaft (Accountability) wichtig sind
- Sagen können, was man bei Verdacht auf Diskriminierung durch KI tun kann
Kurz und einfach
KI lernt aus alten Daten. In alten Daten stehen oft Vorurteile. Dann übernimmt die KI diese Vorurteile, auch wenn das niemand will. Ein System kann Menschen benachteiligen, obwohl Geschlecht oder Herkunft gar nicht gespeichert sind. Menschen müssen die Ergebnisse erklären und ändern können. Die Verantwortung liegt bei Menschen. Fällt Ihnen ein Muster auf, schreiben Sie auf, was Sie gesehen haben, und sagen es Ihrer Teamleitung. Ändern Sie das System nicht selbst.
1. Ethische Prinzipien für KI in der Verwaltung
KI in der öffentlichen Verwaltung wirft spezifische ethische Fragen auf, die über Datenschutz und Recht hinausgehen. Vier Prinzipien stehen im Mittelpunkt:
- Menschenwürde und Autonomie: KI-Systeme dürfen Menschen nicht entmündigen oder ihre Entscheidungsfreiheit einschränken. In der Verwaltung bedeutet das: Bürger:innen müssen immer die Möglichkeit haben, eine menschliche Entscheidung zu verlangen.
- Gerechtigkeit und Fairness: Algorithmen dürfen keine bestehenden Ungleichheiten verstärken. Wer schon benachteiligt ist, darf durch KI nicht noch weiter benachteiligt werden.
- Transparenz und Erklärbarkeit: Betroffene müssen verstehen können, wie eine KI zu einer Entscheidung kommt. „Black-Box-Modelle“ sind in der Verwaltung problematisch.
- Rechenschaftspflicht (Accountability): Wenn etwas schiefgeht, muss klar sein, wer die Verantwortung trägt. Nicht das KI-System, sondern der Mensch dahinter.
2. Verzerrungen (Bias) in KI-Systemen
KI-Systeme lernen aus Daten, und Daten enthalten oft historische Verzerrungen. Wenn ein Modell mit alten Daten trainiert wird, übernimmt es auch alte Vorurteile.
Beispiele für Bias in der Verwaltung:
- Adress-Bias: Postleitzahlen korrelieren oft mit sozialer Lage und Migration. Ein KI-System, das PLZ berücksichtigt, kann indirekt nach Herkunft diskriminieren.
- Namens-Bias: Namen werden oft als Proxy für ethnische Herkunft verwendet. Algorithmen, die Anträge automatisiert sortieren, können unbewusst gegen bestimmte Namen voreingenommen sein.
- Geschlechts-Bias: Historische Daten zeigen, dass Frauen in bestimmten Berufen seltener förderfähig eingestuft wurden. Ein KI-System übernimmt dieses Muster.
- Alters-Bias: Junge Menschen werden in Arbeitsmarktprogrammen oft als flexibler eingeschätzt – ein Muster, das KI reproduziert.
Fall aus dem Amt: Scoring-System in der Jobbörse
Ein KI-gestütztes Scoring-System soll Job-Vorschläge für SGB-II-Leistungsberechtigte generieren. Die Trainingsdaten stammen aus den letzten 10 Jahren. Historisch wurden Männer mit Migrationshintergrund in der Branchenliste seltener empfohlen. Das System reproduziert das Muster: Diese Gruppe erhält systematisch schlechtere Job-Vorschläge. Würde das System so eingesetzt werden, wäre das ein klarer Fall von mittelbarer Diskriminierung nach § 3 Abs. 2 AGG, ohne dass jemand explizit danach gefragt hat.
Kritisch: Transparenzpflichten
Für Hochrisiko-Systeme verpflichtet Art. 13 AI Act den Anbieter, der Behörde als Betreiberin verständlich mitzuteilen, wie das System arbeitet, wo seine Grenzen liegen und wie seine Ergebnisse zu lesen sind. Art. 14 AI Act verlangt menschliche Aufsicht, also Beschäftigte, die Ergebnisse prüfen, übersteuern und das System anhalten können. Art. 86 AI Act gibt Betroffenen ein Recht auf Erläuterung, wenn eine Entscheidung über sie auf einem solchen System beruht. In der Verwaltung heißt das, dass die Sachbearbeitung erklären können muss, warum ein Vorschlag so ausfällt, und dass ein Mensch ihm widersprechen kann.
3. Handlungsanweisungen zur Vermeidung von Diskriminierung
Diskriminierung durch KI lässt sich nicht vollständig eliminieren, aber minimieren. Hier ist ein praktischer Rahmen für den öffentlichen Dienst:
- Diversität in den Trainingsdaten: Stellen Sie sicher, dass Trainingsdaten alle Zielgruppen ausreichend repräsentieren. Bei Zweifeln: Daten ergänzen oder separat prüfen.
- Sensible Attribute überwachen: Dokumentieren Sie, welche Merkmale (PLZ, Name, Alter, Geschlecht) das System verwendet. Werden sensible Attribute als Proxy verwendet?
- Regelmäßige Fairness-Audits: Prüfen Sie regelmäßig, ob verschiedene Gruppen statistisch unterschiedliche Ergebnisse erhalten. Tools wie „Fairness Indicators“ oder einfache Kreuztabellen helfen.
- Fallback für Betroffene: Jede automatisierte Entscheidung muss mit einem Widerspruchsweg verbunden sein, der zu einem menschlichen Sachbearbeiter führt.
- Dokumentation der Annahmen: Welche Annahmen wurden bei der Modellentwicklung getroffen? Wer hat die Daten ausgewählt? Antworten müssen nachweisbar sein.
Merksatz
KI-Systeme reproduzieren, was sie lernen. Wenn Trainingsdaten Ungleichheiten enthalten, verstärkt die KI diese. Die Verantwortung liegt beim Menschen – nicht beim Algorithmus. Regelmäßige Fairness-Audits und menschliche Aufsicht sind die beste Versicherung gegen Diskriminierung.
Was tun, wenn Sie Diskriminierung vermuten?
Sie nutzen täglich ein KI-System und haben das Gefühl, dass bestimmte Personengruppen systematisch schlechter abschneiden. So gehen Sie vor:
- Notieren: Wann, welches System, welches Muster haben Sie beobachtet? Konkrete Fälle aufschreiben.
- Melden: Sprechen Sie Ihre Teamleitung an – oder direkt den Datenschutzbeauftragten Ihrer Behörde. In vielen Häusern gibt es einen KI- oder Digitalisierungsbeauftragten.
- Nicht selbst beheben: Verändern Sie das System nicht eigenmächtig. Das ist Aufgabe der verantwortlichen Stelle.
- Betroffene schützen: Bis zur Klärung: Übersteuern Sie die KI-Empfehlung manuell, wenn Sie eine konkrete Benachteiligung erkennen. Das ist Ihr Recht – und Ihre Pflicht.
Eine Beobachtung melden, ohne zu viel zu behaupten
Ausgangslage
In Ihrem Team läuft seit vier Monaten ein Vorschlagssystem, das Weiterbildungsangebote für Leistungsberechtigte nach dem SGB II auswählt. Ihnen fällt auf, dass Frauen über fünfzig fast immer Kurse aus den Bereichen Reinigung und Pflege vorgeschlagen bekommen, auch dann, wenn im Profil eine abgeschlossene kaufmännische Ausbildung steht. Bei Männern derselben Altersgruppe kommen technische Angebote.
Auftrag
Schreiben Sie die Meldung an Ihre Teamleitung. Sie soll in etwa zehn Zeilen sagen, was Sie beobachtet haben, warum Sie es für ein Problem halten und was Sie bis zur Klärung tun. Halten Sie dabei auseinander, was Sie gesehen haben und was Sie daraus schließen.
Ihre Eingaben bleiben in diesem Browserfenster. Sie werden nicht gespeichert und nicht übertragen, ein Neuladen der Seite verwirft sie.
Musterlösung anzeigen
„seit Anfang Mai bearbeite ich Vermittlungsvorschläge mit dem neuen Vorschlagssystem. Mir ist aufgefallen, dass Frauen ab etwa fünfzig Jahren fast durchgängig Kurse aus den Bereichen Reinigung und Pflege vorgeschlagen bekommen. In sieben Fällen aus den letzten vier Wochen stand im Profil eine abgeschlossene kaufmännische Ausbildung, ein kaufmännischer Kurs wurde trotzdem nicht vorgeschlagen. Bei Männern derselben Altersgruppe habe ich das Muster nicht gesehen, dort kamen überwiegend technische Angebote.
Das sind Beobachtungen an Einzelfällen und keine Auswertung. Ich schließe daraus, dass das System aus alten Vermittlungsdaten ein Geschlechtermuster übernommen hat. Nachgewiesen ist das nicht. Dafür bräuchte es eine Auswertung aller Vorschläge, aufgeschlüsselt nach Geschlecht, Altersgruppe und Vorbildung.
Ich halte das für meldepflichtig, weil eine systematisch unterschiedliche Behandlung nach Geschlecht eine mittelbare Benachteiligung nach § 3 Abs. 2 AGG sein kann. Bis zur Klärung übersteuere ich den Vorschlag, wenn er nicht zum Profil passt, und halte das im Vermerk fest. Die sieben Fälle habe ich mit Aktenzeichen notiert und stelle sie bereit. Am System selbst ändere ich nichts.“
Woran Sie eine gute Antwort erkennen
- Sie trennt Beobachtung und Schluss sichtbar. „Mir ist aufgefallen“ und „ich schließe daraus“ stehen in verschiedenen Sätzen.
- Sie nennt Zahlen. Sieben Fälle in vier Wochen kann jemand nachprüfen, „das passiert öfter“ nicht.
- Sie sagt, was zum Nachweis fehlt, und maßt sich das Urteil nicht an. Damit hält die Meldung auch dann, wenn sich das Muster am Ende anders erklärt.
- Sie beschreibt eine Zwischenmaßnahme, die den Betroffenen sofort hilft, und lässt das System unangetastet.
Woran eine schwache Antwort scheitert
- Sie behauptet Diskriminierung als feststehende Tatsache. Ein einziges Gegenbeispiel bringt dann die ganze Meldung ins Wanken.
- Sie nennt keine Fälle und ist deshalb nicht überprüfbar. Wer das prüfen soll, weiß nicht, wo er anfangen kann.
- Sie schlägt vor, das System umzustellen oder abzuschalten. Beides ist Sache der verantwortlichen Stelle.
- Sie verschweigt, dass die Sachbearbeitung die Vorschläge längst übersteuert. Damit bleibt das Problem unsichtbar, und eine spätere Auswertung misst die korrigierten Fälle als Erfolge des Systems.
Häufige Verwechslungen
Ein System muss ein Merkmal nicht kennen, um danach zu unterscheiden. Das Geschlecht steht vielleicht nirgends im Datensatz. Berufsverlauf, Teilzeitzeiten und Erwerbsunterbrechungen genügen, damit dasselbe Muster entsteht.
Absicht spielt für die rechtliche Bewertung keine Rolle. § 3 Abs. 2 AGG erfasst die mittelbare Benachteiligung durch eine dem Anschein nach neutrale Regel. Dass niemand das so gewollt hat, entlastet die Behörde nicht.
Diskussion & Erfahrungsaustausch
Wie nutzen Sie KI in Ihrer Behörde zu diesem Thema? Teilen Sie Erfahrungen, stellen Sie Fragen, anonym oder mit E-Mail. Kommentare liegen auf eigenen Servern (DSGVO-konform).