Datenschutz und KI
Lernziele
- Die fünf wichtigsten DSGVO-Regeln für KI-Anwendungen in der Verwaltung nennen können
- Erkennen können, ob eine KI-Anwendung eine Rechtsgrundlage braucht und welche das ist
- Erklären können, warum KI in sozialrechtlichen Verfahren nicht allein entscheiden darf
- Datenschutzfreundliche Alternativen und typische Risiken beim KI-Einsatz benennen können
Kurz und einfach
Datenschutz schützt Angaben über Menschen, zum Beispiel Name, Adresse und Aktenzeichen. Mit einem Aktenzeichen kann man eine Person finden. Jede Verarbeitung dieser Daten braucht einen Grund im Gesetz. In der Verwaltung ist das meistens die Aufgabe Ihrer Behörde, die im Fachrecht steht. Geben Sie nur ein, was die Aufgabe wirklich braucht. Ersetzen Sie Namen durch Kennungen, das nennt man Pseudonymisieren. Die Daten bleiben trotzdem personenbezogen, weil man die Person mit einer Zuordnungsliste wiederfindet. Wenn es um Rechte von Menschen geht, entscheidet in der Regel ein Mensch.
1. DSGVO-Grundsätze und KI
Die DSGVO (Datenschutz-Grundverordnung) regelt den Umgang mit personenbezogenen Daten in der EU. KI-Systeme verarbeiten oft enorme Datenmengen – deshalb müssen sie denselben Regeln folgen wie jede andere Datenverarbeitung.
Kernprinzipien, die bei KI besonders relevant sind:
- Zweckbindung (Art. 5 Abs. 1 lit. b DSGVO): Daten dürfen nur für festgelegte, eindeutige und legitime Zwecke verarbeitet werden. KI-Systeme, die Daten für unvorhergesehene Trainings oder Analysen verwenden, verstoßen gegen dieses Prinzip.
- Datenminimierung (Art. 5 Abs. 1 lit. c DSGVO): Es dürfen nur die Daten erhoben werden, die für den jeweiligen Zweck wirklich erforderlich sind. Große Sprachmodelle verarbeiten oft überflüssige Kontextdaten – ein Risiko.
- Richtigkeit (Art. 5 Abs. 1 lit. d DSGVO): Personalien müssen richtig und aktuell sein. KI generiert manchmal „halluzinierte“ falsche Daten – das ist problematisch bei amtlichen Verfahren.
- Speicherbegrenzung (Art. 5 Abs. 1 lit. e DSGVO): Daten dürfen nicht länger als nötig gespeichert werden. KI-Trainingsdaten müssen regelmäßig auf Aktualität geprüft werden.
- Integrität und Vertraulichkeit (Art. 5 Abs. 1 lit. f DSGVO): Technische und organisatorische Maßnahmen (TOMs) müssen KI-Datenverarbeitung absichern.
2. Rechtsgrundlagen für KI in der Verwaltung
Jede Datenverarbeitung braucht eine Rechtsgrundlage. Für den Einsatz von KI im öffentlichen Dienst kommen diese in Frage:
- Wirksame Einwilligung (Art. 6 Abs. 1 lit. a DSGVO): Selten in der Verwaltung, da Bürger:innen oft keine echte Wahlfreiheit haben.
- Vertrag (Art. 6 Abs. 1 lit. b DSGVO): Wenn die Behörde ausnahmsweise als zivilrechtliche Vertragspartnerin auftritt, etwa beim Abschluss eines Nutzungsvertrags für eine öffentliche Einrichtung. Für hoheitliche Antragsverfahren wie Sozialleistungen gilt lit. e.
- Rechtliche Verpflichtung (Art. 6 Abs. 1 lit. c DSGVO): Wenn eine KI-Anwendung durch Gesetz vorgeschrieben ist.
- Öffentliches Interesse / hoheitliche Befugnis (Art. 6 Abs. 1 lit. e DSGVO): Der Standard in der Verwaltung! Sozialrechtliche Verfahren, BAföG, Wohngeld etc. basieren auf öffentlichem Interesse.
- Berechtigtes Interesse (Art. 6 Abs. 1 lit. f DSGVO): Für Behörden in Erfüllung ihrer Aufgaben ausdrücklich ausgeschlossen (Art. 6 Abs. 1 UAbs. 2 DSGVO). Die einschlägige Grundlage ist immer lit. e.
Fall aus dem Amt: Rechtsgrundlage prüfen
Eine Behörde möchte ein KI-System einsetzen, das Antragsdaten auf Plausibilität prüft. Dazu werden Name, Adresse, Einkommen und Familienstand verarbeitet. Die Rechtsgrundlage ist Art. 6 Abs. 1 lit. e DSGVO (öffentliches Interesse) in Verbindung mit dem einschlägigen Fachrecht (z. B. SGB II, BAföG). Bevor das System produktiv geht, ist die Mitbestimmung des Personalrats nach dem einschlägigen Personalvertretungsrecht (BPersVG bzw. Landes-PersVG) Pflicht.
3. Automatisierte Entscheidungsfindung (Art. 22 DSGVO)
Art. 22 DSGVO regelt Entscheidungen, die ausschließlich auf automatisierter Verarbeitung beruhen – also, wenn ein KI-System ohne menschliches Zutun über Rechte, Pflichten oder Leistungen entscheidet.
Regel: Betroffene Personen haben das Recht, nicht einer ausschließlich automatisierten Entscheidung unterworfen zu werden, die ihnen gegenüber rechtliche Wirkung entfaltet oder sie erheblich beeinträchtigt.
Ausnahmen für die Verwaltung:
- Erforderlich für den Vertrag: Wenn eine automatisierte Prüfung Bestandteil eines zivilrechtlichen Vertragsverhältnisses mit der Behörde ist, etwa bei einem Nutzungsvertrag. Hoheitliche Antragsverfahren stützen sich auf die nächste Ausnahme.
- Aufgrund von Unionsrecht oder Mitgliedstaatenrecht: Wenn das Gesetz explizit automatisierte Verfahren vorsieht (z. B. automatisierte Bußgeldbescheide).
- Mit ausdrücklicher Einwilligung: In der Verwaltung praktisch irrelevant.
Wichtig für die Praxis
Vollständig automatisierte Bescheide lässt das Recht nur in engen Grenzen zu, im Sozialrecht nach § 31a SGB X, wenn kein Anlass besteht, den Einzelfall durch Amtsträger bearbeiten zu lassen. Vorschläge eines Sprachmodells sind Entwürfe. Über sie entscheidet ein Mensch, der sie prüft und bestätigt.
Merksatz
„KI unterstützt, der Mensch entscheidet.“ Ohne menschliche Prüfung darf eine Entscheidung in der Sozialverwaltung nur in den engen Fällen ergehen, die das Gesetz dafür vorsieht. Überall sonst ist die menschliche Aufsicht (Human-in-the-Loop) Pflicht.
4. Datenschutzfreundlich arbeiten: Pseudonymisierung
Pseudonymisierung (Art. 4 Nr. 5 DSGVO) bedeutet, personenbezogene Daten so zu verarbeiten, dass sie ohne Zusatzwissen nicht mehr einer bestimmten Person zugeordnet werden können. Sie ist eine der wirksamsten Schutzmaßnahmen beim KI-Einsatz und direkt aus dem Datenminimierungsgebot (Art. 5 Abs. 1 lit. c DSGVO) ableitbar.
Praktisches Beispiel: Statt „Müller, Hans, geb. 15.03.1974, Antrag SGB II, Wohnort Neukölln“ verwenden Sie in der KI-Analyse „ID-4821, Altersgruppe 45–55, Antragstyp Sozialleistung, Bezirk Süd“. Die Zuordnung zur echten Person bleibt in einer separaten, gesicherten Tabelle – die KI sieht sie nicht.
Faustregel
So wenig echte Personendaten wie möglich in KI-Systeme eingeben. Was die KI nicht kennt, kann sie nicht versehentlich weitergeben oder fehlverwenden. Pseudonymisierung ist kein Luxus – sie ist datenschutzrechtliches Gebot.
Datenschutz im Alltag Ihrer Ebene
Jede KI-gestützte Datenverarbeitung in Ihrer Stelle braucht eine Rechtsgrundlage (in der Verwaltung fast immer Art. 6 Abs. 1 lit. e DSGVO). Ist das System geeignet, das Verhalten oder die Leistung Beschäftigter zu überwachen, ist vor dem Produktivgang auch der Personalrat zu beteiligen. Wählen Sie oben Ihre Ebene, dann sehen Sie ein passendes Beispiel aus dem typischen Aufgabenfeld.
Ein Referat erstellt einen Erlassentwurf und will frühere Rundschreiben durch ein KI-Werkzeug zusammenfassen lassen. Die Vorlagen enthalten Namen von Sachbearbeitenden und einzelfallbezogene Bezüge. Bevor die Dokumente in das Werkzeug gehen, werden Personenbezüge entfernt oder pseudonymisiert. Für ein behördenweites Werkzeug ist zusätzlich eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO zu prüfen, weil die Verarbeitung viele Beschäftigte und Verfahren betrifft.
Das Bürgeramt eines Bezirks möchte eingehende Anliegen per KI vorsortieren, um sie schneller dem richtigen Fachamt zuzuleiten. Die Anliegen enthalten Namen, Adressen und teils Gesundheitsangaben. Weil Gesundheitsdaten zu den besonderen Kategorien nach Art. 9 DSGVO gehören, reicht Art. 6 Abs. 1 lit. e DSGVO allein nicht aus. Dafür braucht es zusätzlich einen Erlaubnistatbestand nach Art. 9 Abs. 2 DSGVO in Verbindung mit dem Fachrecht. Bei einer umfangreichen Verarbeitung solcher Daten ist regelmäßig auch eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO geboten. Die endgültige Zuordnung trifft ein Mensch, die KI schlägt nur vor (Art. 22 DSGVO). Vor dem Start wird der Personalrat des Bezirksamts beteiligt und der behördliche Datenschutzbeauftragte eingebunden.
Ein Landesamt prüft Förderanträge und will Plausibilitätsprüfungen durch KI unterstützen lassen. Verarbeitet werden Name, Einkommen und Antragstyp. Für die KI-Analyse werden die Daten pseudonymisiert (ID statt Klarname, Altersgruppe statt Geburtsdatum), die Klarnamen-Zuordnung bleibt in einer getrennten, gesicherten Tabelle. Die KI bewertet nicht abschließend, sie liefert Hinweise; die Bewilligung verantwortet die Sachbearbeitung.
Eine kleine Gemeinde ohne eigene IT-Abteilung möchte ein Cloud-KI-Werkzeug für Schriftverkehr nutzen. Zwei Dinge sind vorab zu klären. Erstens braucht es mit dem Anbieter einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO und einen Serverstandort, der eine Drittlandsübermittlung vermeidet. Zweitens gehören echte Bürgerdaten erst dann in das Werkzeug, wenn dieser Vertrag steht. Bis dahin nur anonymisierte Mustertexte verwenden.
Eine Stadtverwaltung erprobt einen KI-Chatbot auf der städtischen Website, der Fragen zu Öffnungszeiten und Anträgen beantwortet. Solange der Chatbot keine personenbezogenen Anliegen entgegennimmt, ist der Datenschutzaufwand gering. Sobald Bürger jedoch Namen oder Anliegen eingeben, greifen Informationspflichten nach Art. 13 DSGVO und das Werkzeug braucht eine klare Datenschutzerklärung. Eingaben dürfen nicht ungeprüft zum Anbietertraining weiterfließen.
Die Beispiele richten sich nach der oben oder im Lernpfad gewählten Verwaltungsebene.
Eine Eingabe entschärfen und die Rechtsgrundlage benennen
Ausgangslage
Eine Kollegin will ein Cloud-Werkzeug nutzen, um einen langen Widerspruch zusammenzufassen. Ihr Entwurf für die Eingabe lautet:
Fasse den folgenden Widerspruch in fünf Sätzen zusammen. Widersprechende Person ist Frau Aylin Demir, geboren am 14.03.1981, wohnhaft Musterstraße 12, 12043 Berlin. Sie widerspricht der Ablehnung ihres Antrags auf Grundsicherung vom 02.04.2026, Aktenzeichen SGB-2026-4417. Sie leidet nach eigenen Angaben an einer Depression und konnte deshalb die angeforderten Unterlagen nicht fristgerecht beibringen. [Es folgt der Text des Widerspruchs.]
Auftrag
Schreiben Sie die Eingabe so um, dass die Zusammenfassung fachlich noch gelingt und so wenig Personenbezug wie möglich in das Werkzeug geht. Halten Sie danach fest, worauf sich die Verarbeitung stützt und welcher Umstand hier zusätzlich zu prüfen ist.
Ihre Eingaben bleiben in diesem Browserfenster. Sie werden nicht gespeichert und nicht übertragen, ein Neuladen der Seite verwirft sie.
Musterlösung anzeigen
Entschärfte Eingabe
Fasse den folgenden Widerspruch in fünf Sätzen zusammen. Die widersprechende Person wendet sich gegen die Ablehnung eines Antrags auf Grundsicherung. Sie beruft sich darauf, dass eine gesundheitliche Einschränkung die fristgerechte Mitwirkung erschwert hat. [Text des Widerspruchs ohne Name, Geburtsdatum, Anschrift und Aktenzeichen einsetzen.]
Für die Zusammenfassung braucht das Werkzeug den Sachverhalt und die Begründung. Name, Geburtsdatum, Anschrift und Aktenzeichen ändern an der Zusammenfassung nichts und bleiben in der Akte.
Rechtsgrundlage und der zusätzliche Punkt
Die Verarbeitung stützt sich auf Art. 6 Abs. 1 lit. e DSGVO in Verbindung mit dem Fachrecht, hier dem SGB II. Zusätzlich zu prüfen ist die Angabe zur Erkrankung, weil Gesundheitsdaten unter Art. 9 DSGVO fallen. Dafür reicht lit. e allein nicht, es braucht einen Erlaubnistatbestand nach Art. 9 Abs. 2 DSGVO. Am einfachsten kommt die Diagnose gar nicht erst in das Werkzeug. Für die Zusammenfassung genügt die Angabe, dass eine gesundheitliche Einschränkung geltend gemacht wird.
Woran Sie eine gute Antwort erkennen
- Sie löscht Name, Geburtsdatum, Anschrift und Aktenzeichen, weil die Aufgabe sie nicht braucht. Das ist Datenminimierung nach Art. 5 Abs. 1 lit. c DSGVO angewandt und nicht zitiert.
- Sie behandelt die Gesundheitsangabe gesondert und nennt Art. 9 DSGVO.
- Sie nennt lit. e als Grundlage. Für Behörden in Erfüllung ihrer Aufgaben ist das berechtigte Interesse nach Art. 6 Abs. 1 UAbs. 2 DSGVO ausgeschlossen.
- Die umgeschriebene Eingabe funktioniert noch. Wer so viel streicht, dass das Werkzeug nichts mehr zusammenfassen kann, hat die Aufgabe zur Hälfte gelöst.
Woran eine schwache Antwort scheitert
- Sie ersetzt „Aylin Demir“ durch „Frau D.“ und hält das für anonymisiert. Ein abgekürzter Name mit Geburtsdatum und Anschrift bleibt personenbezogen.
- Sie behält das Aktenzeichen, weil darin keine Personendaten stehen. Über das Aktenzeichen lässt sich die Person eindeutig zuordnen, damit ist es ein Personenbezug.
- Sie nennt eine Einwilligung als Rechtsgrundlage. In der Verwaltung fehlt der betroffenen Person meist die echte Wahlfreiheit, deshalb ist die Einwilligung dort selten wirksam.
- Sie übersieht die Gesundheitsangabe, weil sie im Fließtext steht und nicht in einem Formularfeld.
Häufige Verwechslungen
Pseudonymisiert ist nicht anonym. Wer die Zuordnungstabelle hat, kommt zurück zur Person. Pseudonymisierte Daten bleiben personenbezogene Daten und unterliegen weiter der DSGVO. Das ist kein Formalismus, es entscheidet über Auskunftsrechte, Löschpflichten und die Frage, was bei einem Datenabfluss zu melden ist.
Der EU AI Act ersetzt die DSGVO nicht, er kommt hinzu. Wer die Risikoklasse eines Werkzeugs geprüft hat, hat noch keine Rechtsgrundlage für die Verarbeitung. Beide Prüfungen laufen nebeneinander und mit verschiedenen Ergebnissen.
Diskussion & Erfahrungsaustausch
Wie nutzen Sie KI in Ihrer Behörde zu diesem Thema? Teilen Sie Erfahrungen, stellen Sie Fragen, anonym oder mit E-Mail. Kommentare liegen auf eigenen Servern (DSGVO-konform).