Der EU AI Act
Lernziele
- Die vier Risikoklassen des EU AI Act auseinanderhalten und je ein Verwaltungsbeispiel nennen können
- Erklären können, welche Pflichten die Verwaltung als KI-Anwenderin hat
- Erklären können, was Artikel 4 AI Act für die eigene Arbeit bedeutet
- Erkennen können, ob ein geplantes KI-Projekt in der eigenen Abteilung „Hochrisiko“ ist oder nicht
- Die Betreiberpflichten aus Artikel 26 und die Grundrechte-Folgenabschätzung nach Artikel 27 von der Datenschutz-Folgenabschätzung nach Art. 35 DSGVO unterscheiden können
Kurz und einfach
Die EU hat ein Gesetz für KI, die KI-Verordnung (englisch „AI Act“). Sie teilt KI nach Risiko in vier Gruppen ein. Verboten ist zum Beispiel, Menschen nach ihrem Verhalten zu bewerten und deshalb schlechter zu behandeln. Ein hohes Risiko haben KI-Systeme, die bei Leistungen oder bei Personalfragen mitentscheiden. Für sie gelten strenge Regeln. Entscheidend ist, wofür Sie die KI einsetzen. Ihre Behörde ergreift Maßnahmen, damit Sie lernen, KI sicher zu nutzen. Dieser Kurs kann ein Teil davon sein.
1. Überblick und Ziele des EU AI Act
Der EU AI Act ist die erste umfassende Rechtsordnung für Künstliche Intelligenz weltweit. Für die tägliche Arbeit zählt vor allem, dass die Pflicht aus Artikel 4, Maßnahmen für die KI-Kompetenz zu ergreifen, und die Verbote aus Artikel 5 schon gelten. Die Verordnung (EU) 2026/1744, der sogenannte Digital Omnibus, ist seit dem 27. Juli 2026 in Kraft. Sie hat Artikel 4 neu gefasst, die Hochrisiko-Pflichten nach Anhang III verschoben und Artikel 5 um zwei Verbote erweitert, die ab dem 2. Dezember 2026 gelten. Sie richten sich gegen KI-erzeugte intime Darstellungen von Personen ohne deren Zustimmung und gegen Darstellungen sexuellen Missbrauchs von Kindern. Die Pflichten des AI Act treten in mehreren Schritten in Kraft:
| Datum | Was gilt |
|---|---|
| 1. August 2024 | Verordnung (EU) 2024/1689 tritt in Kraft |
| 2. Februar 2025 | Artikel 4 (KI-Kompetenz) und Artikel 5 (Verbote) |
| 2. August 2025 | Pflichten für KI-Modelle mit allgemeinem Verwendungszweck (GPAI), Governance und Sanktionen |
| 27. Juli 2026 | Digital Omnibus in Kraft, Neufassung von Artikel 4 |
| 2. August 2026 | Artikel 50 (Transparenzpflichten) |
| 2. Dezember 2026 | Zwei neue Verbote in Artikel 5 (Buchstaben ba und bb) |
| 2. Dezember 2027 | Hochrisiko-Pflichten nach Anhang III (nach Verschiebung durch den Digital Omnibus) |
| 2. August 2028 | Hochrisiko-Pflichten nach Anhang I |
Die Verordnung soll KI-Systeme in der EU sicher und rechtskonform halten.
Kernziele:
- Vertrauen: Bürger:innen sollen KI-Anwendungen vertrauen können.
- Sicherheit: KI-Systeme dürfen keine Gesundheit, Rechte oder Sicherheit gefährden.
- Grundrechte: Diskriminierung durch KI verhindern, Datenschutz wahren.
- Wettbewerbsfähigkeit: Europa soll im KI-Bereich technologisch souverän bleiben.
Geltungsbereich: Der AI Act gilt für alle KI-Systeme, die in der EU eingesetzt oder auf den EU-Markt gebracht werden – auch wenn der Anbieter außerhalb der EU sitzt (z. B. OpenAI in den USA).
2. Risikoklassen und ihre Bedeutung
Der EU AI Act teilt KI-Systeme nach ihrem Risikoniveau in vier Klassen ein:
| Risikoklasse | Beispiel | Pflichten |
|---|---|---|
| Verboten | Social Scoring durch Behörden, Emotionserkennung am Arbeitsplatz | Verboten |
| Hochrisiko | KI bei Bewilligung von SGB-Leistungen, Rekrutierung | Strikte Dokumentation, Prüfung, menschliche Aufsicht |
| Begrenztes Risiko (Transparenzpflicht) | Chatbots, Deepfakes, KI-erzeugte Texte für die Öffentlichkeit | Transparenzpflicht: Nutzer müssen informiert werden, dass sie mit KI interagieren (Art. 50 AI Act) |
| Minimalrisiko | Spamfilter, Empfehlungssysteme (nicht sensibel) | Keine besonderen Pflichten, aber freiwillige Kodizes möglich |
Fall aus dem Amt: Klassifizierung in der Verwaltung
Ein interner Chatbot für Bürgeranfragen (z. B. „Wie beantrage ich Wohngeld?“) fällt in die Klasse „Begrenztes Risiko (Transparenzpflicht)“. Nutzer müssen wissen, dass sie mit einem KI-System sprechen, und es muss einen menschlichen Fallback geben. Ein KI-System zur automatisierten Bewilligung von Leistungen nach SGB II fällt dagegen in die Klasse „Hochrisiko“. Umfangreiche Dokumentation, regelmäßige Prüfung und ständige menschliche Aufsicht sind hier Pflicht.
Schnelltest: Ist mein KI-System Hochrisiko?
Vor einem geplanten KI-Einsatz in der eigenen Abteilung lohnen sich drei Fragen. Geht es um Leistungsansprüche oder Sanktionen, etwa eine SGB-II- oder SGB-XII-Bewilligung oder eine Ordnungsmaßnahme? Geht es um eine Personalentscheidung wie Einstellung, Beurteilung oder Beförderung? Und geht es um den Zugang zu einer öffentlichen Leistung wie einem Wohnberechtigungsschein, einem Kitaplatz oder einem Führerschein? Jede bejahte Frage ist ein Hochrisiko-Indiz, so wie beim SGB-II-Bewilligungssystem aus dem vorigen Beispiel, das gleich zwei davon erfüllt. Bejaht eine Abteilung zwei oder mehr dieser Fragen, sprechen die Verantwortlichen vor dem Einsatz den IT-Beauftragten und die Datenschutzbeauftragte an, denn dann sind eine formale Risikoklassifizierung und ihre Dokumentation Pflicht.
3. Pflichten der Verwaltung als Anwenderin
Als öffentliche Stelle trifft die Verwaltung als Anwenderin besondere Sorgfaltspflichten. Setzt ein Amt das SGB-II-Bewilligungssystem aus dem vorigen Beispiel ein, muss es Daten zu Zweck, Einsatzkontext und Entscheidungsprozess aufzeichnen, damit sich im Zweifel nachvollziehen lässt, wer wann welche Entscheidung getroffen hat. Die menschliche Aufsicht bleibt dabei Pflicht. Ein Mensch muss jedes KI-Ergebnis überprüfen können, und über eine Leistung, eine Sanktion oder eine hoheitliche Maßnahme darf die KI niemals allein entscheiden. Wer einen solchen Bescheid erhält, muss auch wissen, dass ein KI-System beteiligt war, etwa durch einen Hinweis im Anschreiben oder beim Chatbot-Kontakt. Vor dem Einsatz eines hochriskanten Systems verlangt Art. 35 DSGVO zusätzlich eine Datenschutz-Folgenabschätzung. Und weil Art. 4 AI Act von Anbietern und Betreibern Maßnahmen verlangt, um die Entwicklung der KI-Kompetenz ihres Personals zu unterstützen, gehört ein Kurs wie dieser selbst zu diesen Maßnahmen. Ein bestimmtes Kompetenzniveau je Person muss die Behörde seit der Neufassung vom 27. Juli 2026 nicht garantieren.
Kritisch: Was passiert bei Verstößen?
Der Bußgeldrahmen nach Artikel 99 ist gestaffelt. Nur ein Verstoß gegen die Verbote aus Artikel 5, etwa Social Scoring, kann mit bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes geahndet werden, je nachdem, was höher ist. Für die Verletzung anderer Pflichten, etwa der Betreiberpflichten aus Artikel 26, sieht Artikel 99 niedrigere Rahmen vor. Für Behörden kommt eine Besonderheit hinzu: Nach Artikel 99 legen die Mitgliedstaaten selbst fest, ob und in welchem Umfang gegen ihre eigenen Behörden überhaupt Geldbußen verhängt werden. Artikel 4 selbst ist nicht bußgeldbewehrt, er fehlt in Artikel 99 der Verordnung und im deutschen Durchführungsgesetz (KI-MIG). Fehlende KI-Kompetenz kann nach dem Hinweispapier der Bundesnetzagentur aber als Verletzung der Sorgfaltspflicht gelten, vor allem wenn ein Schaden entsteht. Unabhängig davon bleiben Reputationsverlust, öffentliche Anfragen von Abgeordneten, Prüfung durch die Datenschutz-Aufsicht und dienst- oder disziplinarrechtliche Konsequenzen für Mitarbeitende die Folgen, die eine Behörde tatsächlich zu spüren bekommt.
Merksatz
Jedes KI-System, das die Behörde einsetzt, muss zunächst nach Risikoklassen eingestuft werden: Minimalrisiko, Begrenztes Risiko, Hochrisiko oder Verboten. Nur so können die richtigen Pflichten (Dokumentation, Aufsicht, Transparenz) erfüllt werden.
4. Zusätzliche Pflichten für Behörden: Artikel 26 und Artikel 27
Setzt eine öffentliche Stelle ein Hochrisiko-System ein, legt ihr Artikel 26 als Betreiberin konkrete Pflichten auf. Sie muss das System entsprechend der Betriebsanleitung des Anbieters einsetzen, die menschliche Aufsicht Personen zuweisen, die dafür kompetent sind und über die nötige Befugnis verfügen, den laufenden Betrieb überwachen, die dabei anfallenden Protokolle aufbewahren und ihre Beschäftigten darüber informieren, dass ein Hochrisiko-System zum Einsatz kommt.
Artikel 27 verlangt zusätzlich von Einrichtungen des öffentlichen Rechts, vor der Inbetriebnahme bestimmter Anhang-III-Systeme eine Grundrechte-Folgenabschätzung durchzuführen. Sie prüft etwas anderes als die Datenschutz-Folgenabschätzung nach Art. 35 DSGVO. Die DSFA fragt nach dem Risiko für personenbezogene Daten, die Grundrechte-Folgenabschätzung nach dem Risiko für Grundrechte insgesamt, etwa Gleichbehandlung oder den Zugang zu einer Leistung. Liegt für dasselbe Vorhaben bereits eine DSFA vor, darf die Grundrechte-Folgenabschätzung nach Art. 27 Abs. 4 auf deren einschlägige Abschnitte verweisen oder sie übernehmen. Was die DSFA nicht abdeckt, etwa die Wirkung auf die Gleichbehandlung, prüft die Grundrechte-Folgenabschätzung selbst.
Ein Amt, das Anträge auf Sozialleistungen künftig KI-gestützt vorprüfen lässt, braucht deshalb zwei getrennte Prüfungen vor dem Produktivgang: die DSFA für die Verarbeitung der Antragsdaten und die Grundrechte-Folgenabschätzung für die Wirkung der Vorprüfung auf die Antragstellenden.
Beide Pflichten hängen an derselben Frist wie die übrigen Hochrisiko-Pflichten nach Anhang III. Nach der Verschiebung durch den Digital Omnibus gelten sie ab dem 2. Dezember 2027.
Zwei geplante Werkzeuge einstufen
Ausgangslage
Ihr Amt plant zwei Werkzeuge, beide auf demselben Sprachmodell.
Werkzeug A schlägt der Sachbearbeitung beim Schreiben eines Bescheids Textbausteine vor, die aus dem Vorgang abgeleitet sind. Die Sachbearbeitung übernimmt oder verwirft jeden Baustein einzeln.
Werkzeug B sortiert eingehende Anträge auf Grundsicherung nach der Wahrscheinlichkeit einer Bewilligung vor, damit aussichtsreiche Fälle zuerst bearbeitet werden.
Auftrag
Stufen Sie beide Werkzeuge nach dem EU AI Act ein und begründen Sie jede Einstufung mit einem Satz. Nennen Sie für das riskantere der beiden, was vor dem Produktivgang zu klären ist.
Ihre Eingaben bleiben in diesem Browserfenster. Sie werden nicht gespeichert und nicht übertragen, ein Neuladen der Seite verwirft sie.
Musterlösung anzeigen
Werkzeug A, Textbausteine
Minimalrisiko, solange das Werkzeug Formulierungen vorschlägt und die Sachbearbeitung jeden Baustein prüft. Es trifft keine Aussage über den Anspruch und wirkt nicht auf die Rechtsposition der antragstellenden Person. Diese Einstufung gilt unter einer Bedingung. Werden die Vorschläge im Alltag ungeprüft übernommen, weil die Zeit fehlt, stimmt sie nicht mehr.
Werkzeug B, Vorsortierung nach Erfolgsaussicht
Hochrisiko. Der Schnelltest aus dem Modul greift zweimal, weil es um Leistungsansprüche und um den Zugang zu einer öffentlichen Leistung geht. Formal entscheidet das Werkzeug nichts. Eine Reihenfolge nach Erfolgsaussicht verändert aber, wer wie schnell Geld bekommt, und trifft damit genau die Menschen, deren Fall kompliziert aussieht.
Vor dem Produktivgang
Zuerst die Frage, ob eine Sortierung nach Erfolgsaussicht überhaupt das richtige Ziel ist. Danach die förmliche Risikoklassifizierung mit Dokumentation, eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO und die Festlegung der menschlichen Aufsicht. Zur Aufsicht gehört, wer die Reihenfolge übersteuern darf und ob das protokolliert wird.
Woran Sie eine gute Antwort erkennen
- Sie begründet die Einstufung am Zweck des Einsatzes und nicht an der Technik. Beide Werkzeuge nutzen dasselbe Modell und liegen trotzdem in verschiedenen Klassen.
- Sie erkennt, dass eine Priorisierung auf Betroffene wirkt, obwohl sie formal keine Entscheidung ist.
- Sie nennt bei der Hochrisiko-Einstufung mindestens eine konkrete Pflicht mit Fundstelle.
- Sie hält bei Werkzeug A die Bedingung fest, unter der die niedrige Einstufung gilt.
Woran eine schwache Antwort scheitert
- Sie stuft beide gleich ein, weil beide „KI mit Personendaten“ sind.
- Sie hält Werkzeug B für unkritisch, weil es nichts bewilligt.
- Sie nennt die Transparenzpflicht nach Art. 50, weil KI im Spiel ist. Die trifft Systeme, die mit Menschen interagieren oder Inhalte erzeugen, und nicht jede interne Verarbeitung.
- Sie zählt alle vier Risikoklassen auf, statt zwei Werkzeuge einzuordnen. Die Aufgabe war die Einordnung.
Häufige Verwechslungen
Die Risikoklasse hängt am Einsatzzweck und nicht am Modell. Dasselbe Sprachmodell kann in einem Werkzeug Minimalrisiko und im nächsten Hochrisiko sein. Wer einmal „das Modell ist geprüft“ hört, hat für das nächste Werkzeug noch nichts geprüft.
Hochrisiko heißt nicht verboten. Verboten ist, was unter Art. 5 fällt, etwa Social Scoring. Hochrisiko heißt, dass Dokumentation, menschliche Aufsicht und Prüfung Pflicht sind. Der Unterschied entscheidet darüber, ob ein Vorhaben umgebaut oder eingestellt wird.
Diskussion & Erfahrungsaustausch
Wie nutzen Sie KI in Ihrer Behörde zu diesem Thema? Teilen Sie Erfahrungen, stellen Sie Fragen, anonym oder mit E-Mail. Kommentare liegen auf eigenen Servern (DSGVO-konform).