Startseite › Glossar › Hochrisiko-KI-System
Hochrisiko-KI-System
Für Hochrisiko-KI-Systeme stellt die KI-Verordnung besondere Anforderungen an das System und Pflichten für die Beteiligten auf.[1] Ob ein KI-System dazugehört, richtet sich nach seiner Zweckbestimmung, also der Verwendung, für die es laut Anbieter bestimmt ist.[2]
Was das Gesetz sagt
Art. 6 kennt zwei Wege zur Einstufung.
Produkte nach Anhang I: Das KI-System soll als Sicherheitsbauteil eines Produkts dienen, das unter die Harmonisierungsvorschriften des Anhangs I fällt, oder ist selbst ein solches Produkt. Hinzukommen muss, dass das Produkt einer Konformitätsbewertung durch Dritte unterliegt.[3] Anhang I nennt unter anderem die Vorschriften für Spielzeug, Aufzüge und Medizinprodukte.[4] Seit 2026 gilt: Systeme, die ausschließlich für nicht sicherheitsrelevante Aspekte wie die Nutzerunterstützung verwendet werden, sind keine Sicherheitsbauteile, außer ihr Ausfall würde Gesundheit und Sicherheit gefährden.[5]
Einsatzbereiche nach Anhang III: Hochriskant sind außerdem KI-Systeme für bestimmte Zwecke in acht Bereichen:[6][7]
- Biometrie, etwa Fernidentifizierung und Emotionserkennung
- kritische Infrastruktur
- allgemeine und berufliche Bildung, etwa Zulassung und Bewertung von Lernergebnissen
- Beschäftigung und Personalmanagement, etwa Auswahl von Bewerbern, Entscheidungen über Beförderung und Kündigung, Beobachtung der Leistung
- grundlegende private und öffentliche Dienste, etwa Kreditwürdigkeitsprüfung sowie Risikobewertung bei Lebens- und Krankenversicherungen
- Strafverfolgung
- Migration, Asyl und Grenzkontrolle
- Rechtspflege und demokratische Prozesse
Ausnahme und Rückausnahme
Ein System aus Anhang III gilt nicht als hochriskant, wenn es kein erhebliches Risiko für Gesundheit, Sicherheit oder Grundrechte birgt. Das setzt eine von vier Bedingungen voraus: Das System erledigt eine eng gefasste Verfahrensaufgabe, verbessert das Ergebnis einer abgeschlossenen menschlichen Tätigkeit, erkennt Entscheidungsmuster, ohne die menschliche Bewertung zu ersetzen, oder bereitet eine Bewertung nur vor. Die Ausnahme greift nie, wenn das System ein Profiling natürlicher Personen vornimmt.[8] Der Anbieter dokumentiert seine Bewertung, bevor er das System in Verkehr bringt.[9]
Pflichten der Betreiber
Dass das System die Anforderungen der Verordnung erfüllt, muss der Anbieter sicherstellen.[10] Wer es als Betreiber einsetzt, muss unter anderem:
- es nach der Betriebsanleitung verwenden und dafür technische und organisatorische Maßnahmen treffen,[11]
- die menschliche Aufsicht Personen übertragen, die über Kompetenz, Ausbildung und Befugnis verfügen,[12]
- automatisch erzeugte Protokolle mindestens sechs Monate aufbewahren, soweit sie seiner Kontrolle unterliegen und das Datenschutzrecht oder anderes Recht nichts anderes bestimmt,[13]
- als Arbeitgeber vor dem Einsatz am Arbeitsplatz die Arbeitnehmervertreter und die betroffenen Beschäftigten informieren,[14]
- die Informationen des Anbieters für die eigene Datenschutz-Folgenabschätzung (DSFA) nutzen.[15]
Eine Grundrechte-Folgenabschätzung müssen vor der Inbetriebnahme nur bestimmte Betreiber durchführen: Einrichtungen des öffentlichen Rechts, private Einrichtungen, die öffentliche Dienste erbringen, sowie Betreiber von Systemen zur Kreditwürdigkeitsprüfung und zur Risikobewertung bei Lebens- und Krankenversicherungen.[16]
Ab wann die Pflichten gelten
Die Vorschriften gelten ab dem 2. Dezember 2027 für Systeme nach Anhang III und ab dem 2. August 2028 für Systeme nach Anhang I.[17] Ursprünglich war der 2. August 2026 vorgesehen.[18] Für Systeme, die vor dem Beginn der Anwendung in Verkehr gebracht oder in Betrieb genommen wurden, gilt die Verordnung nur, wenn sie danach in ihrer Konzeption erheblich verändert werden.[19]
Berührungspunkte für kleine Unternehmen
Zwei Einsatzfelder aus Anhang III, die auch kleine Unternehmen betreffen können:
- Bewerberauswahl: Systeme, die gezielte Stellenanzeigen schalten, Bewerbungen sichten oder filtern und Bewerber bewerten.[20]
- Bonitätsprüfung: Systeme zur Kreditwürdigkeitsprüfung und Bonitätsbewertung natürlicher Personen, nicht aber Systeme zur Aufdeckung von Finanzbetrug.[21]
Verändert ein Betreiber die Zweckbestimmung eines bisher nicht hochriskanten KI-Systems so, dass es zum Hochrisiko-KI-System wird, gilt er selbst als Anbieter. Das gilt auch für KI-Systeme mit allgemeinem Verwendungszweck.[22] Zu prüfen ist das etwa, wenn ein allgemeiner Chat-Assistent Bewerber bewerten soll.
Was nach der DSGVO schon heute gilt
Die Datenschutz-Grundverordnung (DSGVO) gilt unabhängig von diesen Stichtagen.[23] Nach Art. 22 DSGVO haben Betroffene das Recht, keiner Entscheidung unterworfen zu werden, die ausschließlich auf automatisierter Verarbeitung beruht und ihnen gegenüber rechtliche Wirkung entfaltet oder sie ähnlich erheblich beeinträchtigt. Die Vorschrift lässt drei Ausnahmen zu.[24] Die Datenschutzkonferenz der deutschen Aufsichtsbehörden (DSK) nennt als Verstoß eine KI-Anwendung, die Bewerbungen auswertet und selbstständig die Einladungen verschickt.[25] Für die Bonitätsprüfung hat der Gerichtshof der Europäischen Union (EuGH) 2023 entschieden: Schon der Wahrscheinlichkeitswert einer Auskunftei ist eine solche Entscheidung, wenn von ihm maßgeblich abhängt, ob ein Dritter einen Vertrag mit der Person schließt.[26] Hat eine Verarbeitung voraussichtlich ein hohes Risiko für die Betroffenen zur Folge, ist vorab eine Datenschutz-Folgenabschätzung (DSFA) durchzuführen.[27] Nach Einschätzung der DSK ist das beim Einsatz von KI-Anwendungen vielfach der Fall.[28] Mehr unter Automatisierte Entscheidung im Einzelfall.
Verwandte Begriffe
- KI-Verordnung
- KI-System
- Automatisierte Entscheidung im Einzelfall
- Datenschutz-Folgenabschätzung (DSFA)
- KI-Kompetenz
Dazu im Magazin
- Datenschutz-Folgenabschätzung für KI-Anwendungen: Wann sie Pflicht ist und wie sie abläuft
- KI-Verordnung und DSGVO: Was seit der Änderung vom Juli 2026 gilt
Quellen
- Art. 1 Abs. 2 Buchst. c KI-Verordnung eur-lex.europa.eu
- Art. 3 Nr. 12 KI-Verordnung eur-lex.europa.eu
- Art. 6 Abs. 1 KI-Verordnung eur-lex.europa.eu
- Anhang I Abschnitt A Nr. 2, 4 und 11 KI-Verordnung eur-lex.europa.eu
- Art. 6 Abs. 1a und 1b KI-Verordnung eur-lex.europa.eu
- Art. 6 Abs. 2 KI-Verordnung eur-lex.europa.eu
- Anhang III KI-Verordnung eur-lex.europa.eu
- Art. 6 Abs. 3 KI-Verordnung eur-lex.europa.eu
- Art. 6 Abs. 4 KI-Verordnung eur-lex.europa.eu
- Art. 16 Buchst. a KI-Verordnung eur-lex.europa.eu
- Art. 26 Abs. 1 KI-Verordnung eur-lex.europa.eu
- Art. 26 Abs. 2 KI-Verordnung eur-lex.europa.eu
- Art. 26 Abs. 6 KI-Verordnung eur-lex.europa.eu
- Art. 26 Abs. 7 KI-Verordnung eur-lex.europa.eu
- Art. 26 Abs. 9 KI-Verordnung eur-lex.europa.eu
- Art. 27 Abs. 1 KI-Verordnung eur-lex.europa.eu
- Art. 113 Abs. 3 Buchst. c KI-Verordnung eur-lex.europa.eu
- Verordnung (EU) 2026/1744 vom 8. Juli 2026 (Digital-Omnibus-Verordnung zur KI), ABl. L, 2026/1744, 24.7.2026, Erwägungsgrund 40 eur-lex.europa.eu
- Art. 111 Abs. 2 KI-Verordnung eur-lex.europa.eu
- Anhang III Nr. 4 Buchst. a KI-Verordnung eur-lex.europa.eu
- Anhang III Nr. 5 Buchst. b KI-Verordnung eur-lex.europa.eu
- Art. 25 Abs. 1 Buchst. c KI-Verordnung eur-lex.europa.eu
- Art. 2 Abs. 7 KI-Verordnung eur-lex.europa.eu
- Art. 22 Abs. 1 und 2 DSGVO eur-lex.europa.eu
- DSK, Orientierungshilfe „Künstliche Intelligenz und Datenschutz“, Version 1.0 vom 6. Mai 2024, Rn. 13 datenschutzkonferenz-online.de
- EuGH, Urteil vom 7. Dezember 2023, C-634/21 (SCHUFA Holding – Scoring), ECLI:EU:C:2023:957, Rn. 73 eur-lex.europa.eu
- Art. 35 Abs. 1 DSGVO eur-lex.europa.eu
- DSK, Orientierungshilfe „Künstliche Intelligenz und Datenschutz“, Version 1.0 vom 6. Mai 2024, Rn. 39 datenschutzkonferenz-online.de