Was sind Hochrisiko-KI-Systeme?

Art. 6 KI-Verordnung definiert Hochrisiko-KI-Systeme als solche, die ein erhebliches Risiko für die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen darstellen. Entscheidend ist dabei eine sektor- und anwendungsbezogene Bewertung, die in Anhang III der Verordnung festgelegt ist. Systeme, die unter diese Kategorie fallen, sind nicht verboten, sondern unterliegen strengen Auflagen, da ihr gesellschaftlicher Nutzen ihre Risiken überwiegt (Erwägungsgrund 46).

Embedded vs. Non-Embedded KI-Systeme

Die Verordnung unterscheidet zwischen zwei Typen von Hochrisiko-KI-Systemen:

1. Embedded AI Systems (Art. 6 Abs. 1 i.V.m. Anhang I): Diese Systeme sind integraler Bestandteil eines Produkts und fallen unter bestehende EU-Rechtsakte wie die Maschinenverordnung. Beispiele sind KI-Systeme in Fahrzeugen für autonomes Fahren. Eine tiefgehende Analyse des Artikel 6 Absatz 1 i.V.m. Anhang I KI-VO finden Sie in diesem Lexikon-Artikel.
2. Non-Embedded AI Systems (Art. 6 Abs. 2 i.V.m. Anhang III): Diese Systeme agieren unabhängig von einer Produktsicherheitsklassifizierung. Ihre Risikoeinstufung hängt von ihrem Einsatz in sensiblen Bereichen wie Gesundheitswesen, Justiz oder Personalmanagement ab. Artikel 6 Absatz 2 KI-VO lautet: Neben den in Absatz 1 genannten AI-Systemen mit hohem Risiko gelten auch die in Anhang III genannten AI-Systeme als mit hohem Risiko behaftet.

Anwendungsbereiche nach Anhang III

Anhang III listet spezifische Bereiche auf, die als besonders sensibel eingestuft werden. Schauen wir uns nun diese Anwendungsbereiche genauer an:

Biometrie (Anhang III Nr. 1):

• Biometrische Fernidentifizierungssysteme: KI-Systeme, die zur Identifizierung von Personen aus der Ferne eingesetzt werden, beispielsweise Gesichtserkennung in öffentlichen Räumen.
• Biometrische Kategorisierung: Systeme, die Personen basierend auf biometrischen Daten bestimmten Kategorien zuordnen, etwa nach Alter oder Geschlecht.
• Emotionserkennung: KI-Systeme, die emotionale Zustände von Personen durch Analyse von Gesichtsausdrücken oder Stimmmustern erkennen sollen.

Kritische Infrastrukturen (Anhang III Nr. 2):

KI-Systeme, die als Sicherheitskomponenten in Bereichen wie Energieversorgung, Verkehr oder digitale Infrastruktur eingesetzt werden, um den Betrieb und die Verwaltung zu unterstützen.

Allgemeine und berufliche Bildung (Anhang III Nr. 3):

• Zugang und Zulassung: Systeme, die über den Zugang zu Bildungseinrichtungen oder Programmen entscheiden.
• Bewertung von Lernergebnissen: KI-Systeme, die Leistungen von Lernenden bewerten, beispielsweise durch automatisierte Prüfungen.
• Überwachung bei Prüfungen: Systeme, die unerlaubtes Verhalten während Prüfungen erkennen sollen.

Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit (Anhang III Nr. 4):

• Einstellung und Auswahl: KI-Systeme, die Bewerbungen sichten, filtern oder bewerten.
• Arbeitsbedingungen und Kündigungen: Systeme, die Entscheidungen über Arbeitsbedingungen, Beförderungen oder Kündigungen beeinflussen.
• Leistungs- und Verhaltensbewertung: KI-Systeme, die die Leistung und das Verhalten von Mitarbeitenden überwachen und bewerten.

Zugang zu und Inanspruchnahme grundlegender privater und öffentlicher Dienste (Anhang III Nr. 5):

• Öffentliche Unterstützungsleistungen: KI-Systeme, die beurteilen, ob Personen Anspruch auf öffentliche Leistungen haben.
• Kreditwürdigkeitsprüfung: Systeme, die die Bonität von Personen bewerten, mit Ausnahme der Aufdeckung von Finanzbetrug.
• Versicherungswesen: KI-Systeme, die Risiken und Prämien in Lebens- und Krankenversicherungen bewerten.
• Notfall- und Rettungsdienste: Systeme, die Notrufe klassifizieren und die Priorisierung von Einsätzen steuern.

Strafverfolgung (Anhang III Nr. 6):

• Risikobewertung von Opfern: KI-Systeme, die das Risiko bewerten, ob eine Person Opfer einer Straftat wird.
• Lügendetektoren: Systeme, die zur Erkennung von Unwahrheiten eingesetzt werden.
• Beweismittelbewertung: KI-Systeme, die die Verlässlichkeit von Beweismitteln beurteilen.
• Rückfallrisiko: Systeme, die das Risiko einschätzen, ob eine Person erneut straffällig wird.
• Profilerstellung: KI-Systeme, die Profile von Personen zur Aufdeckung oder Verfolgung von Straftaten erstellen.

Migration, Asyl und Grenzkontrolle (Anhang III Nr. 7):

• Lügendetektoren: KI-Systeme, die bei der Befragung von Migranten eingesetzt werden.
• Risikobewertung: Systeme, die Risiken wie Sicherheits- oder Gesundheitsrisiken von Personen bewerten, die in die EU einreisen möchten.
• Antragsprüfung: KI-Systeme, die Behörden bei der Prüfung von Asyl- und Visumanträgen unterstützen.
• Identifizierung: Systeme, die zur Erkennung oder Identifizierung von Personen im Migrationskontext verwendet werden.

Rechtspflege (Anhang III Nr. 8):

• Rechtliche Auslegung: KI-Systeme, die bei der Auslegung von Rechtsvorschriften oder der Anwendung des Rechts unterstützen.
• Gerichtliche Entscheidungen: Systeme, die bei der Entscheidungsfindung in Gerichtsverfahren eingesetzt werden.
• Verwaltung von Justizverfahren: KI-Systeme, die den Ablauf von Gerichtsverfahren organisieren oder steuern.

Diese und weitere Anwendungen unterliegen strengen Anforderungen, um sicherzustellen, dass die Risiken durch den Einsatz dieser Technologien minimiert werden.

Ausnahmeregelungen gemäß Artikel 6 Absatz 3 KI-VO

Die Verordnung bietet unter bestimmten Bedingungen einen Gegenbeweis für Non-Embedded KI-Systeme. Wenn der Einsatz eines KI-Systems kein erhebliches Risiko darstellt und es lediglich unterstützend, nicht aber entscheidend agiert, greift die Ausnahmeregelung. Beispiele sind einfache Lebenslauf-Analysen oder Dokumentenkategorisierung. 

Wichtig: Profiling natürlicher Personen führt stets zur Klassifizierung als Hochrisiko-KI, selbst wenn das Risiko gering erscheint.

Einen Artikel mit Fokus auf die Ausnahmeregelungen des Artikel 6 Absatz 3 KI-VO finden Sie demnächst in unserem Lexikon. 

Praktische Auswirkungen

Die Einstufung eines Systems als Hochrisiko-KI hat erhebliche Konsequenzen für Unternehmen:

1. Kostenintensive Implementierung: Unternehmen müssen umfassende Compliance-Prozesse einführen, was mit erheblichen Investitionen verbunden sein kann.
2. Bußgelder bei Verstößen: Bei Nichteinhaltung drohen Bußgelder von bis zu 15 Millionen Euro oder 3 % des weltweiten Jahresumsatzes.
3. Langfristige Planung: Unternehmen sollten frühzeitig prüfen, ob ein System unter die Regelungen fällt, um Fristen und Kosten zu berücksichtigen.

Die strengen Vorgaben treten sukzessive in Kraft:

• 2. August 2026: Non-Embedded KI-Systeme (Anhang III),
• 2. August 2027: Embedded KI-Systeme (Anhang I).

Fazit

Artikel 6 Abs. 2 i.V.m. Anhang III der KI-Verordnung definiert klare Regeln für den Einsatz von Hochrisiko-KI-Systemen. Unternehmen müssen sich ihrer Pflichten bewusst sein und rechtzeitig Maßnahmen ergreifen, um die Compliance sicherzustellen. Der Fokus auf sensible Anwendungsbereiche unterstreicht die Bedeutung eines verantwortungsvollen Umgangs mit KI, um die Sicherheit und Grundrechte natürlicher Personen zu schützen.

Die Umsetzung dieser Vorgaben mag anspruchsvoll erscheinen, sie ist jedoch ein wichtiger Schritt in Richtung einer vertrauenswürdigen und sicheren Nutzung von KI in Europa.