Wie riskant ist zu riskant? Hochriskante KI-Systeme nach Artikel 6 I KI-VO

Welche KI-Systeme gelten als "hochriskant"?

Wir erinnern uns daran, dass die KI-VO zwischen KI-Systemen und KI-Modellen unterscheidet. Letztere bilden eine Kategorie für sich und werden nicht im Rahmen der Risikoeinstufung betrachtet.

Ein KI-System wird dann als hochriskant eingestuft, wenn es in sicherheitskritischen Bereichen eingesetzt wird oder als Teil eines Produkts direkte Auswirkungen auf die Sicherheit von Menschen haben kann. Nach Artikel 6 Absatz 1 KI-VO gelten KI-Systeme als hochriskant, wenn beide der folgenden Bedingungen erfüllt sind:

1. Das AI-System ist zur Verwendung als Sicherheitsbauteil eines Produkts bestimmt, oder das AI-System ist selbst ein Produkt, das unter die in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union fällt;
2. das Produkt, dessen Sicherheitsbauteil gemäß Buchstabe a das AI-System ist, oder das AI-System selbst als Produkt einer Konformitätsbewertung durch einen Dritten unterzogen werden muss, damit dieses Produkt gemäß den in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union in Verkehr gebracht oder in Betrieb genommen werden kann.

Das bedeutet:

1. Das System ist ein Sicherheitsbauteil oder ein Produkt: Das KI-System wird als sicherheitsrelevantes Bauteil in einem Produkt verwendet (z. B. Bremsassistenten in Fahrzeugen) oder es ist selbst ein Produkt, das unter bestimmte harmonisierte EU-Rechtsvorschriften fällt, wie z. B. die Maschinenrichtlinie oder die Verordnung für Medizinprodukte.
2. Eine Konformitätsbewertung ist erforderlich: Damit das Produkt oder das KI-System auf den Markt gebracht oder genutzt werden darf, ist eine Prüfung durch eine unabhängige Stelle notwendig. Diese Konformitätsbewertung stellt sicher, dass das System alle relevanten Sicherheitsstandards einhält.

Warum ist diese Einstufung notwendig?

Diese KI-Systeme haben das Potenzial, tiefgreifende Auswirkungen auf die Gesellschaft und das Leben Einzelner zu haben. Hochriskante KI-Systeme kommen häufig in sensiblen Bereichen zum Einsatz, in denen Fehlfunktionen gravierende Folgen haben könnten. Beispiele sind Medizinprodukte, die falsche Diagnosen stellen, oder autonome Fahrzeuge, deren Entscheidungen über Leben und Tod bestimmen könnten. Daher erfordert ihr Einsatz strengere gesetzliche Vorgaben und umfassende Kontrollmechanismen.

KI-System als Sicherheitsbauteil eines Produkts (Art. 6 Abs. 1 Nr. 1 Var. 1 KI-VO)

Artikel 3 Absatz 14 KI-VO definiert das “Sicherheitsbauteil ein Bauteil eines Produkts oder eines KI-Systems, das eine Sicherheitsfunktion für dieses Produkt oder KI-System erfüllt oder dessen Ausfall oder Fehlfunktion die Gesundheit und Sicherheit von Personen oder Sachen gefährdet. 

KI-Systeme, die als Sicherheitsbauteile fungieren, übernehmen eine zentrale Rolle in sicherheitskritischen Produkten wie autonomen Robotern oder Diagnosegeräten. Wenn solche Systeme versagen oder fehlerhafte Entscheidungen treffen, können die Konsequenzen gravierend sein, wie Verletzungen, Fehlbehandlungen oder sogar Todesfälle. Ziel ist es daher, sicherzustellen, dass solche Produkte sicher und regelkonform auf den Markt kommen.

KI-System als Produkt, das unter die in Anhang I aufgeführten Harmonisierungsrechtsvorschriften fällt

Die in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union harmonisieren Sicherheitsanforderungen und Marktüberwachung in den Bereichen Maschinen, Spielzeug, Fahrzeuge, medizinische Geräte, Seilbahnen und weitere technische Produkte, mit dem Ziel, den freien Warenverkehr in der EU zu gewährleisten und ein hohes Schutzniveau für Verbraucher und Anwender sicherzustellen. Lassen Sie uns gemeinsam einen Blick auf Beispiele für hochriskante KI-Systeme werfen, die auf den Themenbereichen der Harmonisierungsrechtsvorschriften basieren!

• Medizinprodukte: KI-gestützte Diagnosegeräte oder chirurgische Assistenzsysteme, deren Fehlfunktionen die Gesundheit von Patienten gefährden könnten.
• Fahrzeuge und Verkehrssysteme: KI-Systeme in Autos, wie Notbremsassistenten oder Spurhalteassistenten, die bei Fehlern zu Verkehrsunfällen führen können.
• Maschinen und Industrieanlagen: Roboter oder Produktionssysteme, die automatisierte Entscheidungen treffen und bei Fehlfunktionen Schäden an Menschen oder Eigentum verursachen können.
• Spielzeug: Intelligente Spielsachen, die mit Kindern interagieren, z. B. durch Spracherkennung oder adaptive Lerninhalte, bei denen Datenschutz und Sicherheit eine Rolle spielen.
• Seilbahnen und Aufzüge: Systeme, die die Sicherheit in Transportmitteln gewährleisten, wie automatische Überwachungssysteme für Seilbahnen.

Anforderungen an hochriskante KI-Systeme

Um sicherzustellen, dass hochriskante KI-Systeme sicher, vertrauenswürdig und transparent eingesetzt werden können, gibt es eine Vielzahl von Vorgaben für ihre Entwicklung, Nutzung und Überwachung. Diese umfassen unter anderem:

1. Risikomanagementsystem (Art. 9 KI-VO):

Unternehmen müssen ein robustes System einführen, um Risiken während des gesamten Lebenszyklus der KI zu identifizieren, zu bewerten und zu minimieren. Das Risikomanagementsystem soll dabei sicherstellen, dass Risiken nicht nur bei der Entwicklung, sondern auch bei der Verwendung des Systems überwacht und kontrolliert werden.

2. Datengovernance (Art. 10 KI-VO):

Hochriskante KI-Systeme müssen mit hochwertigen, verzerrungsfreien und repräsentativen Datensätzen trainiert werden, um Diskriminierung zu vermeiden. Die Datenherkunft, Verarbeitungsmethoden und angewandten Verfahren müssen nachvollziehbar dokumentiert sein.

3. Transparenz (Art. 13 KI-VO):

Die Nutzer von hochriskanten KI-Systemen müssen über die Funktionsweise und die automatisierten Entscheidungen des Systems verständlich informiert werden. Es muss für die Nutzer klar erkennbar sein, dass sie mit einem KI-System interagieren.

4. Human Oversight (Art. 14 KI-VO):

Menschen müssen in der Lage sein, die Entscheidungen des Systems zu überwachen und einzugreifen, falls negative Konsequenzen drohen. Nutzer müssen die Möglichkeit haben, KI-Entscheidungen zu überwachen und gegebenenfalls zu korrigieren. In Bereichen wie Medizin oder Strafverfolgung ist eine menschliche Kontrollinstanz zwingend erforderlich, um Fehlentscheidungen der KI zu verhindern.

5. Robustheit und Sicherheit (Art. 15 KI-VO):

Die Systeme müssen so entwickelt werden, dass sie gegen Manipulationen und Fehler resistent sind.

6. Technische Dokumentation (Art. 11 KI-VO):

Anbieter von hochriskanten KI-Systemen müssen eine detaillierte technische Dokumentation bereitstellen. Diese muss alle Informationen über die Architektur, die Entwicklungsmethoden und die verwendeten Datensätze enthalten, um eine Prüfung durch Aufsichtsbehörden zu ermöglichen.

7. Qualitätsmanagementsystem (Art. 17 KI-VO):

Ein weiterer zentraler Aspekt der Regulierung ist die Einführung eines Qualitätsmanagementsystems für Hochrisiko-KI-Systeme. Dieses System soll standardisierte Prozesse und Verfahren etablieren, um die Qualität der KI-Entwicklung und des Systembetriebs sicherzustellen. Unternehmen müssen regelmäßige Audits durchführen, um die Einhaltung der definierten Qualitätsstandards zu überprüfen, und sicherstellen, dass diese Standards den neuesten regulatorischen und technologischen Anforderungen entsprechen. Das Qualitätsmanagementsystem umfasst auch Mechanismen zur kontinuierlichen Verbesserung, sodass Unternehmen auf neue Herausforderungen und Erkenntnisse flexibel reagieren können

8. Konformitätserklärung und CE-Kennzeichnung (Art. 47, 48 KI-Verordnung):

Bevor ein Hochrisiko-KI-System in der EU auf den Markt gebracht werden darf, muss der Anbieter eine EU-Konformitätserklärung erstellen. Diese Erklärung bestätigt, dass das System alle Anforderungen der KI-Verordnung erfüllt, einschließlich der Aspekte Sicherheit, Transparenz und Robustheit. Parallel dazu ist die CE-Kennzeichnung erforderlich, die verdeutlicht, dass das System den europäischen Standards entspricht und sicher in der Anwendung ist. Die Erstellung der Konformitätserklärung erfordert eine gründliche Prüfung und Dokumentation des Systems, einschließlich aller relevanten Tests und Validierungen. Besonders wichtig ist, dass die Konformitätserklärung stets aktuell gehalten wird, insbesondere bei wesentlichen Änderungen am System.

Verpflichtungen für Betreiber hochriskanter KI-Systeme (Art. 26 KI-VO)

Nicht nur die Entwickler, sondern auch die Betreiber solcher Systeme – also diejenigen, die sie in der Praxis nutzen – haben klare Pflichten:

• Die Gebrauchsanweisung beachten: Das System muss gemäß der vorgesehenen Zweckbestimmung eingesetzt werden.
• Eingabedaten prüfen: Die Qualität und Eignung der Eingabedaten müssen gewährleistet sein.
• Den Betrieb überwachen: Der Betrieb des Systems ist fortlaufend zu überwachen, um Fehlfunktionen frühzeitig zu erkennen.

Fazit

Die Einführung der KI-Verordnung der Europäischen Union markiert einen bedeutenden Schritt in der Regulierung künstlicher Intelligenz, insbesondere im Hinblick auf hochriskante KI-Systeme. Diese Systeme haben das Potenzial, erhebliche Auswirkungen auf die Gesellschaft, die Sicherheit und die Grundrechte von Einzelpersonen zu entfalten. Daher werden sie durch umfassende gesetzliche Anforderungen geregelt, die auf Transparenz, Robustheit, Sicherheit und ethische Verantwortlichkeit abzielen.

Ein zentrales Anliegen der KI-VO ist dabei, die Risiken solcher Systeme während ihres gesamten Lebenszyklus durch klare Vorgaben für Risikomanagement, Datengovernance und Human Oversight zu minimieren. Die Verpflichtung zur Erstellung technischer Dokumentationen und zur Einführung eines Qualitätsmanagementsystems sorgt für die Nachvollziehbarkeit und kontinuierliche Verbesserung. Zudem gewährleisten die Konformitätserklärung und die CE-Kennzeichnung, dass die Systeme den europäischen Standards entsprechen und sicher verwendet werden können.