Ein neuer Teilkompromiss zum KI-Gesetz, der EURACTIV am Freitag (16. September) vorgelegt wurde, geht weiter auf das Konzept der „zusätzlichen Schicht“ ein, die eine KI nur dann als risikoreich einstufen würde, wenn sie einen großen Einfluss auf die Entscheidungsfindung hat.
Das KI-Gesetz ist ein wegweisender Vorschlag zur Regulierung künstlicher Intelligenz in der EU nach einem risikobasierten Ansatz. Daher ist die Kategorie „hohes Risiko“ ein wichtiger Bestandteil der Verordnung, da dies die Kategorien mit den stärksten Auswirkungen auf die menschliche Sicherheit und die Grundrechte sind.
Am Freitag hat die tschechische EU-Ratspräsidentschaft den neuen Kompromiss in Umlauf gebracht, der versucht, die offenen Bedenken im Zusammenhang mit der Kategorisierung von Hochrisikosystemen und den damit verbundenen Verpflichtungen für KI-Anbieter auszuräumen.
Der Text konzentriert sich auf die ersten 30 Artikel des Vorschlags und behandelt auch die Definition von KI, den Geltungsbereich der Verordnung und die verbotenen KI-Anwendungen. Das Dokument wird die Grundlage für eine technische Diskussion auf der Sitzung der Telekom-Arbeitsgruppe am 29. September bilden.
Klassifizierung von Systemen mit hohem Risiko
Im Juli schlug der tschechische Ratsvorsitz vor, eine zusätzliche Ebene hinzuzufügen, um festzustellen, ob ein KI-System hohe Risiken birgt, nämlich die Bedingung, dass das Hochrisikosystem einen wichtigen Faktor bei der Gestaltung der endgültigen Entscheidung spielen muss.
Kerngedanke ist es, mehr Rechtssicherheit zu schaffen und zu verhindern, dass KI-Anwendungen, die „rein akzessorisch“ zur Entscheidungsfindung sind, in den Anwendungsbereich fallen. Der Ratsvorsitz möchte, dass die Europäische Kommission den Begriff der reinen Akzessorietät innerhalb eines Jahres nach Inkrafttreten der Verordnung per Durchführungsrechtsakt definiert.
Der Grundsatz, dass ein System, das Entscheidungen ohne menschliche Überprüfung trifft, als risikoreich angesehen wird, wurde entfernt, weil „nicht alle automatisierten KI-Systeme unbedingt risikoreich sind und weil eine solche Bestimmung anfällig für Umgehung sein könnte, indem ein Mensch eingesetzt wird die Mitte”.
Darüber hinaus heißt es in dem Text, dass die EU-Exekutive bei der Aktualisierung der Liste der Anwendungen mit hohem Risiko den potenziellen Nutzen berücksichtigen muss, den die KI für den Einzelnen oder die Gesellschaft insgesamt haben kann, anstatt nur das Schadenspotenzial.
Der Vorsitz hat die in Anhang III aufgeführten Hochrisikokategorien nicht geändert, aber eine wesentliche Umformulierung vorgenommen. Außerdem heißt es im Text jetzt ausdrücklich, dass die Bedingungen für die Kommission, Anträge von der Hochrisikoliste zu streichen, kumulativ sind.
Anforderungen an Systeme mit hohem Risiko
Im Abschnitt Risikomanagement hat der Vorsitz den Wortlaut geändert, um auszuschließen, dass die Risiken im Zusammenhang mit Systemen mit hohem Risiko durch Tests identifiziert werden können, da diese Praxis nur zur Überprüfung oder Validierung von Minderungsmaßnahmen verwendet werden sollte.
Die Änderungen geben der zuständigen nationalen Behörde auch mehr Spielraum bei der Beurteilung, welche technische Dokumentation für KMU erforderlich ist, die Systeme mit hohem Risiko bereitstellen.
In Bezug auf die menschliche Überprüfung verlangt der Verordnungsentwurf mindestens zwei Personen zur Überwachung von Systemen mit hohem Risiko. Allerdings schlagen die Tschechen eine Ausnahme vom sogenannten „Vier-Augen-Prinzip“ vor, und zwar für KI-Anwendungen im Bereich der Grenzkontrolle, wo EU- oder nationales Recht dies zulässt.
In Bezug auf Finanzinstitute heißt es in dem Kompromiss, dass das Qualitätsmanagementsystem, das sie für Anwendungsfälle mit hohem Risiko einrichten müssten, in das bereits vorhandene System integriert werden kann, um die bestehenden sektoralen Rechtsvorschriften einzuhalten und Doppelarbeit zu vermeiden.
Ebenso hätten die Finanzbehörden Marktüberwachungsbefugnisse im Rahmen der KI-Verordnung, einschließlich der Durchführung von Ex-post-Überwachungstätigkeiten, die in den bestehenden Aufsichtsmechanismus der EU-Finanzdienstleistungsgesetzgebung integriert werden können.
Definition
Die tschechische Ratspräsidentschaft behielt die meisten ihrer früheren Änderungen an der Definition der künstlichen Intelligenz bei, strich jedoch den Hinweis auf die Tatsache, dass die KI „vom Menschen definierte“ Ziele verfolgen muss, da sie als „nicht wesentlich“ erachtet wurde.
Der Text präzisiert nun, dass der Lebenszyklus eines KI-Systems endet, wenn es von einer Marktüberwachungsbehörde zurückgezogen oder einer wesentlichen Änderung unterzogen wird, in welchem Fall es als neues System betrachtet werden müsste.
Der Kompromiss führte auch eine Unterscheidung zwischen dem Benutzer und demjenigen ein, der das System kontrolliert, der nicht unbedingt dieselbe Person sein muss, die von der KI betroffen ist.
Zur Definition des maschinellen Lernens fügten die Tschechen hinzu, dass es sich um ein System handelt, das lernen, aber auch Daten ableiten kann.
Darüber hinaus wurde das zuvor hinzugefügte Konzept der Autonomie eines KI-Systems als „das Ausmaß, in dem ein solches System ohne äußere Beeinflussung funktioniert“ beschrieben.
Zielfernrohr
Prag führte einen direkteren Ausschluss von Forschungs- und Entwicklungsaktivitäten im Zusammenhang mit KI ein, „einschließlich auch in Bezug auf die Ausnahme für nationale Sicherheits-, Verteidigungs- und militärische Zwecke“, heißt es im erläuternden Teil.
Der kritische Teil des Textes zur Allzweck-KI wurde dem nächsten Kompromiss überlassen.
Verbotene Praktiken
Der Teil über verbotene Praktiken, ein heikles Thema für das Europäische Parlament, erweist sich unter den Mitgliedstaaten, die keine größeren Änderungen beantragt haben, als nicht umstritten.
Gleichzeitig definiert die Präambel des Textes das Konzept der KI-gestützten manipulativen Techniken weiter als Stimuli, die „jenseits der menschlichen Wahrnehmung oder anderer unterschwelliger Techniken liegen, die die Autonomie der Person untergraben oder beeinträchtigen […] zum Beispiel in Fällen von Machine-Brain-Interfaces oder Virtual Reality.“
[Edited by Zoran Radosavljevic]