Das neue EU-Gesetz zur künstlichen Intelligenz (KI-Gesetz) soll schwerwiegende Vorfälle verhindern, nicht nur melden. Um Unternehmen bei der Entwicklung „sicherer und vertrauenswürdiger KI-Anwendungen“ zu unterstützen, sollte das KI-Gesetz verlangen, dass „Beinaheunfälle“ gemeldet und behoben werden.
Kris Shrishak ist Technology Fellow am Irish Council for Civil Liberties (ICCL).
Würden Sie den Tod einer Person verhindern oder nur melden? Wenn es um KI-Systeme geht, sieht der Entwurf des KI-Gesetzes der Europäischen Kommission vor, dass Betreiber nur den Tod melden müssen. Nur schwerwiegende Vorfälle müssen gemeldet werden, für weniger besteht keine Meldepflicht. Dies ist unzureichend, da das KI-Gesetz schwere Vorfälle verhindern und auch Beinaheunfälle melden soll.
Es steht viel auf dem Spiel, denn selbst ziemlich profane KI-Systeme setzen Menschenleben aufs Spiel. Als 2017 in Los Angeles Waldbrände wüteten, nutzten viele Menschen Navigations-Apps, um sich in Sicherheit zu bringen. Stattdessen schickten die Navigations-Apps sie in die Flammen, weil die App in Gebieten mit Lauffeuern wenig Verkehr erkannte.
Ein weiteres Beispiel für einen Beinaheunfall: Ein selbstfahrendes Auto fährt bei Rot über die Ampel, trifft dabei aber niemanden. Es wäre ernst gewesen, wenn das Auto einen Fußgänger getroffen hätte, und es ist wichtig, die selbstfahrende KI des Autos zu reparieren, bevor ein weiterer solcher Vorfall auftritt.
Vorteile für die Meldung von Beinaheunfällen
Die Europäische Kommission wird, wie im KI-Gesetz erwähnt, eine öffentlich zugängliche EU-KI-Datenbank einrichten. Diese Datenbank sollte auch Berichte über Beinaheunfälle protokollieren und veröffentlichen.
Die Meldung von Beinaheunfällen hat mehrere Vorteile. Erstens können Betreiber von KI-Systemen etwas über Beinaheunfälle erfahren, denen andere begegnet sind. Sie können diese Informationen nutzen, um die Sicherheit ihrer Systeme zu verbessern, bevor es zu einem schwerwiegenden Zwischenfall kommt. Kleine und mittlere Unternehmen (KMU) werden am ehesten von dieser Datenbank profitieren. Ein schwerwiegender Vorfall kann ihr Geschäft verheeren. Aber eine Beinahe-Unfall-Meldung eines anderen Betreibers kann sie vor einer Katastrophe bewahren.
Zweitens werden KI-Systeme unter einer Vielzahl von Betriebsbedingungen eingesetzt und können auf unerwartete Weise ausfallen, von denen viele vom Entwickler unvorhergesehen sind. Die Datenbank der Beinaheunfälle kann Informationen liefern, mit denen die Entwickler das Testspektrum für KI-Systeme erweitern und sicherer machen können.
Drittens können Überwachungsorganisationen wie die Europäische Kommission wertvolle Informationen über KI-Systeme auf dem Markt erhalten und die Risiken neu bewerten. Sie können diese Datenbank verwenden, um Muster zu identifizieren und die Erkenntnisse bei der Abgabe von Empfehlungen und der Aktualisierung der Anhänge der Verordnung einfließen zu lassen.
Schließlich können öffentliche Informationen über Beinaheunfälle Forschern neue Ideen und Forschungsthemen liefern, an denen sie arbeiten können. Sie können Forschungsprojekte identifizieren, die die Arbeit an sichereren KI-Systemen vorantreiben könnten. Solche Forschungsprojekte könnten auch Unternehmen helfen, da sie Ideen zu geringeren Kosten einbringen können.
Anreize für die Meldung von Beinaheunfällen
Die Meldung von Beinaheunfällen hat viele Vorteile, kann aber auch Kosten für die Betreiber verursachen. Daher ist es wichtig, Anreize dafür zu schaffen.
Es sollten tadellose Meldesysteme eingerichtet werden, da der Zweck der Meldung von Beinaheunfällen nicht darin besteht, Organisationen und Einzelpersonen die Schuld zu geben, sondern ein Ökosystem zu entwickeln, das der Sicherheit Priorität einräumt. Betreiber, die Beinahe-Unfälle melden, sollten keine negativen Auswirkungen haben, sei es rufschädigend oder finanziell. Die Kommission muss dies sicherstellen, und es sollten keine identifizierbaren Informationen veröffentlicht werden.
Die Meldung von Beinaheunfällen sollte nicht anonym, aber vertraulich erfolgen. Die Europäische Kommission kann sich bei Bedarf mit klärenden Fragen an den Melder eines Beinaheunfalls wenden. Wenn die Kommission mit dem Bericht zufrieden ist, entfernt sie alle identifizierbaren Informationen aus dem Bericht, bevor sie ihn in der Datenbank veröffentlicht. Die Kommission kann dem Berichterstatter auch eine Empfangsbestätigung ausstellen.
Betreiber können von einem zusätzlichen Anreiz einer begrenzten Immunität profitieren, wenn sie Beinahe-Unfälle melden. Während die Europäische Kommission vertrauliche Informationen nicht an Vollzugsbehörden wie Marktüberwachungsbehörden weitergeben kann, können die Berichterstatter ihre Quittung von der Kommission als Nachweis ihres Beitrags zu sichereren KI-Systemen in der EU vorlegen. Die Vollstrecker können diese Informationen dann verwenden, um Bußgelder zu reduzieren.
Es wird wahrscheinlich viel mehr Beinahe-Unfälle geben als ernsthafte Zwischenfälle. Wenn wir von der Meldung von Beinaheunfällen profitieren möchten, sollte die Kommission einen einfachen und zugänglichen Übermittlungsmechanismus bereitstellen. Das Einreichungsformular sollte die notwendigen Informationen wie Datum und Uhrzeit des Vorfalls, eine Beschreibung des Vorfalls, den Einsatzsektor, die Umstände, den Kontext, die Art des Schadens, die Faktoren, die einen schweren Vorfall verhindert haben, und Lehren verlangen gelernt.
Wenn wir die richtigen Anreize setzen, indem wir die Meldung von Beinaheunfällen in das KI-Gesetz aufnehmen, können wir viele schwerwiegende Vorfälle mit KI-Systemen verhindern. Wir können Unternehmen, insbesondere KMU, Bußgelder und Schadenersatz ersparen. Wir können ein Ökosystem aus sichereren KI-Systemen entwickeln.
Verschwenden wir kein weiteres Jahrhundert
Die KI-Regulierung wird nicht die erste sein, die die Meldung von Beinaheunfällen vorschreibt. Es gibt Datenbanken, um Beinaheunfälle in der Luftfahrt und in der chemischen Industrie zu melden. Auch in der Eisenbahnsicherheitsverordnung werden Beinaheunfälle erwähnt. Diese Sektoren warteten viele Jahre, bevor sie Beinaheunfälle melden mussten. Das Flugsicherheitsmeldesystem wurde erst 1976 nach vermeidbaren schweren Zwischenfällen eingerichtet.
„Es sollte offensichtlich sein, dass die heutige Unfallverhütungsarbeit fehlgeleitet ist, wenn sie sich weitgehend auf die Analyse von Schwerverletzten stützt.“
W. Heinrich veröffentlichte diese Worte 1931, als er über Arbeitsunfälle sprach. Und dennoch schreiben wir im Jahr 2022 weiterhin Gesetze, die nur die Meldung schwerwiegender Vorfälle vorschreiben. Warten wir nicht ein weiteres Jahrhundert, um dies zu ändern.