Das von der EU vorgeschlagene Gesetz über künstliche Intelligenz (KI-Gesetz) will Menschen einsetzen, um KI-generierte Entscheidungen zu überwachen, aber neuere Erkenntnisse legen nahe, dass man es sorgfältig testen sollte, wenn es möglich wird.
Johannes Walter ist wissenschaftlicher Mitarbeiter am Leibniz-Centre for European Economic Review und Doktorand am KIT in Technical Economics.
Nijeer Parks wurde wegen eines Verbrechens verhaftet, das er nicht begangen hat. Er wurde aufgrund einer falschen Übereinstimmung festgenommen, die von einem Gesichtserkennungsalgorithmus erzeugt wurde. Diese falschen Festnahmen sind bereits der dritte bekannte Fall, in dem ein schwarzer Mann zu Unrecht in den USA festgenommen wurde, und veranschaulichen die geringere Genauigkeit von Gesichtserkennungsalgorithmen für schwarze Gesichter.
Aber was Mr. Parks versagt hat, war nicht nur die Technologie. Hätten die Polizeibeamten die übereinstimmenden Bilder noch einmal überprüft, wäre ihnen der Verdächtige aufgefallen, und Herr Parks sah ihm nicht ähnlich. Der Verdächtige auf dem Foto trug sogar Ohrringe – während Mr. Parks keine Piercings hatte. Die menschlichen Polizisten hätten die algorithmisch generierte Verhaftungsempfehlung überwachen sollen, taten dies aber nicht.
Das von der EU vorgeschlagene KI-Gesetz stützt sich stark darauf, dass Menschen KI-Entscheidungsunterstützungssysteme überwachen, um schädliche Folgen bei Hochrisikoanwendungen zu verhindern. Algorithmen des maschinellen Lernens unterstützen immer öfter die menschliche Entscheidungsfindung in Situationen, die für unsere Gesellschaft kritisch sind: Zum Beispiel im Gesundheitswesen, wenn Algorithmen empfehlen, welche Patienten sich teuren Behandlungen unterziehen sollten, bei Einstellungsentscheidungen, wenn sie vorschlagen, welchen Bewerber sie zu einem Vorstellungsgespräch einladen bzw bei finanziellen Kreditentscheidungen. In all diesen Fällen hat ein Mensch das letzte Wort und könnte eine algorithmisch abgeleitete Empfehlung anpassen oder sogar überstimmen.
Die menschliche Überwachung von KI-Systemen kann gut funktionieren. Eine Studie im Zusammenhang mit der Entscheidungsfindung im Kindeswohl im Vereinigten Königreich ergab, dass Menschen tatsächlich in der Lage waren, schlechte algorithmische Ratschläge zu erkennen. Betrachten Sie zur weiteren Veranschaulichung große Sprachmodelle wie ChatGPT. Vermutlich haben viele Leser dieses Meinungsbeitrags solche Modelle in den letzten Wochen selbst ausprobiert und sind wahrscheinlich bald auf Situationen gestoßen, in denen die Chatbots offensichtlich unsinnige Antworten produzierten. Mit diesen Beispielen im Hinterkopf sind Anwendungen leicht vorstellbar, bei denen eine menschliche Aufsicht ihren Platz hat.
Doch allzu oft versagt die menschliche Aufsicht, wie im Fall von Mr. Parks. In den letzten Jahren hat sich gezeigt, dass Menschen oft keine guten Vorgesetzten für KI sein können. In einem neuen Versuch Wir zeigen, dass Menschen die Beratungsqualität eines Beratungsalgorithmus nicht genau einschätzen können.
Die Teilnehmer des Experiments mussten eine einfache Aufgabe lösen und erhielten Ratschläge von einem unterstützenden Algorithmus. Ohne ihr Wissen hatten wir den Algorithmus manipuliert, was zu schlechten Empfehlungen führte. Trotzdem blieben unsere Teilnehmer standhaft in ihrem Vertrauen auf den Algorithmus und versäumten es, ihn zu erkennen das Ausmaß seiner Ungenauigkeit selbst nach mehreren Runden des Spiels. Dieses Ergebnis aus dem Labor wird durch verschiedene Feldstudien gestützt: Richter, Ärzte und die Polizei haben sich alle als schlechte Algorithmus-Überwacher erwiesen.
Die Gründe für diesen Befund sind ebenso faszinierend wie zahlreich. Situationen, in denen Menschen mit Hilfe von Algorithmen Entscheidungen treffen, sind voller psychologischer Effekte. Zum Beispiel fühlen sich die Menschen bis zu einem gewissen Grad von ihrer Verantwortung entbunden, wenn sie sich auf KI verlassen. Seine Empfehlung setzt einen scheinbar objektiven Standard, von dem er schwer abzuweichen ist.
Wenn die Aufgabe als abstrakter und mathematischer Natur wahrgenommen wird, hat sich oft herausgestellt, dass Menschen sich zu sehr auf Algorithmen verlassen, ein Phänomen, das als „algorithmische Wertschätzung“ bezeichnet wird. In In anderen Fällen, in denen das Setting als subjektiv wahrgenommen wird, findet man „Algorithmus-Aversion“, dh Menschen folgen fälschlicherweise nicht überlegenen algorithmischen Ratschlägen.
Die Erkenntnis, dass der Mensch kein unfehlbarer Überwacher der KI ist, muss erst noch Eingang in den Entwurf des KI-Gesetzes finden.
Basierend auf unseren Recherchen sprechen wir daher drei Empfehlungen aus. Erstens sollte das KI-Gesetz anerkennen, dass menschliche Aufsicht kein Allheilmittel ist und versagen kann. Wie oben beschrieben, hängt es von der Aufgabe und dem Kontext ab, ob die menschliche Aufsicht funktioniert.
Zweitens sollten Tests zur Bewertung der Durchführbarkeit und Wirksamkeit menschlicher Aufsicht bei der Schadensverhütung daher für KI-Anwendungen mit hohem Risiko obligatorisch sein. In ihrer elementarsten Form würden solche Tests die tatsächlichen Ergebnisse unter menschlicher Aufsicht mit den hypothetischen Ergebnissen vergleichen, die sich ohne menschliches Eingreifen ergeben hätten. Ein fortgeschrittenerer Test könnte kontextabhängige zusätzliche Informationen verwenden, die Menschen helfen könnten, effektive KI-Überwacher zu sein. Ein Beispiel für solche zusätzlichen Informationen könnte die rechtzeitige Bereitstellung von Rückmeldungen über frühere Entscheidungsergebnisse sein, ein Ansatz, der in unserer eigenen Forschung vielversprechende Ergebnisse gezeigt hat.
Wenn schließlich festgestellt wird, dass die menschliche Aufsicht für eine bestimmte KI-Anwendung versagt, sollte man auf die Verwendung des KI-Systems in seiner derzeitigen Form verzichten.
Nijeer Parks wurde nach zehn Tagen Haft freigelassen und gab rund 5000 Dollar für seine Verteidigung aus. Die Einrichtung einer sorgfältiger umgesetzten menschlichen Aufsicht hat das Potenzial, ähnliche Ungerechtigkeiten in Zukunft zu vermeiden.