Wenn man bedenkt, wie leistungsfähig KI-Systeme sind und welche Rolle sie zunehmend dabei spielen, wichtige Entscheidungen über unser Leben, unser Zuhause und unsere Gesellschaft zu treffen, werden sie überraschend wenig formell untersucht.
Dank des blühenden Feldes der KI-Audits beginnt sich das zu ändern. Wenn sie gut funktionieren, ermöglichen uns diese Audits, zuverlässig zu überprüfen, wie gut ein System funktioniert, und herauszufinden, wie wir mögliche Verzerrungen oder Schäden mindern können.
Bekanntlich stellte eine Prüfung kommerzieller Gesichtserkennungssysteme durch die KI-Forscher Joy Buolamwini und Timnit Gebru im Jahr 2018 fest, dass das System dunkelhäutige Menschen nicht so gut wie weiße Menschen erkannte. Bei dunkelhäutigen Frauen lag die Fehlerquote bei bis zu 34 %. Wie die KI-Forscherin Abeba Birhane in einem neuen Essay in Nature betont, hat die Prüfung „eine Reihe kritischer Arbeiten ausgelöst, die die Voreingenommenheit, Diskriminierung und Unterdrückung von Gesichtsanalysealgorithmen aufgedeckt hat“. Die Hoffnung ist, dass wir durch diese Art von Audits auf verschiedenen KI-Systemen besser in der Lage sein werden, Probleme auszumerzen und eine breitere Diskussion darüber zu führen, wie KI-Systeme unser Leben beeinflussen.
Die Regulierungsbehörden holen auf, was teilweise die Nachfrage nach Audits antreibt. Ein neues Gesetz in New York City schreibt ab Januar 2024 vor, dass alle KI-gestützten Einstellungstools auf Voreingenommenheit geprüft werden müssen. In der Europäischen Union müssen große Technologieunternehmen ab 2024 jährliche Audits ihrer KI-Systeme und der kommenden KI durchführen Das Gesetz wird Prüfungen von KI-Systemen mit „hohem Risiko“ vorschreiben.
Es ist ein großer Ehrgeiz, aber es gibt einige massive Hindernisse. Es gibt kein gemeinsames Verständnis darüber, wie ein KI-Audit aussehen sollte, und es gibt nicht genug Leute mit den richtigen Fähigkeiten, um sie durchzuführen. Die wenigen Audits, die heute stattfinden, sind meistens ad hoc und von sehr unterschiedlicher Qualität, sagte mir Alex Engler, der KI-Governance an der Brookings Institution studiert. Ein Beispiel, das er nannte, ist das KI-Einstellungsunternehmen HireVue, das in einer Pressemitteilung angedeutet hat, dass eine externe Prüfung festgestellt hat, dass seine Algorithmen keine Voreingenommenheit aufweisen. Es stellte sich heraus, dass das Unsinn war – das Audit hatte die Modelle des Unternehmens nicht wirklich untersucht und war Gegenstand einer Geheimhaltungsvereinbarung, was bedeutete, dass es keine Möglichkeit gab, die Ergebnisse zu überprüfen. Es war im Grunde nichts weiter als ein PR-Gag.
Eine Möglichkeit, wie die KI-Community versucht, den Mangel an Prüfern zu beheben Dies geschieht durch Bias-Bounty-Wettbewerbe, die ähnlich wie Cybersicherheits-Bug-Bounties funktionieren – das heißt, sie fordern die Menschen auf, Tools zu entwickeln, um algorithmische Verzerrungen in KI-Modellen zu identifizieren und zu mindern. Ein solcher Wettbewerb wurde erst letzte Woche gestartet und von einer Gruppe Freiwilliger organisiert, darunter Rumman Chowdhury, der ethische KI-Leiter von Twitter. Das Team dahinter hofft, dass es das erste von vielen sein wird.
Es ist eine gute Idee, Anreize für Menschen zu schaffen, die für die Durchführung von Audits erforderlichen Fähigkeiten zu erlernen – und auch damit zu beginnen, Standards dafür zu entwickeln, wie Audits aussehen sollten, indem gezeigt wird, welche Methoden am besten funktionieren. Hier können Sie mehr darüber lesen.
Die Zunahme dieser Audits deutet darauf hin, dass wir eines Tages Warnungen im Stil von Zigarettenschachteln sehen könnten dass KI-Systeme Ihrer Gesundheit und Sicherheit schaden könnten. Andere Sektoren wie Chemie und Lebensmittel führen regelmäßige Audits durch, um sicherzustellen, dass die Produkte sicher in der Anwendung sind. Könnte so etwas zur Norm in der KI werden?