Dies geschah nicht, da der Roboter darauf programmiert war, Schaden anzurichten. Der Grund dafür war, dass der Roboter zu sicher war, dass der Finger des Jungen eine Schachfigur sei.
Der Vorfall ist ein klassisches Beispiel dafür, was die 32-jährige Sharon Li verhindern möchte. Li, Assistenzprofessor an der University of Wisconsin, Madison, ist ein Pionier einer KI-Sicherheitsfunktion namens Out-of-Distribution (OOD)-Erkennung. Diese Funktion, sagt sie, hilft KI-Modellen dabei, zu bestimmen, wann sie auf Maßnahmen verzichten sollten, wenn sie mit etwas konfrontiert werden, auf das sie nicht trainiert wurden.
Li entwickelte einen der ersten Algorithmen zur Erkennung außerhalb der Verteilung für tiefe neuronale Netze. Google hat seitdem ein spezielles Team zusammengestellt, um die OOD-Erkennung in seine Produkte zu integrieren. Letztes Jahr wurde Lis theoretische Analyse der OOD-Erkennung aus über 10.000 Einsendungen von NeurIPS, einer der renommiertesten KI-Konferenzen, als herausragender Beitrag ausgewählt.
Wir befinden uns derzeit in einem KI-Goldrausch und Technologieunternehmen streben nach der Veröffentlichung ihrer KI-Modelle. Die meisten heutigen Modelle sind jedoch darauf trainiert, bestimmte Dinge zu identifizieren, und scheitern oft, wenn sie auf die unbekannten Szenarien stoßen, die für die chaotische, unvorhersehbare reale Welt typisch sind. Ihre Unfähigkeit, zuverlässig zu verstehen, was sie „wissen“ und was sie nicht „wissen“, ist die Schwäche hinter vielen KI-Katastrophen.
SARA STATHAS
Lis Arbeit fordert die KI-Community auf, ihren Trainingsansatz zu überdenken. „Viele der klassischen Ansätze, die in den letzten 50 Jahren eingeführt wurden, sind tatsächlich sicherheitsunbewusst“, sagt sie.
Ihr Ansatz berücksichtigt Unsicherheiten, indem sie maschinelles Lernen nutzt, um unbekannte Daten in der Welt zu erkennen und KI-Modelle zu entwerfen, die sich im Handumdrehen daran anpassen. Die Erkennung außerhalb der Verteilung könnte dazu beitragen, Unfälle zu verhindern, wenn autonome Autos auf der Straße auf unbekannte Objekte stoßen, oder medizinische KI-Systeme bei der Entdeckung einer neuen Krankheit nützlicher zu machen.