Mehr als 350.000 Tesla-Fahrzeuge werden von der National Highway Traffic Safety Administration wegen Bedenken hinsichtlich ihrer Software zur Unterstützung des Selbstfahrens zurückgerufen – aber das ist kein typischer Rückruf. Der Fix wird „over the air“ versandt (d. h. die Software wird remote aktualisiert, und die Hardware muss nicht angesprochen werden).
Missy Cummings sieht die Freiwilligkeit des Rückrufs als positives Zeichen dafür, dass Tesla bereit ist, mit den Aufsichtsbehörden zusammenzuarbeiten. Cummings, Professorin an der Fakultät für Informatik an der George Mason University und selbst ehemalige NHTSA-Aufsichtsbehörde, hat zeitweise argumentiert, dass die Vereinigten Staaten bei autonomen Fahrzeugen vorsichtiger vorgehen sollten, und damit den Zorn von Elon Musk auf sich gezogen. der ihr vorgeworfen hat, gegenüber seinem Unternehmen voreingenommen zu sein.
Cummings sieht diesen Rückruf auch als Software-Geschichte: NHTSA betritt einen interessanten – vielleicht unerforschten – regulatorischen Raum. „Wenn Sie ein Software-Update veröffentlichen – das wird bei Tesla passieren – wie garantieren Sie, dass dieses Software-Update keine schlimmeren Probleme verursacht? Und dass es die Probleme beheben wird, die es beheben sollte?“ Sie fragte mich. „Wenn Boeing nie hätte zeigen müssen, wie sie die 737 Max repariert haben, wären Sie dann in ihr Flugzeug gestiegen?“
Cummings und ich haben das und mehr am Telefon besprochen.
Unsere Gespräche wurden aus Gründen der Übersichtlichkeit komprimiert und bearbeitet.
Caroline Mimbs Nyce: Wie war Ihre Reaktion auf diese Nachricht?
Missy Cummings: Ich finde es gut. Ich denke, es ist der richtige Schritt.
Nyke: Waren Sie überhaupt überrascht?
Cummings: Nein. Es ist ein wirklich gutes Zeichen – nicht nur wegen der spezifischen Nachricht, dass sie versuchen, das Selbstfahren sicherer zu machen. Es ist auch ein sehr wichtiges Signal, dass Tesla erwachsen wird und erkennt, dass es besser ist, mit der Regulierungsbehörde zusammenzuarbeiten als gegen sie.
Nyke: Sie sehen also die Tatsache, dass der Rückruf freiwillig war, als positives Zeichen von Elon Musk und seiner Crew?
Cummings: Ja. Wirklich positiv. Tesla erkennt, dass es nicht das Ende der Welt ist, nur weil etwas schief geht. Sie arbeiten mit der Regulierungsbehörde zusammen, um die Probleme zu beheben. Was wirklich wichtig ist, denn diese Art von positiver Interaktion mit der Regulierungsbehörde wird sie auf einen viel besseren Weg für den Umgang mit unvermeidlich auftretenden Problemen vorbereiten.
Abgesehen davon denke ich, dass es noch ein paar klebrige Probleme gibt. Die Liste der Probleme und Korrekturen, um die die NHTSA gebeten hat, war ziemlich lang und detailliert, was gut ist – außer dass ich einfach nicht sehe, wie jemand das tatsächlich in zwei Monaten erledigen kann. Dieser Zeitrahmen ist ein wenig optimistisch.
Es ist eine Art Wilder Westen für Regulierungsbehörden in der Welt der Selbstzertifizierung. Wenn Tesla zurückkommt und sagt: „Okay, wir haben alles mit einem Over-the-Air-Update behoben“, woher wissen wir, dass es behoben wurde? Da wir Unternehmen derzeit die Selbstzertifizierung überlassen, gibt es keinen klaren Mechanismus, um sicherzustellen, dass diese Lösung tatsächlich erfolgt ist. Jedes Mal, wenn Sie versuchen, Software zur Behebung eines Problems zu entwickeln, ist es sehr einfach, andere Probleme zu verursachen.
Nyke: Ich weiß, es gibt eine philosophische Frage, die schon einmal aufgekommen ist, nämlich: Wie viel sollten wir diese Technologie in freier Wildbahn haben, wenn wir wissen, dass es Fehler geben wird? Hast du eine Haltung?
Cummings: Ich meine, man kann Fehler haben. Jede Art von Software – sogar Software in sicherheitskritischen Systemen in Autos, Flugzeugen, Atomreaktoren – wird Fehler enthalten. Ich denke, die eigentliche Frage ist, Wie robust können Sie diese Software machen, um gegen unvermeidliche menschliche Fehler im Code widerstandsfähig zu sein? Daher bin ich damit einverstanden, dass sich Fehler in frei herumlaufender Software befinden, solange die Softwarearchitektur robust ist und Raum für eine sanfte Verschlechterung lässt.
Nyke: Was bedeutet das?
Cummings: Das bedeutet, dass, wenn etwas schief geht – zum Beispiel, wenn Sie auf einer Autobahn sind und 80 Meilen pro Stunde fahren und das Auto nach rechts abbiegt – es einen Backup-Code gibt, der besagt: „Nein, das ist unmöglich. Das ist unsicher, denn wenn wir bei dieser Geschwindigkeit nach rechts abbiegen würden … “ Also muss man im Grunde Sicherheitsebenen innerhalb des Systems schaffen, damit das nicht passieren kann.
Das ist nicht nur ein Tesla-Problem. Dies sind ziemlich ausgereifte Codierungstechniken, die viel Zeit und Geld kosten. Und ich mache mir Sorgen, dass die Hersteller autonomer Fahrzeuge in einem Wettlauf sind, um die Technologie herauszubringen. Und immer wenn Sie Rennen fahren, um etwas herauszubringen, werden Tests und Qualitätssicherung immer aus dem Fenster geworfen.
Nyke: Glaubst du, dass wir zu schnell gegangen sind, um den Sachen, die auf der Straße sind, grünes Licht zu geben?
Cummings: Nun, ich bin ein ziemlich konservativer Mensch. Es ist schwer zu sagen, was grünes Licht sogar bedeutet. In einer Welt der Selbstzertifizierung durften sich Unternehmen selbst grünes Licht geben. Die Europäer haben einen Vorabgenehmigungsprozess, bei dem Ihre Technologie vorab genehmigt wird, bevor sie in der realen Welt eingesetzt wird.
In einer perfekten Welt – wenn Missy Cummings der König der Welt wäre – hätte ich ein Vorabgenehmigungsverfahren eingerichtet. Aber das ist nicht das System, das wir haben. Also ich denke die Frage ist, Wie können wir angesichts des vorhandenen Systems sicherstellen, dass, wenn Hersteller Over-the-Air-Updates an sicherheitskritischen Systemen durchführen, die Probleme behoben werden, die behoben werden sollten, und keine neuen sicherheitsrelevanten Probleme eingeführt werden? Wir wissen nicht, wie das geht. Wir sind noch nicht da.
In gewisser Weise watet die NHTSA in neue Regulierungsgewässer. Dies wird ein guter Testfall sein für: Woher wissen wir, wann ein Unternehmen Rückrufprobleme erfolgreich durch Software behoben hat? Wie können wir sicherstellen, dass das sicher genug ist?
Nyke: Das ist interessant, besonders da wir mehr Software in die Dinge um uns herum einbauen.
Cummings: Das ist richtig. Es sind nicht nur Autos.
Nyke: Was halten Sie von den Problembereichen, die von der NHTSA in der Selbstfahrsoftware gekennzeichnet wurden? Haben Sie eine Vorstellung davon, warum diese Dinge aus Software-Sicht besonders herausfordernd sind?
Cummings: Nicht alle, aber viele sind eindeutig wahrnehmungsbasiert.
Das Auto muss in der Lage sein, Objekte in der Welt richtig zu erkennen, damit es beispielsweise die richtige Handlungsregel ausführen kann. Dies alles hängt von der richtigen Wahrnehmung ab. Wenn Sie Schilder in der Welt richtig identifizieren wollen – ich glaube, es gab ein Problem mit den Autos, dass sie manchmal Geschwindigkeitsbegrenzungsschilder falsch erkannt haben –, dann ist das eindeutig ein Wahrnehmungsproblem.
Was Sie tun müssen, ist eine Menge Umschulung des Computer-Vision-Algorithmus unter der Haube. Das ist der Große. Und ich muss Ihnen sagen, deshalb dachte ich: „Oh Mist, das wird länger als zwei Monate dauern.“ Ich weiß, dass sie theoretisch einige großartige Rechenfähigkeiten haben, aber am Ende brauchen manche Dinge einfach Zeit. Ich muss Ihnen sagen, ich bin einfach so dankbar, dass ich da nicht unter Druck stehe.
Nyke: Ich wollte ein bisschen zurückgehen – wenn es Missys Welt wäre, wie würden Sie die regulatorische Einführung bei so etwas durchführen?
Cummings: Ich denke, in meiner Welt würden wir einen Vorabgenehmigungsprozess für alles mit künstlicher Intelligenz durchführen. Ich denke, das System, das wir gerade haben, ist in Ordnung, wenn man die KI aus der Gleichung herausnimmt. KI ist eine nichtdeterministische Technologie. Das bedeutet, dass es nie zweimal die gleiche Leistung erbringt. Und es basiert auf Softwarecode, der voller menschlicher Fehler sein kann. Immer wenn Sie also diesen Code haben, der Fahrzeuge berührt, die sich in der Welt bewegen und Menschen töten können, sind strengere Tests und viel mehr Sorgfalt und Fütterung erforderlich, als wenn Sie nur einen grundlegenden Algorithmus entwickeln, um die Hitze zu kontrollieren das Auto.
Ich bin ziemlich aufgeregt über das, was heute mit dieser Nachricht passiert ist, denn es wird die Leute dazu bringen, darüber zu diskutieren, wie wir mit Over-the-Air-Updates umgehen, wenn sie sicherheitskritische Systeme berühren. Das ist etwas, das niemand wirklich angehen will, weil es wirklich schwer ist. Wenn Sie ein Software-Update veröffentlichen – das wird bei Tesla passieren – wie garantieren Sie, dass dieses Software-Update keine schlimmeren Probleme verursacht? Und dass es die Probleme beheben wird, die es beheben sollte?
Was muss ein Unternehmen nachweisen? Wenn zum Beispiel Boeing nie zeigen müsste, wie sie die 737 Max repariert haben, wären Sie dann in ihr Flugzeug gestiegen? Wenn sie nur sagen würden: „Ja, ich weiß, wir sind ein paar abgestürzt und viele Menschen sind gestorben, aber wir haben es repariert, vertrauen Sie uns“, würden Sie in dieses Flugzeug steigen?
Nyke: Ich weiß, dass Sie im Laufe der Jahre einige Belästigungen durch das Musk-Fandom erlebt haben, aber Sie telefonieren immer noch mit mir über diese Dinge. Warum machst du weiter?
Cummings: Weil es wirklich so wichtig ist. Wir waren noch nie an einem gefährlicheren Ort in der Geschichte der Automobilsicherheit, außer vielleicht gerade, als Autos erfunden wurden und wir Bremslichter und Scheinwerfer noch nicht herausgefunden hatten. Ich glaube wirklich nicht, dass die Leute verstehen, wie gefährlich eine Welt der teilweisen Autonomie mit ablenkungsanfälligen Menschen ist.
Ich sage den Leuten die ganze Zeit: „Sehen Sie, ich unterrichte diese Schüler. Ich werde niemals in ein Auto steigen, das einer meiner Studenten codiert hat, weil ich genau weiß, welche Art von Fehlern sie in das System einführen.“ Und das sind keine außergewöhnlichen Fehler. Sie sind nur Menschen. Und ich denke, was die Leute vergessen, ist, dass Menschen die Software erstellen.