Während das autonome Fahren bei der Routenplanung und Erkennung von Objekten schon lange auf maschinellem Lernen basiert, wetten einige Unternehmen und Forscher nun darauf, dass generative KI – Modelle, die Daten ihrer Umgebung aufnehmen und Vorhersagen erstellen – dabei helfen wird, die Autonomie auf die nächste Stufe zu heben. Wayve, ein Waabi-Konkurrent, hat letztes Jahr ein vergleichbares Modell herausgebracht, das auf den Videos basiert, die seine Fahrzeuge sammeln.
Waabis Modell funktioniert ähnlich wie Bild- oder Videogeneratoren wie DALL-E und Sora von OpenAI. Es nimmt Punktwolken von Lidar-Daten, die eine 3D-Karte der Fahrzeugumgebung visualisieren, und zerlegt sie in Blöcke, ähnlich wie Bildgeneratoren Fotos in Pixel zerlegen. Basierend auf seinen Trainingsdaten sagt Copilot4D dann voraus, wie sich alle Punkte der Lidar-Daten bewegen werden. Dadurch ist es möglich, Vorhersagen für 5 bis 10 Sekunden in der Zukunft zu erstellen.
Waabi ist eines der wenigen Unternehmen für autonomes Fahren, darunter die Konkurrenten Wayve und Ghost, die ihren Ansatz als „AI-first“ bezeichnen. Für Urtasun bedeutet das, ein System zu entwerfen, das aus Daten lernt, und nicht eines, dem man Reaktionen auf bestimmte Situationen beibringen muss. Die Kohorte geht davon aus, dass ihre Methoden weniger Stunden für die Erprobung selbstfahrender Autos auf der Straße erfordern könnten, ein brisantes Thema nach einem Unfall im Oktober 2023, bei dem ein Cruise-Robotaxi einen Fußgänger in San Francisco mitzerrte.
Waabi unterscheidet sich von seinen Konkurrenten durch die Entwicklung eines generativen Modells für Lidar und nicht für Kameras.
„Wenn Sie ein Level-4-Spieler sein wollen, ist Lidar ein Muss“, sagt Urtasun und bezieht sich auf die Automatisierungsstufe, bei der das Auto nicht die Aufmerksamkeit eines Menschen erfordert, um sicher zu fahren. Kameras zeigen gut, was das Auto sieht, aber sie sind nicht so gut darin, Entfernungen zu messen oder die Geometrie der Umgebung des Autos zu verstehen, sagt sie.
Obwohl Waabis Modell Videos erstellen kann, die zeigen, was ein Auto durch seine Lidar-Sensoren sieht, werden diese Videos nicht als Training im Fahrsimulator des Unternehmens verwendet, mit dem das Unternehmen sein Fahrmodell baut und testet. Damit soll sichergestellt werden, dass etwaige durch Copilot4D verursachte Halluzinationen nicht im Simulator erlernt werden.
Die zugrunde liegende Technologie sei nicht neu, sagt Bernard Adam Lange, ein Doktorand in Stanford, der ähnliche Modelle gebaut und erforscht hat, aber es ist das erste Mal, dass er sieht, wie ein generatives Lidar-Modell die Grenzen eines Forschungslabors verlässt und für den kommerziellen Einsatz skaliert wird . Ein solches Modell würde im Allgemeinen dazu beitragen, dass das „Gehirn“ jedes autonomen Fahrzeugs schneller und genauer schlussfolgern kann, sagt er.
„Es ist die Größe, die transformativ ist“, sagt er. „Die Hoffnung besteht darin, dass diese Modelle für nachgelagerte Aufgaben genutzt werden können“, etwa für die Erkennung von Objekten und die Vorhersage, wohin sich Menschen oder Dinge als nächstes bewegen könnten.