Das neue Modell mit dem Namen RFM-1 wurde auf der Grundlage jahrelanger Daten trainiert, die von Covariants kleiner Flotte von Artikelkommissionierungsrobotern gesammelt wurden, die Kunden wie Crate & Barrel und Bonprix in Lagern auf der ganzen Welt verwenden, sowie auf Wörtern und Videos aus dem Internet. In den kommenden Monaten wird das Modell für Covariant-Kunden freigegeben. Das Unternehmen hofft, dass das System im realen Einsatz leistungsfähiger und effizienter wird.
Was kann es also tun? Bei einer Demonstration, an der ich letzte Woche teilnahm, zeigten mir die Covariant-Mitbegründer Peter Chen und Pieter Abbeel, wie Benutzer das Modell mithilfe von fünf verschiedenen Eingabetypen steuern können: Text, Bilder, Videos, Roboteranweisungen und Messungen.
Zeigen Sie ihm zum Beispiel ein Bild eines mit Sportgeräten gefüllten Mülleimers und fordern Sie ihn auf, die Packung Tennisbälle aufzuheben. Der Roboter kann dann den Gegenstand greifen, ein Bild davon erstellen, wie der Behälter aussehen wird, wenn die Tennisbälle weg sind, oder ein Video erstellen, das aus der Vogelperspektive zeigt, wie der Roboter bei der Ausführung der Aufgabe aussehen wird.
Wenn das Modell vorhersagt, dass es den Gegenstand nicht richtig greifen kann, tippt es möglicherweise sogar zurück: „Ich kann es nicht gut greifen.“ Habt ihr irgendwelche Tipps?“ Eine Antwort könnte ihm raten, eine bestimmte Anzahl der Saugnäpfe an seinen Armen zu verwenden, um ihm einen besseren Halt zu ermöglichen – zum Beispiel acht statt sechs.
Chen sagte mir, dass dies einen Fortschritt bei Robotern darstellt, die sich mithilfe von Trainingsdaten an ihre Umgebung anpassen können, anstatt den komplexen, aufgabenspezifischen Code zu verwenden, der die vorherige Generation von Industrierobotern antreibt. Es ist auch ein Schritt hin zu Arbeitsplätzen, an denen Manager Anweisungen in menschlicher Sprache erteilen können, ohne sich um die Einschränkungen menschlicher Arbeit kümmern zu müssen. („Packen Sie 600 Meal-Prep-Sets für Paprikanudeln nach dem folgenden Rezept ein. Machen Sie keine Pausen!“)
Lerrel Pinto, ein Forscher, der das Allzweckrobotik- und KI-Labor an der New York University leitet und keine Verbindung zu Covariant hat, sagt, dass, obwohl Robotiker schon früher einfache multimodale Roboter gebaut und in Laborumgebungen eingesetzt haben, der Einsatz eines solchen in großem Maßstab möglich sei Auf so viele Arten zu kommunizieren ist eine beeindruckende Leistung für das Unternehmen.
Um seine Konkurrenten zu übertreffen, muss Covariant genügend Daten in die Hände bekommen, damit der Roboter in der Wildnis nützlich sein kann, sagte mir Pinto. In Lagerhallen und Laderampen wird es auf die Probe gestellt, da es ständig mit neuen Anweisungen, Personen, Objekten und Umgebungen interagiert.
„Die Gruppen, die gute Modelle trainieren werden, werden diejenigen sein, die entweder Zugriff auf bereits große Mengen an Roboterdaten haben oder die Fähigkeit haben, diese Daten zu generieren“, sagt er.