Und Forscher am Toyota Research Institute, der Columbia University und dem MIT konnten Robotern mithilfe einer KI-Lerntechnik namens Imitation Learning und generativer KI schnell beibringen, viele neue Aufgaben zu erledigen. Sie glauben, einen Weg gefunden zu haben, die Technologie, die generative KI vorantreibt, vom Bereich der Texte, Bilder und Videos auf den Bereich der Roboterbewegungen auszuweiten.
Viele andere haben ebenfalls von der generativen KI profitiert. Covariant, ein Robotik-Startup, das aus der inzwischen geschlossenen Robotik-Forschungseinheit von OpenAI hervorgegangen ist, hat ein multimodales Modell namens RFM-1 entwickelt. Es kann Eingabeaufforderungen in Form von Text, Bild, Video, Roboteranweisungen oder Messungen akzeptieren. Generative KI ermöglicht es dem Roboter, Anweisungen zu verstehen und Bilder oder Videos zu diesen Aufgaben zu generieren.
3. Mehr Daten ermöglichen es Robotern, mehr Fähigkeiten zu erlernen
Die Stärke großer KI-Modelle wie GPT-4 liegt in den Unmengen an Daten, die aus dem Internet gesaugt werden. Bei Robotern funktioniert das jedoch nicht wirklich, da sie Daten benötigen, die speziell für Roboter gesammelt wurden. Sie benötigen physische Demonstrationen, wie Waschmaschinen und Kühlschränke geöffnet, Geschirr aufgenommen oder Wäsche gefaltet werden. Im Moment sind diese Daten sehr rar und es dauert lange, bis sie von Menschen erfasst werden.
Eine neue Initiative von Google DeepMind namens Open X-Embodiment Collaboration soll das ändern. Letztes Jahr schloss sich das Unternehmen mit 34 Forschungslabors und etwa 150 Forschern zusammen, um Daten von 22 verschiedenen Robotern zu sammeln, darunter Hello Robot’s Stretch. Der resultierende Datensatz, der im Oktober 2023 veröffentlicht wurde, besteht aus Robotern, die 527 Fähigkeiten demonstrieren, wie zum Beispiel Kommissionieren, Schieben und Bewegen.
Erste Anzeichen deuten darauf hin, dass mehr Daten zu intelligenteren Robotern führen. Die Forscher erstellten zwei Versionen eines Robotermodells namens RT-X, das entweder lokal auf den Computern einzelner Labore ausgeführt oder über das Internet abgerufen werden konnte. Das größere, über das Internet zugängliche Modell wurde mit Internetdaten vorab trainiert, um aus den großen Sprach- und Bildmodellen einen „visuellen gesunden Menschenverstand“ oder ein grundlegendes Verständnis der Welt zu entwickeln. Als die Forscher das RT-X-Modell auf vielen verschiedenen Robotern laufen ließen, stellten sie fest, dass die Roboter Fertigkeiten um 50 % erfolgreicher erlernen konnten als die Systeme, die jedes einzelne Labor entwickelte.
Lesen Sie hier mehr in meiner Story.
Tiefergehendes Lernen
Generative KI kann Ihre wertvollsten Erinnerungen in Fotos verwandeln, die es nie gab
Maria wuchs in den 1940er Jahren in Barcelona, Spanien, auf. Ihre ersten Erinnerungen an ihren Vater sind lebendig. Als Sechsjährige besuchte Maria die Wohnung eines Nachbarn in ihrem Gebäude, wenn sie ihn sehen wollte. Von dort aus konnte sie durch das Geländer eines Balkons in das darunter liegende Gefängnis blicken und versuchen, einen Blick auf ihn durch das kleine Fenster seiner Zelle zu erhaschen, in der er wegen seines Widerstands gegen die Diktatur von Francisco Franco eingesperrt war. Es gibt kein Foto von Maria auf diesem Balkon. Aber sie kann jetzt so etwas halten: ein gefälschtes Foto – oder eine gedächtnisbasierte Rekonstruktion.