Um das System zu entwickeln, testeten Forscher der New York University und Meta Stretch, einen kommerziell erhältlichen Roboter von Hello Robot, der aus einer fahrbaren Einheit, einer hohen Stange und einem einziehbaren Arm besteht, in insgesamt zehn Räumen in fünf Häusern.
Während er mit dem Roboter in einem Raum war, scannte ein Forscher seine Umgebung mit Record3D, einer iPhone-App, die das Lidar-System des Telefons nutzt, um ein 3D-Video aufzunehmen und es mit dem Roboter zu teilen.
Das OK-Robot-System ließ dann ein Open-Source-KI-Objekterkennungsmodell über die Frames des Videos laufen. Dies, in Kombination mit anderen Open-Source-Modellen, half dem Roboter, Objekte in diesem Raum zu identifizieren, wie einen Spielzeugdrachen, eine Tube Zahnpasta und ein Spielkartenspiel, sowie Orte im Raum, darunter einen Stuhl, einen Tisch, und ein Mülleimer.
Anschließend wies das Team den Roboter an, einen bestimmten Gegenstand aufzunehmen und an einen neuen Ort zu bewegen. Dem Zangenarm des Roboters gelang dies in 58,5 % der Fälle; In weniger überfüllten Räumen stieg die Erfolgsquote auf 82 %. (Ihre Forschung wurde noch nicht von Experten begutachtet.)
Der jüngste KI-Boom hat zu enormen Sprüngen bei den Sprach- und Computer-Vision-Fähigkeiten geführt und Roboterforschern den Zugang zu Open-Source-KI-Modellen und -Tools ermöglicht, die es vor drei Jahren noch nicht gab, sagt Matthias Minderer, ein leitender Computer-Vision-Forscher bei Google DeepMind, der nicht an dem Projekt beteiligt war.
„Ich würde sagen, dass es ziemlich ungewöhnlich ist, sich vollständig auf Modelle von der Stange zu verlassen, und dass es ziemlich beeindruckend ist, sie zum Laufen zu bringen“, sagt er.