Wir haben Spot rennen, springen und sogar tanzen sehen … aber jetzt können wir Spot sehen sprechen. In einem etwas beunruhigenden Video von Boston Dynamics sehen wir, wie der Roboterhund mit Zylinder, Schnurrbart und Kulleraugen mit Mitarbeitern mit britischem Akzent plaudert und sie auf einen Rundgang durch die Einrichtungen des Unternehmens mitnimmt.
„Sollen wir unsere Reise beginnen?“ Spot fragt. „Die Ladestationen, an denen Spot-Roboter ruhen und aufladen, sind unser erster Anziehungspunkt. Folgen Sie mir, meine Herren.“ Wie in der Demo gezeigt, ist Spot in der Lage, Fragen zu beantworten und öffnet sogar seinen „Mund“, um den Eindruck zu erwecken, dass er tatsächlich spricht.
Um Spot zum „Sprechen“ zu bringen, nutzte Boston Dynamics die ChatGPT-API von OpenAI sowie einige Open-Source-LLM (Large Language Models), um seine Antworten sorgfältig zu trainieren. Dann rüstete es den Bot mit einem Lautsprecher aus, fügte Text-zu-Sprache-Funktionen hinzu und sorgte dafür, dass sein Mund – äh … Greifer – Sprache „wie der Mund einer Marionette“ nachahmte.
Matt Klingensmith, der leitende Softwareentwickler bei Boston Dynamics, sagt, das Team habe Spot ein „sehr kurzes Drehbuch“ für jeden Raum in seinen Einrichtungen gegeben. Anschließend kombinierte der Bot dieses Skript mit den Bildern, die er von den Kameras an seinem Greifer und Körper erhält, und ermöglichte ihm so, „mehr Informationen über das zu erhalten, was er sieht, bevor er eine Reaktion generiert“. Nach Angaben des Unternehmens verwendet Spot Visual Question Answering-Modelle im Wesentlichen, um Bilder zu beschriften und Fragen dazu zu beantworten.
„Der Generator summt leise in einem Raum ohne Freude. Ähnlich wie meine Seele.“
Der „schicke Butler“ ist nicht die einzige Person, die Spot im Video annimmt. Der vierbeinige Bot nimmt auch die Persönlichkeit eines Archäologen aus den 1920er Jahren, eines Teenagers und eines Shakespeare-Zeitreisenden an. Es geht sogar von einer sarkastischen Persönlichkeit aus, die, als sie gebeten wurde, sich ein Haiku auszudenken, sagte: „Der Generator summt leise in einem Raum ohne Freude.“ Ähnlich wie meine Seele.“
Boston Dynamics gibt an, beim Experimentieren mit Spot als Reiseleiter einige Überraschungen entdeckt zu haben. In einem Fall fragte das Team Spot, wer seine „Eltern“ seien, und ging zu der Stelle, wo die älteren Spot-Modelle im Büro des Unternehmens ausgestellt sind. Das Unternehmen weist außerdem darauf hin, dass es immer noch Fälle gab, in denen sich das LLM etwas ausgedacht hatte, etwa die Behauptung, dass Stretch, sein Roboter zum Bewegen von Kisten, für Yoga gemacht sei.
„Wir freuen uns, die Schnittstelle zwischen künstlicher Intelligenz und Robotik weiter zu erforschen“, schreibt Klingensmith in einem Beitrag auf der Website von Boston Dynamics. „Diese Modelle [LLMs] kann dazu beitragen, kulturellen Kontext, allgemeines Wissen über den gesunden Menschenverstand und Flexibilität bereitzustellen, die für viele Robotikaufgaben nützlich sein könnten – zum Beispiel würde die Möglichkeit, einem Roboter eine Aufgabe zuzuweisen, indem man einfach mit ihm spricht, dazu beitragen, die Lernkurve für die Verwendung dieser Systeme zu verkürzen.“