Eine Apple-Entwicklersitzung bot einen detaillierten Einblick in die vielen Möglichkeiten, wie Benutzer (irgendwann) ihr neues Vision Pro-Headset steuern werden, einschließlich einer virtuellen Tastatur, auf der Sie in der Luft tippen können. Es kommt zu uns dank der Sitzung „Design für räumliche Eingabe“, in der zwei Mitglieder des Apple-Designteams potenzielle Entwickler durch Best Practices für das Design von Apps für die neue Plattform führen.
Apple scheint daran interessiert zu sein, dass Benutzer mit dem Headset hauptsächlich interagieren, indem sie einfach auf die Elemente der Benutzeroberfläche schauen und kleine Handbewegungen machen, während sie ihre Arme entspannt auf dem Schoß liegen lassen. Aber in seiner Entwicklersitzung gibt Apple-Designer Israel Pastrana Vicente zu, dass „einige Aufgaben besser für die direkte Interaktion geeignet sind“, was das Ausstrecken und Berühren von UI-Elementen beinhalten kann (eine Funktion, die Apple als „direkte Berührung“ bezeichnet). Es gibt auch Unterstützung für die Verwendung physischer Tastaturen und Trackpads oder Gamecontroller.
„Manche Aufgaben eignen sich besser für die direkte Interaktion“
Sprechen wir also über die virtuelle Tastatur des Vision Pro. Apple-Designer Eugene Krivoruchko erklärt, dass es wichtig ist, bei der Verwendung reichlich visuelles und akustisches Feedback zu geben, um die „fehlenden taktilen Informationen“ auszugleichen, die mit der Berührung eines Leseperipheriegeräts verbunden sind. „Während sich der Finger über der Tastatur befindet, zeigen die Tasten einen Schwebezustand und eine Hervorhebung an, die heller wird, je näher man der Tastenoberfläche kommt“, erklärt Krivoruchko. „Es bietet einen Annäherungshinweis und hilft, den Finger zum Ziel zu führen. Im Moment des Kontakts erfolgt die Zustandsänderung schnell und reaktionsschnell und wird von einem passenden räumlichen Klangeffekt begleitet.“
Es gibt auch Unterstützung für die Spracheingabe. In derselben Entwicklersitzung wurde festgestellt, dass die Funktion „Mit der Suche sprechen“ ausgelöst wird, wenn Sie Ihren Blick auf das Mikrofonsymbol im Suchfeld richten. Dabei werden wahrscheinlich Audiodaten von den sechs im Vision Pro integrierten Mikrofonen erfasst.
Durch direkte Berührung kann auch mit anderen Systemelementen interagiert werden. Es besteht die Möglichkeit, zu tippen und zu scrollen, als ob Sie mit einem Touchscreen interagieren würden, und in einer Apple-Demo zeigt der Träger, wie er mitten in der Luft eine Stiftbewegung ausführt, um ein Wort zu schreiben und in Markup eine Herzform zu zeichnen. Obwohl die primäre Interaktion über die Hand des Benutzers erfolgt, erklärt Krivoruchko, dass auch Eye-Tracking zum Einsatz kommt, um die Gesten zu verbessern. „Sie steuern den Pinselcursor mit Ihrer Hand, ähnlich einem Mauszeiger, aber wenn Sie dann auf die andere Seite der Leinwand schauen und tippen, springt der Cursor dorthin und landet genau dort, wo Sie hinschauen. Das erzeugt ein Gefühl von Genauigkeit und hilft dabei, die große Leinwand schnell abzudecken“, sagt der Designer.
Wir haben immer noch viele Fragen dazu, wie Apples teures neues Vision Pro-Headset in der Praxis funktionieren wird (insbesondere die Möglichkeit, es mit Motion-Controllern anderer Hersteller zu koppeln), aber zwischen unseren praktischen Erfahrungen und Entwicklersitzungen wie diesen ist das Erfahrung beginnt in den Fokus zu rücken.