Der #1 XR-Blog der Welt
- Deutsch
- Sign In
High-fidelity Hand-Tracking für VR und insbesondere AR ist kein zusätzliches Feature – es ist von zentraler Bedeutung. Aber das gilt besonders für Anwendungsfälle in Unternehmen. VR ist immer noch eine neue Technologie. Daher ist eine natürliche Interaktion – oder Skeuomorphismus – erforderlich, um die Einstiegshürde zu senken und die Akzeptanz von VR zu erhöhen, um die vielen Anwendungsfälle von VR/AR in Unternehmen zu ermöglichen.
Es ist kein Geheimnis, dass die Medizin- und Gesundheitsbranche großes Potenzial in der VR sieht. Aber mit fein abgestimmtem Hand-Tracking können erstklassige Chirurgen, die von physischen Einschränkungen auf der ganzen Welt befreit sind, eine Reihe flinker Roboterhände bedienen, um Menschen zu operieren. Die Dezentralisierung des Gesundheitswesens führt zu einer Steigerung des medizinischen Fachwissens.
Die Forschungs- und Entwicklungsabteilungen überall auf der Welt sind selbsterklärend für ihre scharfen Augen auf VR/AR. Aber speziell bei „Design Reviews“ wird das Hand-Tracking stark angenommen und ist von zentraler Bedeutung. Hier können Ingenieure ein Gefühl für das Design bekommen und das Projekt verbessern. Führungskräfte erhalten einen tieferen Einblick in ihre zukünftige Produktpalette und können so fundiertere Geschäftsentscheidungen treffen.
Bei der Gestaltung ergonomischer Produkte wie Sportbekleidung ist es nicht nur wichtig, die Entwicklung per Hand zu verfolgen, sondern auch die Produkttests.
Die Entschärfung von Bomben und andere katastrophenbedingte Aufgaben lassen aufhorchen, wenn es Neuigkeiten zum Hand-Tracking gibt. Das beeindruckende Robotikunternehmen Boston Dynamics hat erwähnt, dass seine Roboter für Situationen gedacht sind, die für den Menschen zu gefährlich sind, um sie zu bedienen. Solche Szenarien können Umweltkatastrophen, Gebäudeeinstürze und Bombenentschärfungen sein. Hände zu bewegen, ohne physisch an einem Ort zu sein, wird von großem Nutzen sein und viele Anwendungsfälle eröffnen.
Der nächste Punkt kann eher als Zusatzfunktion gesehen werden, die man hervorheben kann, um ein Geschäft abzuschließen, würde aber zu einer größeren Akzeptanz von VR in Unternehmen führen, wenn er umgesetzt würde: Körpersprache und Handbewegungen in Meetings und Präsentationen. Menschliche Mimik und Handgesten während des Sprechens sind für die natürliche Kommunikation bei der Präsentation oder Diskussion bestimmter Themen von größter Bedeutung.
Und schließlich, und am wichtigsten, ist das Hand-Tracking in AR. Augmented Reality ist für den täglichen Gebrauch gedacht, und in solchen Szenarien werden die Menschen keine klobigen Controller tragen, um AR zu bedienen. Bei der Interaktion mit der realen Welt ist das Handtracking daher entscheidend für den Erfolg von AR.
Skeuomorphismus ist eine natürliche Benutzeroberfläche. Es ist ein Begriff aus dem Bereich Design und User Interface, der die reale Welt um uns herum widerspiegelt und unsere natürliche menschliche Interaktion mit physischen Objekten ausnutzt. Denken Sie an die Interaktion mit einem Kindle Reader™, bei dem Sie von rechts nach links streichen, wie Sie es beim Umblättern einer Buchseite tun würden. Skeuomorphes Design kann sich aber auch im Aussehen von Objekten zeigen. So wird beispielsweise das Logo eines Papierkorbs, in den verworfene Dateien verschickt werden, als skeuomorph betrachtet – selbst das Löschen von Dateien per „Drag and Drop“ gilt als skeuomorph.
Der Maßstab für eine perfekte skeuomorphe Benutzeroberfläche ist in der Regel, dass ein Benutzer das, was er vor sich sieht, ohne Vorwissen über das, womit er interagiert, und ohne Onboarding bedienen kann, dann ist dieses Design eine erfolgreiche skeuomorphe Benutzeroberfläche.
Dieses benutzerfreundliche Design zielt darauf ab, die Einstiegshürden für neue Innovationen und Systeme zu senken. Und das Hand-Tracking für VR/AR gilt als skeuomorphes Verfahren. Das bedeutet, dass VR in Unternehmen mühelos und intuitiv sein muss, während sie versteckt ist und die Alternativen übertrifft. Die besten Designs sind unbemerkt.
In gewissem Sinne geht es darum, eine Brücke zwischen unserer digitalen Welt und unseren prähistorischen evolutionären Fähigkeiten zu schlagen. Wir haben unsere Hände benutzt, seit wir uns zu zweibeinigen Tieren entwickelt haben, und unsere Werkzeuge haben sich seither weiterentwickelt. Um VR so natürlich zu machen, dass sie mühelos von Unternehmen genutzt werden kann, ist ein ausgeklügeltes Hand-Tracking nicht nur notwendig, sondern von zentraler Bedeutung.
Ebenso ist es hilfreich, einen anderen Begriff der „mentalen Modelle“ hervorzuheben. Jeder möchte disruptiv und innovativ sein. Aber wir interagieren mit Produkten auf der Grundlage bereits bestehender Erwartungen, wie etwas funktionieren sollte. Wir würden uns zum Beispiel ärgern, wenn eine Website nur von rechts nach links und nicht von oben nach unten gescrollt würde.
Wie der Designexperte Scott Benson schreibt, „übertragen die Benutzer ihre Erwartungen, die sie an ein vertrautes Produkt geknüpft haben, auf ein anderes, das ähnlich aussieht“. Ein gängiger Witz ist, dass ein Kleinkind, das mit dem Wischen von Bildschirmen auf Smartphones und Tablets aufgewachsen ist, versuchen wird, auf dem Fernseher zu wischen. Das ist ihr mentales Modell bei der Arbeit.
Das Problem ist, dass VR/AR immer noch so neu ist, dass die meisten Menschen, abgesehen von Entwicklern und Experten, keine mentalen Modelle für die Interaktion mit VR/AR haben. Daher ist die Grundlage für den Erfolg von Hand-Tracking, das sich seinen Weg von der Touch-Steuerung bahnt, und natürlichen Interaktionen von entscheidender Bedeutung.
Derzeit verfügen die Mainstream-Headsets der Quests über natives Hand-Tracking, aber sie stecken noch in den Kinderschuhen und sind sehr unausgereift. Facebook stufte es sogar als gelegentliches Feature ein und nicht als unternehmenswichtiges. Abgesehen davon muss man sich außerhalb der großen VR-Hersteller und in eher nischenorientierte VR/AR-Angebote begeben, wie z. B. ManoMotion (Pimax) und Ultraleap Gemini (Varjo-Headsets), während weitere kommende Headsets damit ausgestattet werden.
Hervorzuheben ist in diesem Zusammenhang die Ultraleap Gemini Hand-Tracking-Technologie von Varjo, die in den Varjo XR-3 MR HMDs eingesetzt wird. Durch diese hochwertigen Mixed-Reality-Headsets werden Design-Workflows optimiert und Kosten gesenkt.
Ultraleap Gemini ist die fünfte Iteration von Varjos Handtracking-Software und gilt als Industriestandard für kamerabasiertes, diskriminierendes Handtracking.
Es gibt zwei Formen des Hand-Trackings: das echte Tracking der Hände und die Gestenerkennung. Heutzutage wird die Handverfolgung in der Regel durch zwei verschiedene Systeme zur Gestenerkennung ermöglicht: den diskriminativen Ansatz und den generativen Ansatz. Bei der diskriminativen Methode werden Standbilder aus der Verfolgung der Hände mit einer Datenbank von Standbildern von Händen abgeglichen und die Geste der Hand bestimmt. Diese Datenbank kann in der Regel durch maschinelles Lernen und iterative Algorithmen erweitert und feinabgestimmt werden. Der generative Ansatz ist ähnlich, mit dem Unterschied, dass eine virtuelle 3D-Hand auf der Grundlage Ihrer Handbewegungen erstellt wird, die dann mit einem Basis-3D-Handmodell im System korrespondiert. Ersteres ist fortschrittlicher und letzteres ist schneller.
Ebenso kann die Verfolgung der Hände auf zwei verschiedene Arten erfolgen: gerätebasierte Handverfolgung und kamerabasierte Handverfolgung. Bei letzterem verfolgt eine Kamera am Headset die Bewegungen der Hand, während für das gerätebasierte Tracking eine Art Wearable wie ein Handschuh oder Fingerknubbel erforderlich ist.
Die Kamera-Tracking-Methode beseitigt die Einstiegshürden vollständig, allerdings ist es etwas schwieriger, die Hände zu tracken. Bei der gerätebasierten Methode muss der Nutzer ständig Handschuhe oder Fingernoppen tragen, so dass eine alltägliche Nutzung nicht möglich ist. Aber diese Geräte ermöglichen ein viel genaueres Tracking.
In jedem Fall ist das Hand-Tracking bedeutsamer, als die meisten glauben – vor allem in unternehmerischen Anwendungsfällen.
