Der #1 XR-Blog der Welt
- Deutsch
- Sign In
Hand Tracking in der virtuellen Realität ermöglicht es Nutzern, mit ihren Händen mit virtuellen Objekten und Umgebungen zu interagieren. Diese Technologie ist zwar im echten Leben einfach, aber für die virtuelle Realität ist sie unglaublich anspruchsvoll. So wird das Virtual-Reality-Erlebnis noch intensiver und die VR noch fesselnder. Was ist eigentlich Hand Tracking und wie funktioniert es?
Beim Hand Tracking verfolgen die Kameras des Headsets, das LiDAR-Array oder externe Sensorstationen die Position, Tiefe, Geschwindigkeit und Ausrichtung deiner Hand. Diese Tracking-Daten werden dann analysiert und in eine virtuelle Echtzeit-Darstellung deiner Hände und ihrer Bewegungen in der virtuellen Welt umgewandelt. Diese Darstellung wird dann an die Anwendung oder das Videospiel gesendet, das du gerade spielst, und ermöglicht es dir, mit deinen Händen auf natürliche Weise mit der Welt zu interagieren.
Es gibt zwei Möglichkeiten, deine Hände in der virtuellen Realität zu tracken: über das Headset selbst oder über externe Sensoren.
Wenn das Tracking von einer Kameraanordnung ausgeht, nennt man es optisches Tracking.
Beim optischen Hand Tracking wird der Unterschied zwischen den Pixeln genutzt, um die Bewegungen deiner Hände zu bestimmen. Daher muss die Software mehr Daten verarbeiten, um sie in deine virtuellen Hände zu übertragen.
Außerdem ist das optische Tracking durch das Sichtfeld der Kameras (d. h. den aktiven Tracking-Bereich), ihre Lichtempfindlichkeit und ihre Fähigkeit, Bewegungen zu erfassen (Bildrate), begrenzt. Optisches Tracking ist in der Regel kostengünstiger zu installieren, während ein Kamera-Array auch den Video-Passthrough für den Träger ermöglichen kann.
Alternativ dazu werden beim LiDAR Tracking (Light Detection and Arranging) Laser gepulst, um die Entfernung, Position und Bewegung der Umgebung relativ zu deinen Händen zu bestimmen. Diese Tracking-Methode ist präziser, da Laser schneller sind als die Bewertung von Pixeln durch eine Kamera und der Rückprall des Lasers auf den LiDAR-Sensor sofort eine 3D-Darstellung des Verfolgten erzeugt.
Alternativ kann das Tracking auch mit Infrarot-LEDs erfolgen, die genauso funktionieren wie LiDAR. Infrarot-LEDs, IR genannt, kombiniert mit optischem, kameragestütztem Tracking ergeben ein sehr genaues Tracking. Eine Lösung, an der Ultraleap arbeitet.
Zum Beispiel, das XR-3-Headset von Varjo nutzt die LiDAR-Tiefenerfassung in Kombination mit optischem Tracking, um ein präzises Hand Tracking zu ermöglichen Für das Pico Neo 3 Pro und das Pro Eye Zubehörset ist ein IR-Zubehörteil im Hand Tracking Setup enthalten.
Da LiDAR mit abprallenden Lasern arbeitet – ähnlich wie bei der Echoortung – geht die Qualität des Trackings nicht mit der Entfernung verloren. Da Kameras dagegen die Veränderung von Pixeln nutzen, um Bewegung und Position zu bestimmen, nimmt die Qualität der Pixel mit der Entfernung zwischen der Kamera und deinen Händen ab.
Jetzt, wo die Arten des Trackings bekannt sind, ist es wichtig, die verschiedenen Arten von Hand Tracking Systemen zu verstehen, die in der virtuellen Realität eingesetzt werden
Das Tracking, das vom Headset ausgeht, ist Inside-Out-Tracking und kommt in Standalone-VR-Headsets zum Einsatz. Damit dies funktioniert, verfolgen entweder eine Reihe von Kameras oder LiDAR-Sensoren am Headset die relative Position deiner Hände zu allem anderen und verarbeiten diese zu rohen Positionsdaten.
Inside-Out Tracking funktioniert ähnlich wie ein Leuchtturm, da eine 3D-Darstellung der Welt nur aus einer Richtung erzeugt werden muss. Im Vergleich zum Outside-in-Tracking verringert sich dadurch die Qualität und Präzision des Trackings, aber der Träger ist nicht mehr auf eine bestimmte “Tracking-Zone” beschränkt.
Wenn das Tracking von mehreren externen Sensoren (in der Regel LiDAR oder IR-Technologie) durchgeführt wird, die eine “Tracking-Zone” bilden, spricht man von Outside-in-Tracking.
Das Outside-In Tracking kann mit Hilfe von externen Sensoren und dem Headset selbst eine viel genauere Darstellung der Position und der Bewegungen einer Person (einschließlich der Hände) erstellen. Eine 3D-Karte deiner Hände innerhalb der Tracking-Zone ist viel einfacher zu berechnen, da deine Hände aus mehreren Winkeln getrackt werden.
Hand Tracking senkt die Hürden für die Einführung von Virtual Reality, da eine natürliche Interaktion möglich ist. Es verbessert die Kommunikation in der virtuellen Welt, weil wir uns mit Handgesten unterhalten, und es schafft ein unglaubliches Gefühl der Immersion. Unabhängig von der verwendeten Hand Tracking Lösung ist es ein wichtiger Bestandteil der virtuellen Realität. Bald werden Handschuhe und Controller der natürlichen Interaktion mit der Hand weichen, und wir sind dabei.
