Magic Leap 2 Controller Leaks sind durchgesickert und enthüllen das interne Inside-Out-Tracking

Magic Leap 2 Controller Leaks sind durchgesickert und enthüllen das interne Inside-Out-Tracking

sander
Von sander
Veröffentlicht: 18-04-2022
Aktualisiert: 24-03-2023

Twitter schlägt wieder zu. Diesmal ist es Peter Diamond, der Gründer von XPRIZE, der bisher unbekannte Controller für das kommende Augmented-Reality-Headset Magic Leap 2 enthüllt, die Anzeichen für eingebaute Kameras zeigen, die für neuartiges Inside-Out-Tracking verwendet werden.

Magic Leap 2 Controller Leaks zeigen neuartige Inside-Out-Tracking-Funktion

Vor dieser Enthüllung wurde das kommende AR-Headset Magic leap 2 und die Magic Leap 2 Controllern vorgestellt, die über eingebaute Kameras für ein präziseres Tracking verfügen. Damals waren die Aussagen jedoch vage und wir wussten nicht, dass es sich um eingebaute Kameras in jedem Controller handelt.

Ein solches Controller-Tracking ist einzigartig, denn alle aktuellen AR- und VR-Angebote werden entweder vom Headset verfolgt (Inside-Out genannt, bezieht sich aber auf das Headset, nicht auf die Controller) oder erfordern externe Sensoren (Outside-In-Tracking genannt).

Die Implementierung von mehr Sinneseindrücken durch Sensorsysteme erhöht die Präzision und Genauigkeit des Trackings und sorgt für eine bessere Immersion. Bei Headsets mit Inside-Out-Tracking stottern die Controller oder brechen ab, wenn sie sich außerhalb des Tracking-Bereichs des Headsets bewegen.

Früher musstest du also Outside-in-Virtual-Reality-Systeme mit umständlichen Setups wie HTC Vive und PlayStation VR kaufen.

Magic-Leap-2-Controllers-VR-Expert-2

Wie funktioniert das Tracking und was wird dafür benötigt?

Die kommenden Magic Leap 2 Controller, die mit den Magic Leap 2 verbunden sind, nutzen die eingebauten Kameras und ein Softwaresystem namens SLAM. SLAM (Simultaneous Location and Mapping) vergleicht die Änderungen von Geschwindigkeit, Drehung und Beschleunigung mit den sichtbaren Objekten um dich herum im Verhältnis zu den Kameras/Controllern. Diese Live-Daten werden dann berechnet und an das Visier des Headsets gesendet, sodass die Controller verfolgt werden können. Ziemlich beeindruckend.

Es gibt nur ein Problem: Es erfordert eine hohe Rechenleistung, was bedeutet, dass SLAM in eigenständigen Headsets nur schwer zu realisieren ist. Dies stellt ein weiteres Problem bei Augmented-Reality-Headsets dar, die sich damit brüsten, schlanker und leichter zu sein. Möglicherweise kann dieses Problem mit einem hauseigenen System-on-a-Micro-Chip (SoC) gelöst werden, ähnlich wie bei Apple Silicon und Google Tensor, da dies eine höhere Batterieeffizienz und eine für das lokale Betriebssystem optimierte Rechenleistung pro Nanometer ermöglicht.

Außerdem ist es fraglich, wie das SLAM-Controller-Tracking in schwach beleuchteten Räumen funktionieren wird, da die eingebauten Kameras möglicherweise Schwierigkeiten haben, Gegenstände um den Träger herum zu kalibrieren, ganz zu schweigen von der Bewegungsunschärfe.

Auf jeden Fall scheint Metas kommendes Project Cambria Headset ebenfalls dieses innovative Inside-Out-Controller-Tracking zu verwenden, so dass man diese Entwicklung im Auge behalten sollte.

Magic-Leap-2-Controllers-VR-Expert-4

Fazit

Nachdem bekannt wurde, dass die Magic Leap 2 Controller über eingebaute Kameras für das Inside-Out-Tracking verfügen, wird es interessant sein zu sehen, wie gut das Headset mit dieser Controller-Technologie Augmented-Reality-Erlebnisse bewältigt. Es ist noch unklar, ob die Controller in schwach beleuchteten Räumen gut funktionieren, wie sie mit Bewegungsunschärfe umgehen und wie Magic Leap die für diese innovative Tracking-Funktion erforderliche Rechenleistung bewältigen wird.

Auch wenn Metas kommendes Project Cambria-Headset angeblich ein ähnliches Controller-Tracking verwenden wird, könnte sich Magic Leap 2 dadurch von anderen AR-Headsets abheben und wieder eine führende Position im Bereich Augmented Reality einnehmen.