Le blog XR #1 du monde
- Français
- S'inscrire
Le blog XR #1 du monde
La fonction de suivi des mains dans la réalité virtuelle permet aux utilisateurs d’interagir avec des objets et des environnements virtuels à l’aide de leurs mains. Cette technologie, bien que simple dans la vie réelle, est incroyablement sophistiquée pour la réalité virtuelle. Lorsqu’elle est réalisée, l’expérience de la réalité virtuelle devient plus immersive et la VR plus captivante. En réalité, qu’est-ce que le suivi des mains et comment fonctionne-t-il ?
On parle de suivi des mains lorsque les caméras du casque, le réseau LiDAR ou les stations de capteurs externes suivent la position, la profondeur, la cadence et l’orientation de votre main. Ces données de suivi sont ensuite analysées et traduites en une représentation virtuelle en temps réel de vos mains et de leurs mouvements dans le monde virtuel. Cette représentation est ensuite envoyée à l’application ou au jeu vidéo auquel vous jouez, vous permettant d’interagir naturellement avec le monde à l’aide de vos mains.
Il existe deux façons de suivre vos mains dans la réalité virtuelle : à partir du casque lui-même ou de capteurs externes.
Lorsque le suivi provient d’un réseau de caméras, il est appelé suivi optique.
Le suivi optique des mains utilise la différence de pixels pour déterminer les mouvements de vos mains. Par conséquent, il nécessite plus de traitement pour que le logiciel le traduise en vos mains virtuelles.
De même, le suivi optique est limité par le champ de vision des caméras (c’est-à-dire la zone de suivi active), leur sensibilité à la lumière et leur capacité à capturer le mouvement (fréquence d’images). En général, le suivi optique est moins cher à installer, tandis qu’une matrice de caméras peut également permettre le passage de la vidéo pour le porteur.
Par exemple, le Pimaxx Vision 8K X est doté du logiciel de suivi optique Ultraleaps, qui calcule les données de position brutes de ses caméras en un suivi de la main en temps réel.
Alternativement, le LiDAR tracking (light detection and arranging) pulse des lasers pour déterminer la distance, la position et le mouvement de l’environnement par rapport à vos mains. Cette méthode de suivi est plus précise, car les lasers sont plus rapides que l’évaluation des pixels d’une caméra, tandis que le rebond du laser dans le capteur LiDAR génère immédiatement une représentation 3D de ce qui est suivi.
Le suivi peut également être effectué par des LED infrarouges, qui fonctionnent de la même manière que le LiDAR. Les LED infrarouges, appelées IR, combinées à un suivi optique, par caméra, produisent un suivi haute-fidélité. Une solution que réalise Ultraleap.
Par exemple, Le casque XR-3 de Varjo utilise la détection de profondeur LiDAR en combinaison avec le suivi optique pour obtenir un suivi précis de la main. Alors qu’un accessoir IR est inclus dans la configuration de suivi de la main pour le Pico Neo 3 Pro et le kit d’accessoires Pro Eye.
Parce que le LiDAR utilise des lasers rebondissants – similaires au fonctionnement de l’écholocation – la qualité du suivi ne se perd pas en fonction de la distance. À l’inverse, parce que les caméras utilisent les changements de pixels pour déterminer le mouvement et la position, la qualité des pixels diminue en fonction de la distance entre la caméra et vos mains.
Maintenant que les types de suivi sont connus, il est important de comprendre les différents types de systèmes de suivi des mains utilisés dans la réalité virtuelle.
Le suivi provenant du casque est le suivi inside-out et se retrouve dans les casques VR autonomes. Pour que cela fonctionne, un ensemble de caméras ou de capteurs LiDAR sur le casque suit la position relative de vos mains par rapport à tout, et les transforme en données de position brutes.
Le suivi intérieur-extérieur fonctionne comme un phare en ce sens qu’une représentation 3D du monde doit être générée à partir d’une seule direction. Cela réduit la qualité et la précision du suivi par rapport au suivi de l’extérieur vers l’intérieur, mais permet au porteur de ne pas être limité à une “zone de suivi” déterminée.
Lorsque le suivi est effectué à partir de plusieurs capteurs externes (généralement la technologie LiDAR ou IR) formant une “zone de suivi”, on parle de suivi “outside-in”.
Le suivi Outside-in peut générer une représentation beaucoup plus précise de la position et des mouvements d’une personne (mains comprises) à partir de capteurs externes et du casque lui-même. Une carte 3D de vos mains dans la zone de suivi est beaucoup plus facile à calculer car vos mains sont suivies sous plusieurs angles.
Le suivi des mains réduit les obstacles à l’adoption de la réalité virtuelle car une interaction naturelle est possible. Elle améliore la communication au sein du monde virtuel car nous parlons avec des gestes de la main et elle crée un incroyable sentiment d’immersion.Quelle que soit la solution de suivi de la main utilisée, elle constitue un élément essentiel de la réalité virtuelle. Bientôt, les gants et les manettes seront remplacés par des interactions naturelles avec les mains, et nous sommes prêts pour cela.
