Le blog XR #1 du monde
- Français
- S'inscrire
Le blog XR #1 du monde
Le suivi des mains de haute-fidélité pour la VR, et notamment la AR, n’est pas une fonction supplémentaire – c’est un élément essentiel. Mais c’est surtout le cas pour les cas d’utilisation en entreprise. La VR est encore une nouvelle technologie. Une interaction naturelle – ou Skeuomorphisme – est donc nécessaire pour abaisser la barrière d’entrée et augmenter l’adoption de la VR afin de permettre les nombreux cas d’utilisation de la VR/AR en entreprise.
Il n’est un secret pour personne que l’industrie médicale et des soins de santé voit un grand potentiel dans la VR. Mais avec un suivi fin des mains, les chirurgiens de classe mondiale, libérés des contraintes physiques à travers le monde, peuvent utiliser un ensemble de mains robotiques agiles pour opérer les gens. Ce qui a pour effet d’élever le niveau de sophistication médicale en décentralisant les soins de santé.
Les départements de recherche et de développement du monde entier sont bien connus pour leurs yeux aiguisés sur la VR/AR. Mais spécifiquement, le suivi des mains serait grandement adopté et pivotant dans les « Design Reviews« . Ici, les ingénieurs peuvent se faire une idée précise de la conception et itérer pour améliorer le projet. Les cadres supérieurs peuvent ainsi avoir une vision plus approfondie de leur future gamme de produits et, par extension, prendre des décisions commerciales plus judicieuses.
Dans la conception de produits ergonomiques tels que les vêtements de sport, il est essentiel non seulement d’utiliser le suivi manuel pour le développement, mais aussi de pouvoir suivre manuellement les tests du produit.
Les tâches de désamorçage de bombes et d’autres tâches liées aux catastrophes naturelles sont particulièrement sensibles aux nouvelles concernant le suivi manuel sont publiées. L’impressionnante société de robotique Boston Dynamics a mentionné que ses robots sont destinés à des situations trop dangereuses pour les humains. Ces scénarios peuvent être des catastrophes environnementales, des effondrements de structures et le désarmement de bombes. Manipuler des mains sans être physiquement dans un endroit sera hautement bénéfique et ouvrira de nombreux cas d’utilisation.
La prochaine étape peut être considérée comme un ajout – une caractéristique supplémentaire à mettre en avant pour conclure une affaire – mais entraînerait une plus grande adoption de la VR par les entreprises si elle était mise en œuvre : le langage corporel et les mouvements des mains dans les réunions et les présentations. L’expression humaine et les gestes des mains lorsque nous parlons sont primordiaux dans la communication naturelle pour présenter ou discuter de sujets particuliers, et avec les réunions décentralisées, le suivi des mains normalisera l’utilisation et élargira le taux d’adoption.
Enfin, et c’est le plus important, le suivi de la main dans la AR. La réalité augmentée est destinée à un usage quotidien, et dans de tels scénarios, les gens ne vont pas porter des manettes encombrantes pour faire fonctionner la AR. Par conséquent, lors de l’interaction avec le monde réel, le suivi de la main est crucial pour le succès de la AR.
Le Skeuomorphisme est une interface utilisateur naturelle. Il s’agit d’un terme de conception et d’interface utilisateur pour refléter le monde réel qui nous entoure et tirer parti de notre interaction humaine naturelle avec les objets physiques. Pensez au moment où vous interagissez avec un Kindle Reader™, ici vous glissez de droite à gauche comme vous le feriez en tournant la page d’un livre. Mais le design skeuomorphique peut également se trouver dans l’apparence des objets. Par exemple, l’utilisation d’un logo de corbeille où sont envoyés les fichiers jetés – même la suppression de fichiers par la méthode du « glisser-déposer » est considérée comme skeuomorphe.
Habituellement, le point de référence pour une interface utilisateur skeuomorphe parfaite est que si un utilisateur peut utiliser ce qui se trouve devant lui sans connaissance préalable de ce avec quoi il interagit, ni avec aucun onboarding, alors cette conception est une interface utilisateur skeuomorphe réussie.
Cette conception conviviale vise à abaisser les barrières d’entrée des innovations et des systèmes novateurs. Et le suivi de la main pour la VR/AR est considéré comme une pratique skeuomorphique. Cela signifie que la VR dans les entreprises doit être sans effort et intuitive, tout en étant cachée et en dépassant celle des alternatives. Les meilleures conceptions passent inaperçues.
En un sens, il s’agit de faire le lien entre notre monde numérique et nos capacités évolutives préhistoriques. Nous utilisons nos mains depuis que nous sommes devenus des animaux bipèdes, et nos outils n’ont cessé de progresser depuis. Ainsi, pour que la VR soit suffisamment naturelle pour être utilisée sans effort par les entreprises, un suivi sophistiqué de la main n’est pas seulement nécessaire : il est essentiel.
De même, il est utile de souligner un autre terme de « mental models« . Tout le monde veut être disruptif et innovant. Mais nous interagissons avec les produits en fonction d’attentes préexistantes sur la façon dont quelque chose devrait interagir. Par exemple, nous serions ennuyés si un site Web ne défilait que de droite à gauche, plutôt que de haut en bas.
Comme l’écrit Scott Benson, expert en design, « les utilisateurs transfèrent les attentes qu’ils ont construites autour d’un produit familier à un autre qui semble similaire. » Une blague courante est qu’un bambin élevé avec des écrans de smartphones et de tablettes à balayage essaiera de balayer sur la télévision. C’est leur modèle mental à l’œuvre.
Le problème est que la VR/AR est encore si nouvelle que la plupart des gens, en dehors des développeurs et des experts, n’ont pas de modèles mentaux pour interagir avec la VR/AR. Il est donc primordial, pour son succès, de l’ancrer dans le suivi de la main, à l’écart de la manette et des interactions naturelles.
Actuellement, les casques grand public des Quests disposent d’un suivi natif de la main, mais ils n’en sont qu’à leurs débuts et sont très rudimentaires. Facebook a même jugé qu’il s’agissait d’une fonctionnalité occasionnelle plutôt que d’une fonctionnalité essentielle à l’entreprise. En dehors de cela, il faut s’aventurer en dehors des grands fabricants VR et dans des offres VR/AR de niche, comme ManoMotion (Pimax) et Ultraleap Gemini (casques Varjo), tandis que d’autres casques à venir l’intègrent.
À cet égard, il convient de souligner la technologie de suivi de la main Ultraleap Gemini de Varjo, mise en œuvre dans les HMD Varjo XR-3 MR. Ces casques de réalité mixte de qualité supérieure permettent d’optimiser les flux de travail de conception et de réduire les coûts.
Ultraleap Gemini est la cinquième itération du logiciel de suivi de la main de Varjo et constitue la norme du secteur en matière de suivi discriminatif de la main par caméra.
Il existe deux formes de suivi des mains : le suivi authentique des mains et la reconnaissance des gestes. Aujourd’hui, le suivi de la main est généralement une reconnaissance des gestes qui s’appuie sur deux systèmes différents : l’approche discriminative et l’approche générative.
La méthode discriminative prend des images fixes du suivi des mains pour les faire correspondre avec une base de données d’images fixes de mains et détermine quel est le geste de la main. Cette base de données peut généralement être étendue et affinée par l’apprentissage automatique et des algorithmes itératifs. L’approche générative est similaire, si ce n’est qu’une main virtuelle en 3D est créée sur la base des mouvements de votre main et correspond ensuite à un modèle de main 3D de base dans le système. La première est plus avancée, et la seconde est plus rapide.
De même, le suivi des mains peut être effectué de deux manières distinctes : le suivi des mains basé sur un dispositif et le suivi des mains basé sur une caméra. Dans ce dernier cas, une caméra sur le HMD suit les mouvements de votre main, tandis que le suivi par dispositif nécessite une forme de vêtement, comme un gant ou des bouts de doigts.
La méthode de suivi par caméra élimine entièrement les barrières d’entrée, mais il est plus difficile de suivre les mains. Quant à la méthode basée sur un dispositif, elle exige que l’utilisateur porte constamment des gants ou des bouts de doigts, ce qui rend impossible une utilisation quotidienne. Mais ces dispositifs permettent un suivi d’une bien plus grande fidélité.
Dans un cas comme dans l’autre, le suivi des mains est plus important que ce que l’on croit, surtout dans les cas d’utilisation entreprenants.
