C’est quoi la XR (réalité étendue) ? [Expliquée par les 6 sens]

La réalité étendue (XR) est le terme général pour les environnements qui combinent le réel et le virtuel. Cela comprend la réalité virtuelle (RV), la réalité augmentée (RA) et la réalité mixte/fusionnée (RM).

Ces technologies ont progressé à un rythme exponentiel, ouvrant la voie à une gamme infinie d’expériences interactives et immersives. La XR peut vous entraîner dans des directions multidimensionnelles avec des possibilités infinies de créer des expériences uniques et innovantes. Pour illustrer ce point, nous allons explorer ces technologies en relation avec nos cinq sens de base qui sont la vue, l’ouïe, le toucher, l’odorat, le goût et le potentiel d’un « sixième sens ».

« Un esprit qui est étiré par une nouvelle expérience ne peut jamais revenir à ses anciennes dimensions », Oliver Holmes, Jr.

1. La vue

C’est probablement le premier sens qui vient à l’esprit lorsqu’on pense à une expérience sensorielle dans le domaine des rayons X. La technologie de la RA (réalité augmentée) se concentre principalement sur ce qui peut être vu, car sa principale fonction est de superposer des informations générées par ordinateur sur le monde réel. Pokémon GO est un exemple populaire de cette technologie, qui améliore l’expérience de la réalité en la combinant avec un monde de Pokémon.

La RV (réalité virtuelle), en revanche, permet une expérience immersive complète dans les mondes numériques. Les décors fictifs, comme on en voit dans de nombreux jeux vidéo, sont des exemples de RV populaires, créées par modélisation, animation et programmation 3D. Grâce à la même technologie, on peut faire l’expérience d’un lieu qui imite le monde réel, comme la Vice City de GTA, qui est basée dans la vraie ville de Miami. Avec des caméras à 360°, on peut même se plonger dans des représentations relativement précises du monde réel. Les visites virtuelles à 360° sont très populaires dans le secteur de l’immobilier. Les expériences de RV peuvent vous emmener dans de nombreux endroits, en portant seulement un casque. Il existe plusieurs options de casques de RV proposées par des sociétés comme Facebook (Oculus), Sony (PlayStation) et Google (Daydream). Les casques peuvent utiliser le suivi de rotation ou de position. La rotation limite l’utilisateur à un point de vue et un emplacement, comme dans une vidéo à 360°, tandis que la position permet à l’utilisateur de se déplacer plus librement dans une simulation, créant une expérience immersive encore plus profonde.

La RM (réalité mixte) combine la technologie AR et RV pour permettre des expériences visuelles qui fusionnent la génération informatique avec un environnement réel. Vous pouvez vivre une simulation numérique, comme vous le feriez dans une application de RV, mais en la plaçant dans votre environnement réel, comme dans une application de RA. La technologie de cartographie spatiale peut être utilisée pour générer une carte 3D du contexte réel à utiliser en conjonction avec une application numérique. Les expériences de RM sont obtenues grâce à des casques de RM tels que le Magic Leap 1 et l’HoloLens 2 de Microsoft. Vous trouverez ci-dessous des exemples de différentes applications de RM que Magic Leap a créées pour la compagnie pétrolière et gazière BP.

2. L’audition

L’audition est la perception auditive du son. L’audio immersif est une version 3D plus avancée de l’audio. De la même manière qu’une caméra vidéo à 360° peut capturer une expérience de toutes les directions, l’audio à 360° fournit des sons non linéaires qui imitent la façon dont nous entendons les choses dans la vie réelle. Il correspondra à l’endroit d’où provient le son et proviendra de cette direction. Si vous êtes dans une simulation RV et qu’un groupe joue sur la droite, vous entendrez la musique venant de cette direction, et à mesure que vous vous rapprocherez du groupe, le volume augmentera comme dans la réalité. Cela permet une perception sensorielle plus précise et plus immersive dans les applications XR grâce à l’utilisation du son.

La combinaison de sensations audiovisuelles pourrait être la plus populaire. Ces expériences sont observées en AR, VR et MR. Les vidéos en sont un exemple. Alors que nous échangeons des vidéos entre nous depuis un certain temps déjà, la technologie 360° nous a permis de partager des souvenirs encore plus immersifs. La vidéo ci-dessous est un exemple d’une expérience de RV audio-visuelle du festival de musique Tomorrowland.

3. Le toucher

Le toucher est la sensation que l’on ressent lorsqu’on entre en contact avec un objet. Bien que vous ne soyez pas réellement en contact avec des objets réels lors d’une expérience XR, des dispositifs portables, tels que des gants et des combinaisons, sont utilisés pour simuler la perception du toucher dans des environnements virtuels. Cette simulation est réalisée à l’aide de la technologie haptique et d’un retour d’information par le biais de forces, de vibrations et de mouvements. Vous avez peut-être déjà fait l’expérience de l’haptique tactile de base en utilisant une manette au volant dans un jeu de course. Le volant utilise les vibrations et la résistance pour essayer d’imiter l’expérience du monde réel de la conduite d’une voiture.

La technologie du port peut vous permettre de comprendre les textures dans les environnements numériques. Le retour de force peut être utilisé pour comprendre la taille et le poids d’un objet. Les mécanismes et la technologie spécifiques utilisés pour imiter le toucher varient selon les fabricants. Par exemple, le gant HaptX utilise sa propre technologie microfluidique brevetée qui combine le retour tactile, le retour de force et le suivi de mouvement. La combinaison de Tesla, Teslasuit, utilise une rétroaction haptique complexe ainsi que des caractéristiques telles que la stimulation musculaire électrique (EMS), le système de contrôle climatique, la capture de mouvement et la biométrie pour permettre des sensations immersives uniques. La biométrie est intéressante car elle utilise des données en temps réel pour relayer des informations telles que le rythme cardiaque. Cela permet d’intégrer les niveaux émotionnels et de stress dans une expérience. Les appareils portables ont de multiples applications, de la création d’expériences à l’analyse des performances. Ils peuvent être utilisés dans l’amélioration du sport, la formation de la main-d’œuvre et les simulations de sécurité publique.

4. L’odorat

L’odorat est la perception des odeurs. La simulation des odeurs est relativement nouvelle dans l’espace XR. Il existe une poignée d’entreprises qui utilisent cette technologie, et FeelReal est l’une d’entre elles. Actuellement en précommande, leur masque multi-sensoriel est un dispositif qui pourra s’accrocher à plusieurs casques populaires. Il intègre certaines sensations tactiles par vibration, brouillard d’eau et micro chauffage/refroidissement, mais vise uniquement à permettre la sensation de l’odeur. Il utilise des cartouches de parfum interchangeables brevetées qui imitent des centaines d’odeurs. Il prétend créer une gamme d’odeurs allant des parfums naturels comme le café, des parfums relaxants comme la lavande, aux parfums réalistes comme le caoutchouc brûlé.

https://youtu.be/0rLw2nFmGnc

5. Le goût

Le goût est l’un des sens les plus difficiles à recréer car il est issu d’une réaction chimique sur la langue. Les scientifiques et les entrepreneurs s’efforcent d’imiter ce sens dans l’espace XR. Alors qu’il est encore en phase d’expérimentation, l’électrothérapie peut être utilisée pour y parvenir. Il est possible de placer des électrodes sur la langue afin d’émuler la perception du goût. Les scientifiques peuvent manipuler le chauffage et le refroidissement pour y parvenir, ou même la stimulation électrique des muscles pour créer la perception de la dureté ou de la mastication.

Cependant, le goût est un sens intéressant. Il est fortement influencé par de nombreux autres sens. Robin Dando, professeur de sciences alimentaires à Cornell, décrit comment « lorsque nous mangeons, nous ne percevons pas seulement le goût et l’arôme des aliments, mais nous recevons des informations sensorielles de notre environnement : nos yeux, nos oreilles, et même nos souvenirs ». Les concepteurs peuvent faire preuve de créativité et intégrer de manière unique les expériences de dégustation dans les XR, sans avoir besoin de les recréer. Le projet Nourished a joué avec cette idée, en utilisant l’odeur pour aider à faire allusion aux souvenirs du goût. Ils créent des « aliments » imprimés en 3D à partir d’algues qui ont des diffuseurs aromatiques pour libérer les parfums souhaités. La James Beard Foundation a abordé la question différemment avec le lancement récent d’Aerobanquets RMX, une expérience XR qui utilise l’art pour améliorer et redéfinir les repas. Au lieu d’imiter le goût par l’odorat, l’artiste Mattia Casalegno a posé des questions comme « comment donner de la couleur à une saveur » et « quelle est la forme du goût » pour créer des expériences visuelles permettant d’améliorer la saveur des aliments.

6. Bonus : « Sixième sens »

Un sixième sens est une intuition qui donne la conscience, généralement non obtenue dans la perception normale. L’apprentissage machine et l’intelligence artificielle (IA) peuvent jouer un rôle dans les expériences de rayons X, agissant comme un sens consultatif. Prenez le domaine médical par exemple, où la RA est utilisée par les professionnels. Pendant la pratique, les médecins peuvent visualiser les données informatiques, comme celles provenant des IRM et des scanners, pour analyser les patients sans avoir à aller sous la peau. Lorsque ces appareils seront dotés de capacités d’IA, étayées par de grandes quantités de données, les médecins seront aidés à prendre instantanément des décisions vitales, telles que la fourniture du bon médicament ou l’exécution de la bonne procédure.

L’approche de la boîte à crayons

Considérez toutes ces technologies comme des crayons dans une boîte. Si toutes les couleurs peuvent être utilisées en même temps pour créer une image, seules quelques-unes peuvent être nécessaires en fonction de la vision. La technologie XR est utilisée dans un large éventail de domaines, des organisations à but non lucratif au secteur médical. C’est un monde passionnant à suivre, avec de nouvelles solutions, technologies et applications croisées qui ne cessent de prendre vie. Les prises d’expériences multisensorielles permettent également une meilleure conception en matière d’accessibilité et d’inclusion. Par exemple, la technologie audio à 360° et la technologie haptique portable peuvent être utilisées afin de concevoir des expériences immersives pour les aveugles et les malvoyants.

Vous connaissez peut-être le dicton « une image vaut mille mots » ou « une vidéo vaut un million ». Alors, quelle est la valeur d’une expérience XR ? Quelle est la quantité d’expérience et de connaissances que nous pouvons partager grâce à ces outils ? En augmentant notre base d’expérience partagée, nous approfondirons notre base de connaissances et continuerons à propulser l’innovation. Si les connaissances sont limitées, l’imagination est infinie. La combinaison créative de la technologie des rayons X avec notre imagination ne fera que continuer à ouvrir de nouvelles portes.

Les contenus sur les mêmes sujets :
questions et réponses, réalité étendue XR

Partagez ce moment !