Comment réaliser des expériences de réalité mixte comme un magicien

Lorsqu’un magicien monte sur scène ou s’approche d’un spectateur pour l’inviter à son spectacle, l’impatience du public est palpable. Le public est intrigué par la magie non pas parce qu’il s’agit d’un spectacle de tours, mais en raison de sa capacité à susciter l’émerveillement et l’admiration face à des impossibilités qui se déroulent dans leur réalité physique.

La réalité mixte brouille les frontières entre les réalités numériques et physiques, offrant ainsi un terrain de jeu plus propice à la magie. Elle permet également d’introduire la magie dans l’environnement personnel du public. Dans mes conférences, je partage souvent ma formule pour créer des moments magiques. La magie est la somme d’une connaissance approfondie du public, d’une narration solide et d’une technologie appropriée. Et cette technologie doit être aussi invisible que le tour de passe-passe du magicien. Les créateurs peuvent créer des moments magiques en utilisant la réalité mixte en investissant dans la construction d’un monde solide, dans la connaissance du public et de ses réalités physiques, et en exploitant la puissance des fonctions technologiques les plus pertinentes.

Les émotions donnent à la magie une dimension réelle

Les émotions aident les magiciens à contrôler l’attention du public. Elles donnent également à la magie une dimension réelle.

Si les illusions sont des tours, la magie est aussi réelle que les émotions ressenties par le public. C’est l’expérience vécue par le public après avoir assisté à des moments magiques qui rend la magie réelle. Lorsqu’il s’agit de réalité mixte, les moments magiques peuvent prendre de nombreuses formes. Comme l’a dit David Copperfield, « ce qui compte, ce n’est pas l’illusion, c’est l’illusion et la raison pour laquelle elle se produit ». La narration permet aux gens de s’intéresser à ce qui se passe.

Curtis Hickman est cofondateur et directeur de la communication de The VOID et auteur de Hyper-Reality : The Art of Designing Impossible Experiences. Pour lui, les moments magiques de la réalité mixte se produisent le plus souvent lorsque « les mondes numérique et physique convergent de manière transparente, créant une expérience qui semble impossible ». C’est cet instant fugace où les utilisateurs oublient qu’ils interagissent avec la technologie et sont complètement immergés dans l’expérience mixte, ressentant une véritable surprise, de l’émerveillement et de l’admiration. La magie est un sentiment que nous devrions aspirer à créer pour le public.

Magicien en MR : Les émotions

Greg Madison est un ancien magicien analogique, qui fabrique aujourd’hui des illusions numériques en tant que concepteur d’interactions dans le domaine de l’informatique spatiale depuis des décennies. Il explique que la réalité mixte offre encore plus de possibilités en matière d’émotions. « La réalité mixte positionne l’individu à la fois comme spectateur et comme magicien, l’embarquant dans un voyage personnel pour découvrir ses propres superpouvoirs et dévoiler où réside la magie. La façon dont il veut que le public se sente dans une expérience est une décision qu’il prend au début d’un projet. « Je commence par imaginer l’illusion que je veux créer, en tenant compte du contexte, de la narration et des émotions que je souhaite susciter chez le public.

Nicole Lazzaro, présidente et fondatrice de XEOPlay, est fascinée par la magie depuis son enfance. Son premier projet professionnel a été la production et la conception d’un CD-I qui enseignait la magie, et elle connaît la valeur de la compréhension profonde du public, ayant été l’une des premières personnes à mesurer les émotions sur les visages des gens pendant qu’ils jouaient. Mme Lazzaro se penche actuellement sur les émotions que la magie peut susciter dans le jeu d’aventure mystérieux XR intitulé Follow the White Rabbit (Suivez le lapin blanc), qui sortira bientôt.

« Notre objectif est de susciter l’émerveillement, de créer les émotions de la magie… et non de recréer des tours de magie… Vous ne ressentirez pas la magie si un public reçoit simplement un chapeau magique », explique-t-elle, peu importe ce qu’il en sort. C’est parce que le joueur sait qu’il s’agit d’un chapeau virtuel. Par conséquent, pour créer un sentiment de magie, ces émotions doivent provenir « de ce que les joueurs font réellement dans le monde… L’émerveillement est en fait la récompense de l’apprentissage ».

Différentes échelles peuvent véhiculer différents types d’émerveillement

Stephen Macknik, professeur et associé de NeuroExperts et coauteur de Sleights of Mind, explique que « différentes échelles de magie… transmettent différents types d’émerveillement ». Par exemple, en magie rapprochée, « vous êtes sur place. Vous pouvez saisir les objets dans votre main. Vous êtes dans votre espace personnel. Il semble impossible que [les magiciens] utilisent des technologies ».

La magie rapprochée se déroule souvent sur une table partagée par le magicien et le public, ou à une distance similaire. En outre, la magie de salon se déroule souvent dans une petite pièce dont la taille peut être similaire à celle d’un salon moyen. Enfin, la magie de scène est souvent associée à des illusions plus grandioses. En réalité, les sentiments que les magiciens peuvent inspirer changent en fonction de la proximité du spectacle et de votre niveau d’interactivité avec celui-ci. Cela a même un impact sur le rôle que vous pouvez jouer dans l’histoire qui prend vie. Lorsqu’il s’agit de réalité mixte, les émotions possibles vont du close-up et de la magie de salon aux grandes illusions, car la réalité mixte peut tout montrer, des portails vers d’autres espaces ou des transports complets vers un environnement immersif où l’échelle peut varier de manière plus spectaculaire.

Utiliser les objets courants

Susana Martinez-Conde, professeur, partenaire de NeuroExperts et co-auteur de Sleights of Mind, explique que les illusions magiques peuvent ressembler à des expériences fortes lorsque les magiciens utilisent des objets de tous les jours. Ces objets sont souvent présents dans la magie de proximité ou la magie de salon. Les magiciens font circuler ces objets de tous les jours pour que le public les examine et interagisse physiquement avec eux, afin qu’ils identifient qu’ils « sont réels et… n’ont pas été manipulés ». Le défi qu’elle lance aux créateurs consiste à trouver des moyens de conserver ce sentiment d’émerveillement lorsque le public est invité à manipuler la réalité artificielle. Pour relever ce défi, on pourrait commencer par laisser les gens inspecter des objets du monde réel, qui pourraient conserver leurs propriétés physiques mais créer de nouvelles réactions aux réalités numériques dans le cadre d’une expérience.

Créer de nouvelles règles à enfreindre

La magie défie souvent ce qui est perçu comme impossible dans la réalité du public, avec des effets qui sont rendus vivants par le magicien. La réalité mixte donne aux créateurs la possibilité de défier les impossibilités perçues dans l’environnement réel du public ainsi que dans les réalités numériques totalement immersives d’une expérience.

« Alors que la magie traditionnelle a toujours été liée aux contraintes physiques d’une scène et à la présence d’un magicien, explique M. Hickman, la réalité mixte transcende ces limites. Elle invite les utilisateurs à entrer dans un monde où la magie n’est pas seulement une chose à laquelle ils assistent, mais quelque chose qu’ils expérimentent activement dans leur propre environnement familier. Ce passage profond de l’observation passive à la participation active contribue à réimaginer la relation entre le public et les expériences magiques. Il favorise une connexion profondément personnelle et immersive, faisant en sorte que la magie soit moins perçue comme un spectacle éphémère et plus comme une partie intégrante de la réalité de chacun ».

M. Lazzaro explique que pour que les moments magiques paraissent réels, les magiciens doivent encadrer la situation en montrant comment le monde fonctionne, puis en le renforçant. Un exemple classique est celui d’un magicien qui montre qu’une boîte est creuse ou qu’il tient un vrai fruit. Cela permet de montrer comment les choses devraient fonctionner en fonction de ce dont le public est témoin. J’ai donné des exemples de ce type pour la VR, que Hickman appelle « arguments mentaux ». Des émotions telles que l’émerveillement peuvent survenir lorsque ce cadre est brisé et que quelque chose d’apparemment impossible se produit.

Intégration d’objets dans l’illusion

La réalité mixte apporte des espaces et des objets réels dont les règles d’existence peuvent être brisées. Même les contrôleurs peuvent être intégrés dans l’illusion. Madison explique qu’une partie de son processus consiste à « identifier des accessoires pour rendre l’illusion numérique tangible ». L’accessoire agit comme un contrôleur déguisé, mais inconsciemment, c’est comme remettre un jeu de cartes au début d’un tour de magie, ancrant l’illusion dans la réalité. Par exemple, si les participants doivent contrôler des entités volantes, jeter des sorts ou invoquer des divinités élémentaires, je fabriquerai un bâton de magicien fusionnant des éléments virtuels et réels, au lieu d’utiliser la manette standard comme manette ».

Connaître son public, y compris sa réalité physique

Comme je l’ai mentionné dans l’introduction de cet article, une connaissance approfondie du public fait partie de ma formule pour créer des moments magiques. En ce qui concerne la réalité mixte, cela signifie qu’il faut aller bien au-delà de la compréhension des aspirations, des connaissances et même des capacités physiques de votre public. Vous devez comprendre les réalités physiques de leur environnement, qu’il s’agisse de l’empreinte typique dans laquelle ils se déplacent ou des objets physiques typiques qu’ils peuvent avoir avec eux.

Selon M. Hickman, « les créateurs doivent commencer par comprendre l’environnement physique et le point de vue de l’utilisateur dans cet espace. Pensez à la façon dont les éléments numériques peuvent interagir avec le monde réel de manière inattendue. » Une illusion de réalité mixte « vise à étendre la réalité avec des éléments numériques », explique Madison. C’est au créateur qu’il revient de déterminer quelle réalité est étendue.

Le contenu peut créer des liens entre les réalités physiques et numériques avec des causes et des effets. Martinez-Conde explique que « nous relions la cause et l’effet alors que nous ne devrions pas le faire… comme si nous utilisions une baguette magique et qu’un effet se produisait alors qu’en réalité ces deux choses n’ont rien à voir l’une avec l’autre ». Madison crée souvent ce lien en utilisant des objets physiques pour « diriger l’attention et créer un pont sensoriel, contribuant à l’établissement d’une suspension de l’incrédulité….e « moment magique » se produit lorsque le cerveau commence à douter de ce qui est physiquement présent et de ce qui est virtuel, ébranlant ainsi nos certitudes sur la réalité elle-même ».

Expériences MR comme un magicien : Les surfaces

N’ayez pas peur des surfaces réfléchissantes. Partez du principe qu’elles sont présentes chez la plupart des spectateurs et qu’en les évitant, vous risquez de passer à côté d’un détail qui pourrait faire ou défaire une illusion. L’idée de Martinez-Conde d’utiliser un miroir pour changer la façon dont nous nous voyons dans la réalité est un exemple de la manière dont on peut s’y prendre pour les utiliser. En réalité, les miroirs inversent notre image. Nous pouvons utiliser la réalité mixte pour prendre cette image et la retourner de sorte qu’un membre du public se voit comme les autres le voient. Et, « pour les surfaces physiques réfléchissantes telles que les sols brillants, les tables en verre, les fenêtres », Madison suggère de créer « des reflets en utilisant une géométrie dupliquée en miroir avec une certaine transparence, et d’utiliser un niveau de détail inférieur si nécessaire ».

Madison suggère également d’utiliser des photos ou des vidéos à 360 degrés de l’espace physique comme sondes de réflexion pour renforcer l’illusion. Hickman est très enthousiaste quant aux possibilités offertes par la cartographie haute fidélité de l’environnement en temps réel. 

« Plus la précision sera grande, meilleure sera la base des grandes illusions », explique-t-il.

Au-delà de l’intégration d’éléments physiques de l’environnement, il ne faut pas sous-estimer le pouvoir de l’intégration d’un spectateur, en particulier de ses mains, dans l’illusion numérique. Mme Lazzaro explique qu’il est possible de faire naître de nombreuses émotions en interagissant avec un objet réel ou numérique, en le tenant ou même en utilisant ses mains pour jeter des sorts. « C’est très personnel », explique-t-elle, et la sensation doit être fluide.

L’art du magicien se nourrit de subtilité

« L’art de la magie se nourrit de subtilité », explique Hickman. « Ses effets les plus profonds sont souvent ressentis lorsqu’elle opère dans l’ombre, sans être remarquée, mais en ayant un impact profond. 

En plus de s’assurer que certains éléments comme l’éclairage et les ombres renforcent la réalité, Madison évalue la force de ses moments magiques en recherchant des indices subtils : « Étonnamment, il m’arrive de fermer les yeux pour repérer ce qui ne va pas, car je comprends qu’une illusion parfaite ne se limite pas à l’aspect visuel : elle doit peser, sentir, se comporter et sonner juste.

Il est essentiel de faire de longues pauses, car en y repensant avec un regard neuf, on découvre souvent de nouveaux éléments subtils qui brisent ou renforcent les illusions. À titre d’exemple, il a un jour prototypé un jeu de roll-a-ball en réalité mixte dans lequel les joueurs pouvaient incliner un cadre physique réel pour guider une sphère virtuelle. J’ai attaché un contrôleur pour suivre le cadre, et ce qui a convaincu mon cerveau de la « réalité » et de la « présence » de la bille, c’est le retour tactile des moteurs de vibration transmis à mes mains via l’objet lorsque la bille virtuelle roulait et heurtait les limites. Cette illusion spécifique peut être expérimentée dans Eleven VR Table Tennis ou Walkabout Mini Golf. »

La réalité mixte permet et exige des effets riches

La fusion transparente des réalités physique et numérique dans le cadre d’une expérience de réalité mixte renforce le besoin de graphismes apparemment réels et d’un son spatial. La bonne nouvelle, c’est que la réalité semble déjà réelle et ne nécessite pas de puissance de calcul.

« Dans la réalité mixte, l’alignement et l’interaction entre les éléments réels et numériques sont cruciaux, et toute erreur d’alignement peut gâcher l’expérience. La fidélité graphique et la cohérence avec l’environnement physique sont essentielles – encore plus que dans la VR » explique Hickman. « Pour nous, cela brise l’illusion car cela sépare clairement le virtuel du réel », déclare Lazzaro. En outre, son équipe se concentre sur les casques dotés d’un filtre de couleur qui permet de fusionner les mondes. La réalité peut même être filtrée pour se fondre dans l’apparence du monde numérique. 

La magie n’a pas besoin de se dérouler tout autour d’un environnement pour sembler réelle. Dans la réalité mixte, Madison explique que c’est le contenu numérique qui occupe le devant de la scène. Cela permet « d’utiliser la puissance de calcul redirigée pour améliorer les effets coûteux mentionnés plus haut et renforcer l’illusion ».

Réaliser des expériences MR comme un magicien

Réfléchissez également à l’endroit et au moment où la magie de votre contenu de réalité mixte prend vie, car il faut du temps pour que les yeux s’adaptent aux différentes distances. Macknik explique que « lorsque vous regardez quelque chose de près, vos yeux convergent, ils tournent l’un vers l’autre. De loin, mes yeux ne se croisent pas autant….vos yeux changent automatiquement leur niveau d’accommodation ». 

Si votre illusion risque d’être gâchée par des limites techniques telles qu’un suivi imparfait ou le conflit vergence-accommodation, vous devriez intégrer des moyens de masquer la limitation par un effet dans le contenu lui-même.

Les contenus sur les mêmes sujets :
réalité mixte

• Comment l’intelligence artificielle peut révolutionner les technologies AR, VR et MR
• Les designers explorent des moyens afin d’initier les utilisateurs à la réalité mixte
• 5 startups VR/AR avec traction de produit
• Conception de voitures Kia à réalité mixte par Varjo et Autodesk !
• Avatar Dimension met un studio de capture de réalité mixte à la portée des clients
• Guide du tutoriel LIV VR : Enregistrement vidéo en réalité mixte sur Oculus Quest
• Comment la 5G pourrait rendre la réalité augmentée et la réalité mixte plus réelles ?
• BMW va adopter un pare-brise en réalité mixte !
• Qu’est-ce que la réalité mixte et comment fonctionnent les casques XR ?
• C’est quoi la réalité mixte (MR) ?
• Comment la réalité mixte peut aider votre petite entreprise ?