Les chercheurs de Facebook étudient des lunettes antirétrovirales dotées de la technologie « hear-through », alimentée par des écouteurs intra-auriculaires spécialisés pour une « audition améliorée ».
Cette technologie « serait capable de reconnaître différents types d’événements se produisant autour de vous : les gens qui ont des conversations, le bruit de l’air conditionné, la vaisselle, etc. Grâce à l’IA contextualisée, vos lunettes antibruit seraient capables de prendre des décisions intelligentes, comme par exemple supprimer le bruit de fond qui vous distrait et vous ne seriez pas plus conscient de l’assistance que d’une prescription améliorant votre vision », selon Facebook.
Le travail sur la formation de faisceau, l’annulation adaptative du bruit et l’apprentissage machine est décrit comme « un domaine que nous commençons à peine à explorer » dans le but de permettre des « super-pouvoirs perceptifs » comme « l’amélioration de l’audition ». L’une des voies possibles consisterait à utiliser le « schéma des mouvements de votre tête et de vos yeux » pour « améliorer automatiquement les sons que vous souhaitez entendre et atténuer les bruits de fond indésirables ».
Hear-through : Questions sur l’utilisation sûre
Michael Abrash, responsable scientifique de Facebook Reality Labs Research, a répondu aux questions des journalistes lors d’un briefing téléphonique sur la façon dont l’utilisation de cette technologie pourrait affecter les normes sociales. Une conversation personnelle à la table d’un restaurant pourrait-elle être entendue par un client proche de la RA ? Les clients voisins pourraient-ils savoir que leur conversation a été entendue par quelqu’un d’autre ? Et cette conversation aurait-elle moins de chances d’avoir lieu si les gens savaient que l’audition par un médiateur est plus courante qu’elle ne l’est au moment où nous écrivons ces lignes ?
Abrash et Ravish Mehra, responsables de l’équipe audio au FRL Research, ont donné quelques exemples de stratégies d’atténuation potentielles qui pourraient être employées pour limiter la portée de cette fonctionnalité à l’avenir. Mehra a expliqué dans une déclaration préparée qu’ils ont l’intention « de mettre en place des garde-fous autour de notre innovation pour la faire de manière responsable, nous réfléchissons donc déjà aux mesures de protection potentielles que nous pouvons mettre en place… par exemple, avant que je puisse améliorer la voix de quelqu’un, il pourrait y avoir un protocole en place que mes lunettes peuvent suivre pour demander la permission aux lunettes de quelqu’un d’autre ».
Un autre axe de recherche de Facebook pourrait explorer l’utilisation de la personnalisation de l’audio avec une fonction de transfert lié à la tête (HRTF) qui tient compte de la forme individuelle de vos oreilles, en utilisant potentiellement un « algorithme qui peut se rapprocher d’une HRTF personnalisée exploitable à partir de quelque chose d’aussi simple qu’une photographie de leurs oreilles ». Un représentant de Facebook a ajouté que « l’équipe de recherche audio envisage plusieurs nouvelles approches pour mettre à l’échelle la capture des HRTF uniques des personnes ».
Un billet de blog sur Facebook explique : « Un autre problème dont l’équipe est très consciente est la saisie de données auditives sensibles, tant dans la phase de recherche qu’au-delà. Aujourd’hui, avant que les données que nous recueillons ne soient mises à la disposition des chercheurs, elles sont cryptées et l’identité du participant à la recherche est séparée des données de telle sorte qu’elle est inconnue des chercheurs qui utilisent les données. Une fois recueillies, elles sont stockées sur des serveurs internes sécurisés qui ne sont accessibles qu’à un petit nombre de chercheurs ayant l’autorisation expresse de les utiliser. L’équipe procède également à des examens réguliers avec des experts de la protection de la vie privée, de la sécurité et des technologies de l’information pour s’assurer qu’ils respectent le protocole et mettent en place les mesures de protection appropriées… »
AR vs VR et intra-auriculaires vs oreilles ouvertes
Mehra a expliqué dans l’appel que différentes modifications basées sur l’audio pourraient être réalisées dans les futurs systèmes de diffusion du son basés sur l’AR ou la RV, selon qu’ils soient équipés d’écouteurs intra-auriculaires ou ouverts.
Une conception audio à oreille ouverte comme le Valve Index ou l’Oculus Quest, par exemple, ne fonctionnerait pas nécessairement bien pour l’annulation des sons du monde physique, ont expliqué les chercheurs.
Les écouteurs intra-auriculaires comme l’AirPods Pro d’Apple pourraient s’avérer plus adaptés à certains cas d’utilisation. Ils sont déjà dotés d’une « annulation active des bruits » et d’un « mode transparence » permettant de passer d’un mode à l’autre « en fonction de la part de votre environnement que vous souhaitez entendre ». Un autre modèle d’oreillette, le Pixel Buds 2 de Google, propose une fonction expérimentale appelée « alerte d’attention » qui réduirait le volume lorsqu’elle détecte les pleurs d’un bébé, les aboiements d’un chien ou la sirène d’un véhicule d’urgence.
Les chercheurs de Facebook, quant à eux, utilisent des « prototypes d’écouteurs intra-auriculaires » ou « IEM » qui, selon eux, « peuvent offrir toute l’expérience des super-pouvoirs auditifs ». Cela nous permet d’améliorer les bons sons pour vous et de diminuer les autres, en nous assurant que ce que vous voulez vraiment entendre est clair même dans un bruit de fond fort ».
« Nos IEM offrent également une transparence perceptive au niveau de l’audition », a expliqué Scott Selfon, responsable des expériences audios, dans une déclaration préparée à l’avance, « en donnant l’impression que je n’ai rien dans les oreilles et en me permettant d’entendre en toute sécurité le monde qui m’entoure ».
Lorsqu’on lui a demandé si cette même recherche pouvait être appliquée pour abaisser dynamiquement le son d’un casque VR afin de mieux entendre quelqu’un qui vous parle dans la même pièce physique, Abrash a répondu qu’il n’y avait pas pensé auparavant, mais que c’était une « idée géniale ».
Objectifs futurs
Facebook vise à fabriquer des « lunettes AR stylées » et présente la recherche comme étant « axée sur la transformation de la communication pour tout le monde, partout », tout en citant une recherche de Johns Hopkins suggérant qu’une personne sur cinq souffre de perte auditive et que beaucoup « n’utilisent pas d’appareils auditifs pour diverses raisons, notamment le coût, la stigmatisation sociale, l’inconfort et le manque de fiabilité ».
« Je porte des appareils auditifs depuis que je suis petite fille », a déclaré Amanda Barry, responsable du programme technique, dans une déclaration préparée à l’avance. « La possibilité d’aider les gens à rester en contact avec leur famille en vieillissant et en voyant leur audition s’estomper, c’est vraiment très excitant ».
Facebook fait également des recherches sur ce qu’il appelle LiveMaps (une carte du monde physique mise à jour « avec des éléments partagés et privés ») et des Codecs Avatars (représentations personnalisées hyperréalistes du corps humain) et l’un ou l’autre ou les deux pourraient être utilisés en conjonction avec la recherche audio. Dans l’ensemble, les chercheurs de Facebook semblent vouloir « défier la distance » en offrant une « véritable présence sociale ».
« La seule raison pour laquelle nous avons besoin que le son virtuel soit rendu réel est que je puisse mettre une personne virtuelle devant moi et avoir une interaction sociale avec elle comme si elle était vraiment là », a expliqué Philip Robinson, responsable de la recherche sur Facebook, dans une déclaration préparée à l’avance. « Et à distance ou en personne, si nous pouvons améliorer la communication ne serait-ce qu’un peu, cela permettrait vraiment d’établir des connexions sociales plus profondes et plus percutantes ».
Facebook a récemment lancé une bêta pour son réseau social Horizon et a ajouté une nouvelle exigence selon laquelle tous les futurs casques RV de Facebook doivent être connectés à un compte Facebook. A partir d’octobre, Facebook mettra en place de nouvelles conditions de service qui stipulent que « lorsque les gens soutiennent leurs opinions et leurs actions, notre communauté est plus sûre et plus responsable ». Pour cette raison, vous devez le faire : Utiliser le même nom que celui que vous utilisez dans la vie de tous les jours » lorsque vous utilisez Facebook.
Les contenus sur les mêmes sujets :
Facebook VR
- Facebook veut qu’on voit vos yeux lorsque vous portez un casque VR !
- Facebook investi de plus en plus dans la réalité virtuelle cette année
- Facebook teste la nouvelle application de RV sociale nommée Horizon
- Le nouveau casque VR de Facebook ressemble à une paire de lunettes de soleil
- Facebook vise à dominer le marché de la réalité virtuelle
- L’entrée de Facebook dans la publicité VR ne se passe pas très bien
- Facebook a acquis le studio de réalité virtuelle « Ready at Dawn »
- Comment utiliser ou désactiver Facebook Messenger dans la VR sur Meta Quest/2
- Facebook : la publicité en réalité augmentée arrive !
- Près de 20 % des employés de Facebook utilisent la RV/RA dans le travail