Pour la conférence annuelle sur la vision par ordinateur CVPR, Facebook présente un algorithme qui peut générer un modèle 3D assez détaillé d’une personne habillée à partir d’une seule caméra.
Facebook est l’entreprise à l’origine de la marque de produits de réalité virtuelle Oculus. La société est considérée comme un leader mondial de l’apprentissage machine. L’apprentissage machine (ML) est au cœur de l’Oculus Quest et du Rift S, les deux casques ont un suivi de position « de l’intérieur vers l’extérieur », atteignant une précision inférieure au millimètre sans station de base externe. Sur le Quest, l’apprentissage machine est même utilisé pour suivre les mains de l’utilisateur sans avoir besoin de contrôleurs.
Dans un article intitulé PIFuHD, trois employés de Facebook et un chercheur de l’Université de Californie du Sud proposent un système d’apprentissage automatique permettant de générer une représentation 3D très détaillée d’une personne et de ses vêtements à partir d’une seule image 1K. Aucun capteur de profondeur ou appareil de capture de mouvement n’est nécessaire.
Ce document n’est pas le premier travail sur la génération de représentations 3D d’une personne à partir d’une image. Des algorithmes de ce type ont vu le jour en 2018 grâce aux récents progrès de la vision par ordinateur.
En fait, le système que Facebook présente est nommé PIFuHD en l’honneur du PIFu de l’année dernière, un projet de chercheurs de diverses universités de Californie.
Sur le matériel actuel, les systèmes comme le PIFu ne peuvent traiter que des images d’entrée de résolution relativement faible. Cela limite la précision et le détail du modèle de sortie.
Le PIFuHD adopte une nouvelle approche, en sous-échantillonnant l’image d’entrée et en l’envoyant au PIFu pour la couche de base « parcours » à faible détail, puis un nouveau réseau séparé utilise la pleine résolution pour ajouter des détails de surface fins.
Facebook affirme que le résultat est à la pointe de la technologie. En regardant les comparaisons fournies avec des systèmes similaires, cela semble être vrai.
Facebook a montré pour la première fois son intérêt pour la recréation numérique d’êtres humains en mars 2019, en présentant des « Codecs Avatars ». Ce projet s’est concentré spécifiquement sur la tête et le visage, et notamment la génération d’avatars a nécessité un scan coûteux de la tête de l’utilisateur avec 132 caméras.
En mai 2019, lors de sa conférence annuelle F8, la société a présenté le suivi corporel sans marqueur en temps réel avec une fidélité sans précédent, en utilisant un modèle qui prend en compte les systèmes musculaires et squelettiques humains.
La génération du corps des avatars est une autre étape sur la voie de l’objectif final déclaré, à savoir permettre aux utilisateurs d’exister en tant que leur vrai moi physique dans des environnements virtuels, et de voir leurs amis tels qu’ils sont réellement.
Ne vous excitez pas trop pour l’instant, ce genre de technologie ne sera pas sur votre tête l’année prochaine. Lors de la présentation des avatars de codecs, Facebook a averti que la technologie était encore « à des années lumières » pour les produits de consommation.
Cependant, lorsqu’elle peut être réalisée, une telle technologie a un potentiel énorme. Pour la plupart, la téléprésence se limite encore aujourd’hui à des grilles de webcams sur un moniteur 2D. La capacité de voir des représentations photoréalistes d’autrui à l’échelle réelle, entièrement suivies à partir d’un mouvement réel, pourrait changer fondamentalement le besoin d’interaction en face à face.
Les contenus sur les mêmes sujets :
Facebook Oculus, Oculus
- SXSW dévoile une vitrine de réalité virtuelle en ligne avec Oculus
- Les casques VR haut de gamme
- Casque VR : Meta Quest Pro
- Casque VR autonome : Oculus Quest
- Casque VR : Oculus Rift
- Est-ce que les gants VR imprimés en 3D peuvent être annoncés pour Oculus à Connect ?
- Les casques VR pour PC (micro-ordinateur, laptop)
- Les meilleurs casque VR pas cher
- Tout ce que vous devez savoir sur l’Oculus Rift S
- L’App Lab d’Oculus offre une nouvelle façon d’essayer des applications de RV à accès rapide
- Accessoire VR : Les Contrôleurs Oculus Touch
- Casque VR autonome : Oculus Go
- Les meilleurs casques VR de l’année 2019 – guide d’achat
- HTC vs Oculus : Un guide approfondi sur le choix du casque le mieux adapté à l’usage professionnel et personnel
- Comment Meta prévoit de dominer le métaverse : Acheter tout ce qui est en vue
- Facebook veut que ses utilisateurs aient la possibilité d’utiliser leur corps entier dans la VR !
- Le co-créateur de Mortal Kombat, sera invité à participer au panel Oculus
- Jeu VR : Star Trek : Bridge Crew (Oculus Rift ; PS VR ; HTC Vive)
- Facebook présente l’enregistrement des lunettes intelligentes Ray-Ban dans une nouvelle vidéo
- Oculus Link fonctionne désormais avec presque tous les câbles USB, y compris celui de la boîte