Pour la conférence annuelle sur la vision par ordinateur CVPR, Facebook présente un algorithme qui peut générer un modèle 3D assez détaillé d’une personne habillée à partir d’une seule caméra.
Facebook est l’entreprise à l’origine de la marque de produits de réalité virtuelle Oculus. La société est considérée comme un leader mondial de l’apprentissage machine. L’apprentissage machine (ML) est au cœur de l’Oculus Quest et du Rift S, les deux casques ont un suivi de position « de l’intérieur vers l’extérieur », atteignant une précision inférieure au millimètre sans station de base externe. Sur le Quest, l’apprentissage machine est même utilisé pour suivre les mains de l’utilisateur sans avoir besoin de contrôleurs.
Dans un article intitulé PIFuHD, trois employés de Facebook et un chercheur de l’Université de Californie du Sud proposent un système d’apprentissage automatique permettant de générer une représentation 3D très détaillée d’une personne et de ses vêtements à partir d’une seule image 1K. Aucun capteur de profondeur ou appareil de capture de mouvement n’est nécessaire.
Ce document n’est pas le premier travail sur la génération de représentations 3D d’une personne à partir d’une image. Des algorithmes de ce type ont vu le jour en 2018 grâce aux récents progrès de la vision par ordinateur.
En fait, le système que Facebook présente est nommé PIFuHD en l’honneur du PIFu de l’année dernière, un projet de chercheurs de diverses universités de Californie.
Sur le matériel actuel, les systèmes comme le PIFu ne peuvent traiter que des images d’entrée de résolution relativement faible. Cela limite la précision et le détail du modèle de sortie.
Le PIFuHD adopte une nouvelle approche, en sous-échantillonnant l’image d’entrée et en l’envoyant au PIFu pour la couche de base « parcours » à faible détail, puis un nouveau réseau séparé utilise la pleine résolution pour ajouter des détails de surface fins.
Facebook affirme que le résultat est à la pointe de la technologie. En regardant les comparaisons fournies avec des systèmes similaires, cela semble être vrai.
Facebook a montré pour la première fois son intérêt pour la recréation numérique d’êtres humains en mars 2019, en présentant des « Codecs Avatars ». Ce projet s’est concentré spécifiquement sur la tête et le visage, et notamment la génération d’avatars a nécessité un scan coûteux de la tête de l’utilisateur avec 132 caméras.
En mai 2019, lors de sa conférence annuelle F8, la société a présenté le suivi corporel sans marqueur en temps réel avec une fidélité sans précédent, en utilisant un modèle qui prend en compte les systèmes musculaires et squelettiques humains.
La génération du corps des avatars est une autre étape sur la voie de l’objectif final déclaré, à savoir permettre aux utilisateurs d’exister en tant que leur vrai moi physique dans des environnements virtuels, et de voir leurs amis tels qu’ils sont réellement.
Ne vous excitez pas trop pour l’instant, ce genre de technologie ne sera pas sur votre tête l’année prochaine. Lors de la présentation des avatars de codecs, Facebook a averti que la technologie était encore « à des années lumières » pour les produits de consommation.
Cependant, lorsqu’elle peut être réalisée, une telle technologie a un potentiel énorme. Pour la plupart, la téléprésence se limite encore aujourd’hui à des grilles de webcams sur un moniteur 2D. La capacité de voir des représentations photoréalistes d’autrui à l’échelle réelle, entièrement suivies à partir d’un mouvement réel, pourrait changer fondamentalement le besoin d’interaction en face à face.
Les contenus sur les mêmes sujets :
Facebook Oculus, Oculus
- Casque VR autonome : Oculus Go
- Test Oculus Quest 2 : le nouveau casque VR autonome tout-en-un de Facebook
- Un bon chiffre de ventes des casques VR pour cette année 2019
- Casque VR : Oculus Rift
- Les meilleurs casques VR de l’année 2019 – guide d’achat
- Oculus annonce un tournoi VR pour la charité où il y aura 100 000 dollars à gagner !
- Les meilleurs casque VR pas cher
- Accessoire VR : Les Contrôleurs Oculus Touch
- Casque VR : Meta Quest Pro
- Facebook achète un autre studio de jeu de réalité virtuelle
- Les casques VR pour PC (micro-ordinateur, laptop)
- L’App Lab d’Oculus offre une nouvelle façon d’essayer des applications de RV à accès rapide
- Jeu VR : Star Trek : Bridge Crew (Oculus Rift ; PS VR ; HTC Vive)
- Oculus Rift S VS Oculus Quest : Lequel acheter ?
- Fuite de l’Oculus Quest 2 avec le processeur Qualcomm XR2 !
- Les casques VR haut de gamme
- Le co-fondateur d’Oculus ne croit plus aux jeux VR
- L’Oculus Quest 2 contre tous les autres casques VR Oculus
- Casque VR autonome : Oculus Quest
- Tout ce que vous devez savoir sur l’Oculus Rift S
