Pour la conférence annuelle sur la vision par ordinateur CVPR, Facebook présente un algorithme qui peut générer un modèle 3D assez détaillé d’une personne habillée à partir d’une seule caméra.
Facebook est l’entreprise à l’origine de la marque de produits de réalité virtuelle Oculus. La société est considérée comme un leader mondial de l’apprentissage machine. L’apprentissage machine (ML) est au cœur de l’Oculus Quest et du Rift S, les deux casques ont un suivi de position « de l’intérieur vers l’extérieur », atteignant une précision inférieure au millimètre sans station de base externe. Sur le Quest, l’apprentissage machine est même utilisé pour suivre les mains de l’utilisateur sans avoir besoin de contrôleurs.
Dans un article intitulé PIFuHD, trois employés de Facebook et un chercheur de l’Université de Californie du Sud proposent un système d’apprentissage automatique permettant de générer une représentation 3D très détaillée d’une personne et de ses vêtements à partir d’une seule image 1K. Aucun capteur de profondeur ou appareil de capture de mouvement n’est nécessaire.
Ce document n’est pas le premier travail sur la génération de représentations 3D d’une personne à partir d’une image. Des algorithmes de ce type ont vu le jour en 2018 grâce aux récents progrès de la vision par ordinateur.
En fait, le système que Facebook présente est nommé PIFuHD en l’honneur du PIFu de l’année dernière, un projet de chercheurs de diverses universités de Californie.
Sur le matériel actuel, les systèmes comme le PIFu ne peuvent traiter que des images d’entrée de résolution relativement faible. Cela limite la précision et le détail du modèle de sortie.
Le PIFuHD adopte une nouvelle approche, en sous-échantillonnant l’image d’entrée et en l’envoyant au PIFu pour la couche de base « parcours » à faible détail, puis un nouveau réseau séparé utilise la pleine résolution pour ajouter des détails de surface fins.
Facebook affirme que le résultat est à la pointe de la technologie. En regardant les comparaisons fournies avec des systèmes similaires, cela semble être vrai.
Facebook a montré pour la première fois son intérêt pour la recréation numérique d’êtres humains en mars 2019, en présentant des « Codecs Avatars ». Ce projet s’est concentré spécifiquement sur la tête et le visage, et notamment la génération d’avatars a nécessité un scan coûteux de la tête de l’utilisateur avec 132 caméras.
En mai 2019, lors de sa conférence annuelle F8, la société a présenté le suivi corporel sans marqueur en temps réel avec une fidélité sans précédent, en utilisant un modèle qui prend en compte les systèmes musculaires et squelettiques humains.
La génération du corps des avatars est une autre étape sur la voie de l’objectif final déclaré, à savoir permettre aux utilisateurs d’exister en tant que leur vrai moi physique dans des environnements virtuels, et de voir leurs amis tels qu’ils sont réellement.
Ne vous excitez pas trop pour l’instant, ce genre de technologie ne sera pas sur votre tête l’année prochaine. Lors de la présentation des avatars de codecs, Facebook a averti que la technologie était encore « à des années lumières » pour les produits de consommation.
Cependant, lorsqu’elle peut être réalisée, une telle technologie a un potentiel énorme. Pour la plupart, la téléprésence se limite encore aujourd’hui à des grilles de webcams sur un moniteur 2D. La capacité de voir des représentations photoréalistes d’autrui à l’échelle réelle, entièrement suivies à partir d’un mouvement réel, pourrait changer fondamentalement le besoin d’interaction en face à face.
Les contenus sur les mêmes sujets :
Facebook Oculus, Oculus
- HTC vs Oculus : Un guide approfondi sur le choix du casque le mieux adapté à l’usage professionnel et personnel
- Oculus annonce un tournoi VR pour la charité où il y aura 100 000 dollars à gagner !
- Casque VR : Meta Quest Pro
- Les casques VR haut de gamme
- Facebook présente l’enregistrement des lunettes intelligentes Ray-Ban dans une nouvelle vidéo
- Les casques VR pour PC (micro-ordinateur, laptop)
- Oculus Rift S VS Oculus Quest : Lequel acheter ?
- L’Oculus Quest 2 contre tous les autres casques VR Oculus
- Casque VR autonome : Oculus Quest
- Jeu VR : Star Trek : Bridge Crew (Oculus Rift ; PS VR ; HTC Vive)
- Kuo : Le casque Pro de Meta H2 avec une mini LED 2K par œil
- Adieu Oculus : Meta abandonne le nom de la marque pour ses produits VR
- Les premiers jeux Oculus VR ne seront pas présents à l’E3, selon Facebook
- Le co-fondateur d’Oculus ne croit plus aux jeux VR
- Casque VR : Oculus Rift
- Une fuite sur Facebook indique qu’un casque VR autonome portant le nom de code « Del Mar » est en cours de développement
- Accessoire VR : Les Contrôleurs Oculus Touch
- Les meilleurs casques VR de l’année 2019 – guide d’achat
- Les meilleurs casque VR pas cher
- Casque VR autonome : Oculus Go