Pour la conférence annuelle sur la vision par ordinateur CVPR, Facebook présente un algorithme qui peut générer un modèle 3D assez détaillé d’une personne habillée à partir d’une seule caméra.

Facebook est l’entreprise à l’origine de la marque de produits de réalité virtuelle Oculus. La société est considérée comme un leader mondial de l’apprentissage machine. L’apprentissage machine (ML) est au cœur de l’Oculus Quest et du Rift S, les deux casques ont un suivi de position « de l’intérieur vers l’extérieur », atteignant une précision inférieure au millimètre sans station de base externe. Sur le Quest, l’apprentissage machine est même utilisé pour suivre les mains de l’utilisateur sans avoir besoin de contrôleurs.

Facebook avatar 3D
Facebook avatar 3D

Dans un article intitulé PIFuHD, trois employés de Facebook et un chercheur de l’Université de Californie du Sud proposent un système d’apprentissage automatique permettant de générer une représentation 3D très détaillée d’une personne et de ses vêtements à partir d’une seule image 1K. Aucun capteur de profondeur ou appareil de capture de mouvement n’est nécessaire.

Ce document n’est pas le premier travail sur la génération de représentations 3D d’une personne à partir d’une image. Des algorithmes de ce type ont vu le jour en 2018 grâce aux récents progrès de la vision par ordinateur.

En fait, le système que Facebook présente est nommé PIFuHD en l’honneur du PIFu de l’année dernière, un projet de chercheurs de diverses universités de Californie.

Sur le matériel actuel, les systèmes comme le PIFu ne peuvent traiter que des images d’entrée de résolution relativement faible. Cela limite la précision et le détail du modèle de sortie.

Le PIFuHD adopte une nouvelle approche, en sous-échantillonnant l’image d’entrée et en l’envoyant au PIFu pour la couche de base « parcours » à faible détail, puis un nouveau réseau séparé utilise la pleine résolution pour ajouter des détails de surface fins.

Facebook affirme que le résultat est à la pointe de la technologie. En regardant les comparaisons fournies avec des systèmes similaires, cela semble être vrai.

Facebook a montré pour la première fois son intérêt pour la recréation numérique d’êtres humains en mars 2019, en présentant des « Codecs Avatars ». Ce projet s’est concentré spécifiquement sur la tête et le visage, et notamment la génération d’avatars a nécessité un scan coûteux de la tête de l’utilisateur avec 132 caméras.

En mai 2019, lors de sa conférence annuelle F8, la société a présenté le suivi corporel sans marqueur en temps réel avec une fidélité sans précédent, en utilisant un modèle qui prend en compte les systèmes musculaires et squelettiques humains.

La génération du corps des avatars est une autre étape sur la voie de l’objectif final déclaré, à savoir permettre aux utilisateurs d’exister en tant que leur vrai moi physique dans des environnements virtuels, et de voir leurs amis tels qu’ils sont réellement.

Ne vous excitez pas trop pour l’instant, ce genre de technologie ne sera pas sur votre tête l’année prochaine. Lors de la présentation des avatars de codecs, Facebook a averti que la technologie était encore « à des années lumières » pour les produits de consommation.

Cependant, lorsqu’elle peut être réalisée, une telle technologie a un potentiel énorme. Pour la plupart, la téléprésence se limite encore aujourd’hui à des grilles de webcams sur un moniteur 2D. La capacité de voir des représentations photoréalistes d’autrui à l’échelle réelle, entièrement suivies à partir d’un mouvement réel, pourrait changer fondamentalement le besoin d’interaction en face à face.


Les contenus sur les mêmes sujets :
Facebook Oculus, Oculus

Partagez ce moment !

Publié par Al

Abdelghafour Lammamri, 26 ans, Rédacteur Web, passionné par le monde des technologies (les smartphones et la réalité virtuelle/augmentée).

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *