L’algorithme représente la pose et la forme du corps sous la forme d’un maillage paramétrique qui peut être reconstruit à partir d’une seule image, puis facilement repositionné. À partir de l’image d’une personne, ils arrivent à créer des images synthétiques de cette personne dans différentes poses ou avec différents vêtements provenant d’une autre image fournie en entrée.
Transfert de vêtements
Cet article porte sur une nouvelle publication de Facebook Reality Labs qui sera présentée à la European Conference on Computer Vision (ECCV) 2020. Les chercheurs y ont travaillé sur la création d’un nouveau rendu d’une personne à partir d’une seule image. Bref, à partir de l’image d’une personne, ils arrivent à créer des images synthétiques de cette personne dans différentes poses ou avec différents vêtements provenant d’une autre image fournie en entrée. C’est ce qu’on appelle le transfert de pose et le transfert de vêtements.
La plupart des approches actuelles utilisent une carte de texture UV fondée sur la couleur. Pour chaque pixel de texture d’une carte de caractéristiques, une coordonnée de pixel correspondante est attribuée dans l’image source. Cette carte de correspondances sert ensuite à estimer la texture de couleur entre l’image d’entrée et l’image cible dans un système de surface UV commun.
La principale différence de leur nouvelle technique est qu’au lieu d’utiliser cette carte de texture UV fondée sur la couleur, ils emploient une carte de texture UV apprise et de grande dimension pour encoder l’apparence. Il s’agit d’une façon d’obtenir plus de détails sur les variations d’apparence entre les poses, les points de vue, les identités personnelles et les styles vestimentaires d’une photo. Cela peut sembler abstrait, mais avant de vous montrer quelques résultats, plongeons un peu plus en profondeur dans le processus pour rendre le tout plus clair.
À partir de l’image précise d’une personne, ils ont réussi à synthétiser une nouvelle image de cette même personne dans une autre pose cible. Cette nouvelle technique comporte essentiellement quatre grandes étapes :
À l’aide de DensePose, développé dans un autre article scientifique, ils ont pu utiliser les correspondances trouvées entre l’image d’entrée et SMPL pour extraire la texture partielle représentée dans la carte de texture UV dont nous venons de parler.
En bref, SMPL est un modèle appris et réaliste de la forme du corps humain, offert à des fins de recherche.
Ensuite, à l’aide de FeatureNet, un réseau convolutif semblable à U-Net présenté dans cette image, ils convertissent la carte de texture UV partielle en une carte de caractéristiques UV complète, qui offre une représentation plus riche de chaque pixel de texture.
La troisième étape prend en entrée une pose cible ainsi que la carte de caractéristiques UV tout juste obtenue afin de produire le « rendu » d’une image intermédiaire de caractéristiques UV.
Enfin, ils utilisent RenderNet, un réseau générateur fondé sur Pix2PixHD qui peut transformer des cartes d’étiquettes sémantiques en images photoréalistes ou synthétiser des portraits à partir de cartes d’étiquettes faciales. Dans ce cas-ci, Pix2Pix a été appliqué à l’image de caractéristiques pour générer une image photoréaliste de la personne dans sa nouvelle pose. Tous les articles scientifiques associés à cette nouvelle technique sont présentés ci-dessous si vous souhaitez en apprendre davantage.
L’article scientifique : https://gvv.mpi-inf.mpg.de/projects/NHRR/data/1415.pdf
Projet : https://gvv.mpi-inf.mpg.de/projects/NHRR/
Pix2PixHD : https://github.com/NVIDIA/pix2pixHD
U-Net : https://arxiv.org/pdf/1505.04597.pdf
SMPL : https://dl.acm.org/doi/10.1145/2816795.2818013
Si vous aimez mon travail et souhaitez me soutenir, je vous serais très reconnaissant de me suivre sur mes réseaux sociaux :
- La meilleure façon de me soutenir est de me suivre sur Medium.
- Abonnez-vous à ma chaîne YouTube.
- Suivez mes projets sur LinkedIn
- Apprenons l’IA ensemble. Rejoignez notre communauté Discord, partagez vos projets, vos articles scientifiques et vos meilleures formations, trouvez des coéquipiers pour Kaggle et bien plus encore !
FAQ
Qu’est-ce que le transfert de vêtements?
Il génère une image d’une personne portant un vêtement provenant d’une autre photo de référence.
Quelles données le modèle utilise-t-il?
Il utilise une image de la personne cible et une image montrant le vêtement désiré.
Comment le modèle tient-il compte de la pose du corps?
Un maillage corporel paramétrique estime la forme et la pose afin de déformer le vêtement pour l’adapter à la personne cible.
Pourquoi le transfert de vêtements est-il difficile?
Le tissu doit suivre la géométrie du corps tout en conservant sa texture et en respectant les occlusions, l’éclairage et la pose.
Un résultat virtuel garantit-il que le vêtement sera réellement bien ajusté ?
Non. Une apparence générée ne remplace pas les mesures du vêtement et ne peut pas prédire le confort, le comportement du tissu ni la taille exacte.