Regardez la vidéo et découvrez plus de résultats !
Si vous travaillez dans les effets visuels, la création de jeux ou la conception de scènes 3D, ce nouveau modèle d’IA est pour vous. Je ne serais pas surpris de voir ce modèle, ou des approches semblables, intégrer votre processus de création très bientôt et vous permettre de consacrer beaucoup moins de temps, d’argent et d’efforts à la création de modèles 3D. Regardez-moi ça…
À gauche : vidéos d’input ; à droite : reconstruction à chaque instant. Les correspondances sont représentées par les mêmes couleurs. Image tirée de la page du projet des auteurs.
Bien sûr, ce n’est pas parfait, mais le résultat a été créé instantanément à partir d’une vidéo ordinaire enregistrée avec un téléphone. Il n’a pas fallu une coûteuse installation à plusieurs caméras ni des capteurs de profondeur complexes. C’est l’une des beautés de l’IA : rendre des technologies complexes et coûteuses accessibles aux jeunes entreprises et aux particuliers afin qu’ils puissent créer des projets aux résultats professionnels. Il suffit de filmer un objet et de le transformer en modèle que vous pouvez importer immédiatement. Vous pouvez ensuite en peaufiner les détails si vous n’êtes pas satisfait, mais le modèle complet sera là en quelques secondes !
Ce que vous voyez ci-dessus correspond aux résultats d’un modèle d’IA appelé BANMo, récemment présenté à l’événement de la CVPR auquel j’ai assisté. Je vais être honnête, les chats ont aussi attiré mon attention. Malgré tout, ce n’était pas tout à fait du piège à clics. L’article scientifique et l’approche sont vraiment impressionnants. Cette méthode ne ressemble pas aux approches NeRF habituelles pour reconstruire des objets sous forme de modèles 3D. BANMo s’attaque à ce qu’on appelle la reconstruction de formes 3D articulées, ce qui signifie qu’il utilise des vidéos et des images pour modéliser des objets déformables. Et quoi de plus déformable qu’un chat ? Ce qui est encore plus intéressant que de voir les résultats, c’est de comprendre comment ça fonctionne…
Image tirée de l’article scientifique.
Le modèle commence avec quelques vidéos ordinaires de l’objet que vous voulez capter, qui montrent la façon dont il bouge et se déforme. C’est ici qu’il faut envoyer la vidéo de votre chat qui se faufile dans un vase !
BANMo utilise ensuite ces vidéos pour créer ce que les chercheurs appellent un espace canonique. Ce premier résultat vous donne de l’information sur la forme, l’apparence et les articulations de l’objet. Il représente la compréhension qu’a le modèle de la forme de votre objet, de son mouvement dans l’espace et de sa place quelque part entre une brique et une masse informe, le tout décrit par ces grosses boules et ces différentes couleurs.
Il prend ensuite cette représentation 3D et lui applique la pose de votre choix, en simulant le comportement et les articulations du chat aussi fidèlement que possible.
Ça ressemble à de la magie, n’est-ce pas ? C’est parce que nous n’avons pas encore terminé. Nous sommes rapidement passés d’une vidéo au modèle, mais c’est maintenant que ça devient intéressant.
Image tirée de l’article scientifique.
Qu’utilisent-ils donc pour passer des images d’une vidéo à une telle représentation dans cet espace canonique ? Vous l’avez deviné : un modèle semblable à NeRF !
Si vous ne connaissez pas cette approche, je vous invite fortement à regarder l’une des nombreuses vidéos que j’ai faites à ce sujet, puis à revenir pour la suite.
En bref, la méthode inspirée de NeRF doit prédire trois propriétés essentielles pour chaque pixel 3D de l’objet, comme vous le voyez ici : sa couleur, sa densité et un embedding canonique, à l’aide d’un réseau neuronal entraîné à cette fin. Pour obtenir un modèle 3D aux articulations et aux mouvements réalistes, BANMo utilise la position spatiale de la caméra et plusieurs trames pour comprendre le rayon depuis lequel elle filme. Il peut ainsi reconstruire et améliorer le modèle 3D de façon itérative à travers toutes les trames de la vidéo, un peu comme nous le ferions pour comprendre un objet en le déplaçant et en l’observant sous tous les angles.
Image tirée de l’article scientifique.
Cette partie se fait automatiquement en observant les vidéos, grâce à l’embedding canonique que nous venons de mentionner. Cet embedding contient toutes les caractéristiques nécessaires de chacune des parties de l’objet. Vous pouvez ainsi l’interroger avec une nouvelle position souhaitée et imposer une reconstruction cohérente avec les observations. En gros, il associe la position voulue dans l’image au modèle 3D avec les bons points de vue et les bonnes conditions d’éclairage, puis fournit les indices nécessaires sur la forme et les articulations.
Image tirée de la page du projet des auteurs.
Une dernière chose à mentionner : nos couleurs. Elles représentent les attributs du corps du chat partagés entre les différentes vidéos et images utilisées. Ce sont les caractéristiques que nous apprenons et examinons afin d’extraire de l’information utile de toutes les vidéos et de la fusionner dans un même modèle 3D pour améliorer nos résultats.
Et voilà !
Vous obtenez ce magnifique chat 3D, déformable et coloré, que vous pouvez utiliser dans vos applications !
Image tirée de la page du projet des auteurs.
Bien sûr, il ne s’agissait que d’un survol de BANMo, et je vous invite à lire l’article scientifique pour mieux comprendre le modèle.
Références
► Page du projet : https://banmo-www.github.io/
► Article scientifique : Yang, G., Vo, M., Neverova, N., Ramanan, D., Vedaldi, A. and Joo, H., 2022. Banmo: Building animatable 3d neural models from many casual videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 2863–2873).
► Code : https://github.com/facebookresearch/banmo
FAQ
Que reconstruit BANMo ?
BANMo construit un modèle 3D animable d’un sujet déformable à partir de photos et de vidéos ordinaires.
Que signifie la reconstruction 3D articulée ?
Elle modélise à la fois la forme d’un sujet et la façon dont ses parties reliées se plient ou bougent au fil du temps.
Pourquoi les animaux sont-ils difficiles à reconstruire ?
Leur corps se déforme, les points de vue changent, et leur fourrure ou leurs mouvements rapides peuvent masquer des correspondances visuelles fiables.
BANMo exige-t-il une installation professionnelle de capture ?
Non. Les résultats présentés peuvent partir de séquences ordinaires, y compris une vidéo enregistrée avec un téléphone.
Le modèle reconstruit est-il toujours parfait ?
Non. Les séquences ordinaires rendent la méthode accessible, mais les occlusions, le flou et les points de vue manquants peuvent encore limiter la qualité.