Avez-vous déjà imaginé pouvoir prendre une photo et plonger dedans comme par magie, comme si elle était une porte vers un autre monde ?
Eh bien, que vous y ayez déjà pensé ou non, certaines personnes l’ont fait. Grâce à elles, c’est maintenant possible avec l’IA ! Nous ne sommes plus qu’à un pas de la téléportation et de la possibilité d’y être physiquement. Peut-être qu’un jour, l’IA nous aidera aussi avec ça et résoudra un vrai problème ! Je plaisante, c’est vraiment génial, et je suis heureux que certaines personnes y travaillent.
Voici InfiniteNature… Zero ! Le modèle porte ce nom parce qu’il fait suite à un article scientifique que j’ai déjà présenté, appelé InfiniteNature. Quelle est la différence ? La qualité ! Regardez-moi ça. Les résultats se sont tellement améliorés en un seul article.
C’est incroyable ! Vous avez vraiment l’impression de plonger dans la photo, et il suffit de fournir une seule image en input.
N’est-ce pas cool ?! La seule chose encore plus cool, c’est son fonctionnement… Plongeons-y !
Comment InfiniteNature-Zero fonctionne-t-il…
Apprendre la génération perpétuelle de vues à partir d’images uniques. Image et légende tirées de l’article scientifique.
Tout commence avec une seule image que vous fournissez en input. Oui, une seule image. Il ne faut ni vidéo, ni plusieurs points de vue, ni quoi que ce soit d’autre. Cette approche diffère de leur article précédent, que j’ai aussi présenté, dans lequel ils avaient besoin de vidéos pour aider le modèle à comprendre les scènes naturelles pendant l’entraînement. C’est d’ailleurs pourquoi ils l’ont appelé « InfiniteNature-Zero », puisqu’il n’exige aucune vidéo. Ici, leur travail est divisé en trois méthodes utilisées pendant l’entraînement pour obtenir ces résultats…
Pour commencer, le modèle échantillonne aléatoirement deux trajectoires de caméra virtuelle qui déterminent où vous allez dans l’image.
Vue d’ensemble de l’approche. Image tirée de l’article scientifique.
Pourquoi deux ? Parce que la première est nécessaire pour générer une nouvelle vue. Elle indique où plonger dans l’image afin d’en créer une seconde et correspond à la véritable trajectoire que vous suivrez.
La deuxième trajectoire virtuelle est utilisée pendant l’entraînement pour plonger, puis revenir à l’image originale. Elle apprend ainsi au modèle à raffiner les vues en tenant compte de la géométrie pendant leur génération, de façon autosupervisée, puisque nous lui enseignons à retrouver une image présente dans notre dataset d’entraînement. Les chercheurs appellent cette méthode une trajectoire cyclique de caméra virtuelle, puisque les vues de départ et d’arrivée sont les mêmes : notre image d’entraînement fournie en input. Ils y arrivent en se rendant à un point de vue virtuel, donc faux, échantillonné, puis en revenant à la vue originale, uniquement pour enseigner la reconstruction au modèle. Les points de vue sont échantillonnés avec un algorithme appelé pilote automatique, qui trouve le ciel pour éviter de plonger dans des rochers ou dans le sol, ce que personne ne voudrait faire.
De gauche à droite : image d’input ; image d’input rendue depuis une vue virtuelle « précédente » ; vue virtuelle rendue de nouveau depuis le point de vue initial. Image et légende tirées de l’article scientifique.
Ensuite, pendant l’entraînement, nous utilisons une approche semblable à un GAN dans laquelle un discriminateur mesure à quel point la nouvelle vue générée ressemble à une véritable image, ce qui est représenté ici par L_adv. Alors oui, les GAN ne sont pas encore morts ! Il s’agit d’une application vraiment cool pour guider l’entraînement lorsque nous ne disposons d’aucune vérité terrain, par exemple lorsque nous n’avons pas une infinité d’images dans ce cas-ci. En gros, ils utilisent un autre modèle, le discriminateur, entraîné sur notre dataset pour déterminer si une image semble en faire partie ou non. Sa réponse permet ensuite d’améliorer la génération pour que le résultat ressemble à une image du dataset, qui devrait avoir l’air réaliste !
Nous mesurons aussi la différence entre notre image initiale régénérée et l’originale pour aider le modèle à améliorer progressivement sa reconstruction, ce qui est représenté ici par L_rec.
Et nous répétons simplement ce processus plusieurs fois pour générer nos nouvelles trames et créer ce genre de vidéo !
Il reste une dernière chose à ajuster avant d’obtenir ces résultats incroyables. Les chercheurs ont remarqué qu’avec leur algorithme, le ciel changeait beaucoup trop rapidement en raison de sa nature infinie comparativement au sol. Pour régler ce problème, ils utilisent un autre modèle de segmentation qui trouve automatiquement le ciel dans les images générées, puis le corrige en mélangeant intelligemment le ciel généré et celui de l’image initiale afin qu’il ne change pas trop vite et de manière irréaliste. Un autre indice que l’IA n’est pas vraiment intelligente et qu’elle exige beaucoup d’ajustements manuels !
Après un entraînement avec ce processus en 2 étapes et le raffinement du ciel, InfiniteNature-Zero permet d’obtenir de longues trajectoires stables dans des scènes naturelles et de générer avec précision de nouvelles vues géométriquement cohérentes.
Et voilà ! C’est ainsi que vous pouvez prendre une photo et y plonger comme si vous étiez un oiseau ! Je vous invite à lire leur article scientifique pour obtenir plus de détails sur leur méthode et son implémentation, surtout sur la façon ingénieuse dont ils ont réussi à entraîner le modèle. J’ai omis certains détails techniques qui rendent tout cela possible afin de garder l’explication simple.
D’ailleurs, le code est accessible et lié ci-dessous si vous voulez l’essayer ! Dites-moi si vous le faites et envoyez-moi les résultats ! J’aimerais beaucoup les voir.
Merci d’avoir lu cet article. J’espère que vous l’avez aimé. On se revoit la semaine prochaine avec un autre article scientifique incroyable !
Références
FAQ
En quoi InfiniteNature-Zero diffère-t-il de la méthode précédente ?
Il apprend à générer des paysages perpétuels à partir d’images uniques non appariées au lieu d’exiger de véritables vidéos d’entraînement suivant une trajectoire de caméra.
Que génère le modèle à partir d’une seule photo ?
Il crée une longue trajectoire de caméra vers l’avant avec de nouvelles vues qui restent reliées visuellement et géométriquement.
Pourquoi reconstruire l’image initiale pendant l’entraînement ?
La comparaison entre la vue régénérée et l’image source fournit un signal d’apprentissage pour la géométrie et l’apparence.
Qu’améliore le raffinement du ciel ?
Il stabilise les régions éloignées du ciel qui révéleraient autrement des raccords ou une dérive pendant une longue trajectoire générée.
Quel est le principal objectif de qualité ?
Les vues générées doivent demeurer stables, géométriquement cohérentes et plausibles pendant un long vol virtuel.