L’année dernière, nous avons vu NeRF, NeRV et d’autres réseaux capables de créer des modèles 3D et de petites scènes à partir d’images grâce à l’intelligence artificielle. Nous avançons maintenant d’un petit pas en générant des modèles légèrement plus complexes : des villes complètes. Oui, vous avez bien lu, l’article scientifique de cette semaine porte sur la génération de scènes 3D à l’échelle d’une ville avec des détails de grande qualité à n’importe quelle échelle. Un seul modèle fonctionne d’une vue satellite jusqu’au niveau du sol. À quel point c’est incroyable ?! En un an, nous sommes passés d’un seul objet au résultat acceptable à une ville entière ! Et après !? Je n’arrive même pas à l’imaginer.
Le modèle s’appelle CityNeRF et découle de NeRF, que j’ai déjà présenté sur ma chaîne. NeRF est l’un des premiers modèles à utiliser les champs de radiance et l’apprentissage automatique pour construire des modèles 3D à partir d’images. Mais NeRF n’est pas très efficace et fonctionne à une seule échelle. Ici, CityNeRF traite simultanément des images satellites et des images prises au niveau du sol afin de produire des modèles 3D à différentes échelles, peu importe le point de vue. En termes simples, les chercheurs amènent NeRF à l’échelle d’une ville. Mais comment ?
Je n’expliquerai pas le fonctionnement de NeRF, puisque je l’ai déjà fait dans un article si vous ne connaissez pas encore ce modèle. Je me concentrerai plutôt sur les différences et sur ce que CityNeRF ajoute à l’approche NeRF initiale pour la rendre multiéchelle.
Vue d’ensemble de NeRF. Image tirée de l’article scientifique.
Ici, plutôt que d’avoir différentes photos prises à quelques centimètres les unes des autres, les chercheurs en utilisent qui sont séparées par des milliers de kilomètres, des satellites jusqu’aux photos prises sur la route. Comme vous pouvez le voir, NeRF seul n’arrive pas à utiliser des images aussi radicalement différentes pour reconstruire les scènes. En bref, NeRF traite toutes les images en connaissant à l’avance la position de leur point de vue grâce aux poids d’un perceptron multicouche, un réseau neuronal de base. Il trouve la couleur et la densité de chaque pixel à l’aide d’un rayon provenant de la caméra. Il connaît donc l’orientation des caméras et peut comprendre les profondeurs et les couleurs correspondantes en combinant tous les tableaux de données. Ce processus est ensuite optimisé pour faire converger le réseau neuronal avec une fonction de perte qui, pendant l’entraînement, le rapproche de la vérité terrain, soit le véritable modèle 3D que nous cherchons à obtenir.
Image tirée de l’article scientifique sur CityNeRF.
Comme vous le voyez ci-dessus, le problème vient du fait que la qualité de la scène rendue est moyennée autour des distances les plus représentées, ce qui rend certains points de vue flous. C’est particulièrement vrai parce que nous avons habituellement accès à beaucoup plus d’images satellites que de vues rapprochées. Nous pouvons tenter de corriger ce problème en entraînant l’algorithme séparément à différentes échelles, mais comme les chercheurs l’expliquent, cela crée d’importantes différences entre deux échelles successives. Il deviendrait donc impossible de zoomer tout en conservant constamment une scène 3D fluide et agréable à regarder.
La différence entre les échelles contrôlées par la variable L. Image tirée de l’article scientifique sur CityNeRF.
Ils entraînent plutôt leur modèle de façon progressive. Autrement dit, ils l’entraînent indépendamment en plusieurs étapes, et chacune commence avec les paramètres appris à l’étape précédente. Ces étapes correspondent à des résolutions précises fondées sur la distance entre la caméra et l’objet qui nous intéresse, représentée ici par L.
Chaque étape possède donc son propre ensemble d’images prétraitées sur lequel elle est entraînée, puis que les étapes suivantes améliorent. En partant de lointaines images satellites et en zoomant de plus en plus, le modèle peut ajouter des détails et bâtir progressivement une meilleure base.
Vue d’ensemble de l’entraînement multiéchelle progressif. Image tirée de l’article scientifique sur CityNeRF.
Comme l’illustre l’image, ils commencent par entraîner le modèle sur L1, la vue la plus éloignée, puis terminent avec les images prises au niveau du sol. Ils ajoutent constamment de l’information au réseau et font le fine-tuning du modèle à partir des paramètres appris en passant d’une échelle à l’autre. La simple variable L contrôle donc le niveau de détail, tandis que le reste du modèle demeure identique à chaque étape, plutôt que d’utiliser une architecture semblable à une pyramide pour chacune des échelles, comme nous le voyons habituellement. Le reste du modèle est essentiellement une version améliorée de NeRF adaptée à cette tâche.
Vous trouverez plus de détails sur l’implémentation et les différences avec NeRF dans leur excellent article scientifique, dont le lien se trouve dans les références ci-dessous ! Le code sera aussi bientôt accessible si vous souhaitez l’essayer.
Los Angeles. Image tirée du site Web de CityNeRF.
Et voilà ! C’est ainsi qu’ils ont permis à NeRF de traiter des scènes à l’échelle d’une ville avec des résultats incroyables ! Cette approche offre un énorme potentiel industriel, et j’espère bientôt voir plus de recherches dans ce domaine ! Merci d’avoir lu cet article. Si vous ne me suivez pas encore, pensez à cliquer sur le petit bouton. C’est gratuit et vous apprendrez énormément ! Je vous le promets ;p
Je publierai aussi quelques articles spéciaux pour la fin de l’année.
Restez à l’affût !
Si vous aimez mon travail et voulez rester au courant des nouveautés en IA, vous devriez vraiment me suivre sur mes autres réseaux sociaux, comme LinkedIn et Twitter, et vous abonner à mon infolettre hebdomadaire sur l’IA !
Pour me soutenir :
- La meilleure façon de me soutenir est de devenir membre de ce site Web ou de vous abonner à ma chaîne YouTube si vous aimez le format vidéo.
- Suivez-moi ici ou sur Medium
- Vous voulez vous lancer en IA ou améliorer vos compétences ? Lisez ceci !
Références
- Xiangli, Y., Xu, L., Pan, X., Zhao, N., Rao, A., Theobalt, C., Dai, B. et Lin, D., 2021. CityNeRF: Building NeRF at City Scale. https://arxiv.org/pdf/2112.05504.pdf
- Lien du projet : https://city-super.github.io/citynerf/
- Code (à venir) : https://city-super.github.io/citynerf/
FAQ
Quel problème CityNeRF résout-il ?
CityNeRF représente de vastes scènes urbaines en 3D tout en conservant des détails utiles à des distances d’observation très différentes.
Quelle est l’étendue des points de vue pris en charge ?
Le même modèle peut produire des vues allant de l’échelle d’un satellite jusqu’au niveau du sol.
Qu’est-ce qui contrôle le niveau de détail ?
Une variable de niveau sélectionne l’étape de détail appropriée sans exiger un modèle distinct pour chaque échelle.
En quoi cette approche diffère-t-elle d’une pyramide d’images classique ?
Le modèle modifie son réglage de niveau tout en conservant une structure commune au lieu de maintenir une architecture indépendante pour chaque échelle.
Que devraient comprendre les lecteurs avant d’aborder CityNeRF ?
Une compréhension de base des champs de radiance neuronaux aide à saisir comment les images et les points de vue des caméras deviennent une scène 3D rendue.