Regardez la vidéo
Comme si prendre une photo n’était pas déjà une prouesse technologique assez difficile, nous faisons maintenant l’inverse : modéliser le monde à partir de photos. J’ai présenté d’incroyables modèles basés sur l’IA capables de prendre des images et de les transformer en scènes de grande qualité. C’est une tâche difficile qui consiste à utiliser quelques images du monde en 2 dimensions pour recréer l’apparence d’un objet ou d’une personne dans le monde réel. Vous voyez facilement à quel point cette technologie est utile pour de nombreuses industries, comme les jeux vidéo, les films d’animation ou la publicité. Prenez quelques photos et obtenez instantanément un modèle réaliste à intégrer à votre produit. Les résultats se sont considérablement améliorés depuis le premier modèle que j’ai présenté en 2020, appelé NeRF. Et l’amélioration ne concerne pas uniquement la qualité. NVIDIA a rendu l’approche encore meilleure.
Non seulement la qualité est comparable, sinon supérieure, mais le modèle est plus de 1 000 fois plus rapide après moins de deux années de recherche. Voilà le rythme de la recherche en IA : des gains exponentiels en qualité et en efficacité. C’est un facteur important qui rend ce domaine aussi incroyable. Vous perdrez le fil des nouvelles techniques et de la qualité des résultats si vous manquez seulement quelques jours, ce qui explique pourquoi j’ai commencé à écrire ces articles et pourquoi vous devriez suivre mon travail ! ;) Regardez simplement ces modèles 3D…
Résultats obtenus avec Instant NeRF.
Ces modèles géniaux n’ont eu besoin que d’une douzaine de photos. L’IA a deviné les zones manquantes et créé cette merveille en quelques secondes. Produire un tel résultat prenait des heures avec NeRF. Voyons comment les chercheurs ont réussi à faire autant de progrès sur autant d’aspects en si peu de temps.
Rendu inverse
Instant NeRF s’attaque à la tâche du rendu inverse. Il s’agit de produire une représentation 3D à partir de photos, une douzaine dans ce cas-ci, en approximant la forme réelle de l’objet et la façon dont la lumière réagit sur celui-ci afin qu’il semble réaliste dans n’importe quelle nouvelle scène.
NeRF signifie ici « neural radiance fields », ou champs de rayonnement neuronaux. Je ne ferai qu’un rapide survol du fonctionnement des NeRF, puisque j’ai déjà présenté ce type de réseau dans plusieurs vidéos que je vous invite à regarder pour obtenir plus de détails et mieux comprendre.
Champs de rayonnement neuronaux. Image tirée de l’article de recherche sur NeRF.
En bref, les NeRF sont un type de réseau neuronal. Ils prennent des images et des paramètres de caméra comme entrées, puis apprennent à produire une représentation 3D initiale des objets ou des scènes présents dans les photos et à affiner cette représentation avec des paramètres appris dans un cadre supervisé. Cela signifie que nous avons besoin d’un objet 3D et de quelques photos de celui-ci prises sous différents angles connus pour entraîner le réseau à recréer l’objet. Pour obtenir les meilleurs résultats possible, nous avons besoin de photos prises de plusieurs points de vue, comme celles ci-dessus, afin de capturer tous les côtés de l’objet, ou du moins la plupart. Nous entraînons ensuite le réseau à comprendre la forme générale des objets et le rayonnement de la lumière. Nous lui demandons d’apprendre à remplir les parties manquantes à partir de ce qu’il a déjà vu et de la manière dont la lumière réagit dans le monde 3D.
Résultats obtenus avec Instant NeRF.
En gros, ce serait comme vous demander de dessiner un humain sans vous donner le moindre détail sur ses mains. Vous supposeriez automatiquement que cette personne a cinq doigts grâce à vos connaissances. C’est facile pour nous, puisque nous avons de nombreuses années d’expérience et une chose essentielle qui manque aux IA actuelles : notre intelligence. Nous pouvons créer des liens là où il n’y en a pas et accomplir beaucoup de choses incroyables. De son côté, l’IA a besoin de règles précises ou, à tout le moins, d’exemples à suivre. C’est pourquoi nous devons lui montrer pendant l’entraînement à quoi ressemble un objet dans le monde réel pour qu’elle puisse s’améliorer.
Après un tel processus d’entraînement, vous fournissez seulement les images et les angles de caméra au moment de l’inférence, puis le système produit le modèle final en quelques heures…
Ai-je dit quelques heures ?
Désolé, j’étais encore en 2021. Il le fait maintenant en quelques secondes.
Cette nouvelle version de NVIDIA appelée Instant NeRF est en effet 1 000 fois plus rapide que son prédécesseur NeRF lancé un an plus tôt. Pourquoi ? Grâce à l’encodage par grille de hachage multirésolution. Multi-quoi ? L’encodage par grille de hachage multirésolution. Les chercheurs l’expliquent très clairement dans cette phrase :
Nous réduisons ce coût grâce à un nouvel encodage d’entrée polyvalent qui permet d’utiliser un réseau plus petit sans sacrifier la qualité, réduisant ainsi considérablement le nombre d’opérations en virgule flottante et d’accès à la mémoire. [1]
En bref, ils changent la façon dont le réseau NeRF voit les entrées, donc notre prédiction initiale du modèle 3D, afin de rendre l’information plus facile à digérer et plus efficace. Ils peuvent ainsi utiliser un réseau neuronal plus petit tout en conservant la même qualité des résultats. Une telle qualité demeure possible avec un plus petit réseau parce que l’entraînement ne sert pas seulement à apprendre les poids du réseau NeRF. Il apprend également à transformer les entrées avant de les lui fournir.
Image tirée de l’article de recherche.
L’entrée est donc transformée par des fonctions entraînées, ici aux étapes 1 à 4, puis compressée dans une table de hachage afin de se concentrer extrêmement rapidement sur l’information utile. Elle est ensuite envoyée à un réseau beaucoup plus petit à l’étape 5, puisque les entrées sont elles aussi beaucoup plus petites. Les chercheurs stockent des valeurs de n’importe quel type dans une table dont les clés indiquent où elles se trouvent. Cela permet des modifications parallèles très efficaces et élimine le temps de recherche dans de grands tableaux pendant l’entraînement et l’inférence. Cette transformation et le réseau beaucoup plus petit expliquent pourquoi Instant NeRF est aussi rapide et pourquoi il méritait cet article.
Et voilà ! C’est ainsi que NVIDIA peut maintenant générer des modèles 3D comme ceux-ci en quelques secondes ! Regardez davantage de résultats dans la vidéo !
Comme si ce n’était pas déjà assez génial, j’ai mentionné que la technique pouvait stocker des valeurs de n’importe quel type. Elle peut donc être utilisée non seulement avec les NeRF, mais aussi avec d’autres applications fascinantes, comme les images gigapixels, qui deviennent elles aussi incroyablement efficaces.
Résultats obtenus avec Instant NeRF.
Bien sûr, ce n’était qu’un survol de ce nouvel article de recherche qui s’attaque à cette tâche fascinante d’une nouvelle façon. Je vous invite à lire l’excellent article pour obtenir plus de détails techniques sur l’encodage par grille de hachage multirésolution et son implémentation. Vous trouverez un lien vers l’article et le code dans les références ci-dessous.
J’espère que vous avez aimé l’article. Si c’est le cas, pensez à soutenir mon travail sur YouTube en vous abonnant à la chaîne et en commentant ce que vous pensez de ce résumé. J’aimerais vraiment vous lire !
Références
- Article de blogue de NVIDIA : https://blogs.nvidia.com/blog/2022/03/25/instant-nerf-research-3d-ai/
- Vidéo de NVIDIA : https://nvlabs.github.io/instant-ngp/assets/mueller2022instant.mp4
- Article de recherche : Thomas Muller, Alex Evans, Christoph Schied and Alexander Keller, 2022, “Instant Neural Graphics Primitives with a Multiresolution Hash Encoding”, https://nvlabs.github.io/instant-ngp/assets/mueller2022instant.pdf
- Lien du projet : https://nvlabs.github.io/instant-ngp/
- Code : https://github.com/NVlabs/instant-ngp
- Mon infolettre (une nouvelle application d’IA expliquée chaque semaine directement dans vos courriels !) : /fr/newsletter/
FAQ
Qu’est-ce qu’Instant NeRF ?
Instant NeRF est la méthode rapide de NVIDIA pour entraîner un champ de rayonnement neuronal à partir d’images et de points de vue de caméra.
De quelles entrées un NeRF a-t-il besoin ?
Il utilise plusieurs vues d’une scène ainsi que des renseignements sur la position de la caméra pour chaque image.
Pourquoi les encodages par grille de hachage sont-ils importants ?
Les encodages multirésolutions appris représentent efficacement les détails spatiaux, ce qui permet à un plus petit réseau de s’entraîner beaucoup plus rapidement.
Que signifie le rendu inverse ?
Il déduit les propriétés d’une scène à partir d’images capturées afin que le système puisse rendre de nouveaux points de vue.
À quoi peuvent servir des scènes neuronales rapides ?
Les applications comprennent les jeux, l’animation, la production virtuelle, la publicité, la simulation et la capture rapide de scènes 3D.