[Regardez la vidéo à la fin de cet article pour voir plus d’exemples !]
Séquence de GTA5. Richter, Abu AlHaija, Koltun, 2021
Ce que vous voyez ici est une séquence tirée d’un jeu vidéo très populaire appelé GTA 5. Elle semble très réaliste, mais il est encore évident qu’il s’agit d’un jeu vidéo. Regardez maintenant ceci…
Séquence améliorée de GTA5. Richter, Abu AlHaija, Koltun, 2021
Non, ce n’est pas la vraie vie. Il s’agit toujours de la même séquence de GTA5, mais elle est passée dans un nouveau modèle qui utilise l’intelligence artificielle pour améliorer les graphismes et les rapprocher du monde réel ! Les chercheurs d’Intel Labs viennent de publier un article scientifique intitulé Enhancing Photorealism Enhancement. Et si vous pensez qu’il s’agit « simplement d’un autre GAN » qui reçoit une image du jeu en entrée et la transforme selon le style du monde naturel, laissez-moi vous faire changer d’idée. Ils ont travaillé sur ce modèle pendant deux ans afin de le rendre extrêmement robuste. Il peut être appliqué en direct au jeu vidéo et transformer chaque trame pour qu’elle paraisse beaucoup plus naturelle. Imaginez seulement les possibilités. Vous pourriez consacrer beaucoup moins d’efforts aux graphismes du jeu, rendre le jeu très stable et complet, puis améliorer son style avec ce modèle. Je pense qu’il s’agit d’une avancée majeure pour les jeux vidéo, et ce n’est que le premier article scientifique à s’attaquer à cette tâche précisément pour les jeux ! Je veux vous poser une question à laquelle vous pouvez déjà répondre ou attendre la fin de la vidéo : pensez-vous que c’est l’avenir des jeux vidéo ?
Si vous voulez plus de temps pour répondre, c’est parfait. Passons à la technique. En général, cette tâche s’appelle la traduction d’image à image, illustrée ci-dessous. Nous prenons une image et la transformons en une autre, souvent à l’aide de GAN, comme je l’ai présenté plusieurs fois dans mes articles précédents.
Exemples classiques de traduction d’image à image.
Si vous voulez un aperçu du fonctionnement d’une architecture de GAN typique, je vous invite à regarder la vidéo ci-dessous avant de continuer, puisque je n’entrerai pas dans ses détails ici.
Comme je l’ai dit plus tôt, ce modèle diffère d’une traduction d’image à image de base parce qu’il tire parti du fait qu’il est appliqué à un jeu vidéo. C’est extrêmement important ici, puisque les jeux contiennent beaucoup plus d’information qu’une simple image. Pourquoi compliquer la tâche en réalisant des transformations réalistes uniquement à partir de l’image affichée ?
Les chercheurs utilisent plutôt beaucoup plus d’information déjà accessible pour chaque image du jeu, comme les normales de surface, la profondeur, les matériaux, la transparence, l’éclairage et même une carte de segmentation qui indique quels objets sont présents et où ils se trouvent. Vous voyez certainement déjà comment toute cette information supplémentaire peut aider la tâche. Toutes ces images sont envoyées à un premier réseau appelé encodeur de tampon G, illustré ci-dessous.
Le modèle EPE complet. Richter, Abu AlHaija, Koltun, 2021
Regardons de plus près cet « encodeur de tampon G » :
Le réseau de tampon G. Richter, Abu AlHaija, Koltun, 2021
Cet encodeur de tampon G reçoit toute l’information et envoie chaque élément séparément dans un réseau convolutionnel classique afin d’extraire et de condenser l’information utile des différentes versions de l’image initiale. Il utilise plusieurs blocs résiduels, comme vous pouvez le voir ici. Il s’agit essentiellement d’une architecture de réseau neuronal convolutionnel, plus précisément d’un ResNet. L’information est extraite à plusieurs étapes afin d’en obtenir différents niveaux. L’information des premières couches est essentielle à cette tâche parce qu’elle fournit davantage de détails sur les positions spatiales et les petits éléments. En comparaison, l’information des couches plus profondes est nécessaire pour comprendre l’image dans son ensemble et son style. Une bonne combinaison de l’information précoce et profonde devient donc très puissante !
Toute cette information, appelée caractéristiques du tampon G dans le modèle complet illustré deux images plus haut, est ensuite envoyée à un autre réseau avec l’image originale du jeu, appelée image rendue. Cet autre modèle s’appelle le « réseau d’amélioration d’image », comme vous pouvez le voir dans l’architecture complète ci-dessus. Regardons-le lui aussi de plus près.
Le réseau d’amélioration d’image. Richter, Abu AlHaija, Koltun, 2021
Les différentes couleurs représentent les caractéristiques du tampon G extraites à plusieurs échelles, comme nous venons de le voir, tandis que la flèche grise montre le traitement de l’image elle-même. Encore une fois, vous pouvez voir cette architecture comme une version améliorée des mêmes blocs résiduels répétés plusieurs fois dans l’encodeur de tampon G. Elle ajoute toutefois un petit ajustement pour mieux adapter l’information du tampon G avant de l’intégrer au processus. C’est le rôle du module appelé RAD, qui combine encore une fois des blocs résiduels, des convolutions et de la normalisation.
Le modèle EPE complet. Richter, Abu AlHaija, Koltun, 2021
Comme je l’ai mentionné, cette architecture est un peu plus complexe qu’une simple architecture encodeur-décodeur comme celle d’un GAN ordinaire. Son processus d’entraînement est lui aussi plus élaboré. Vous pouvez voir ici deux mesures : le score de réalisme et le score LPIPS.
GTA5 comparé au jeu de données du monde réel utilisé, Cityscapes. Richter, Abu AlHaija, Koltun, 2021
Le score de réalisme correspond essentiellement à la partie GAN du processus d’entraînement. Il compare une image semblable du monde réel à une image du jeu, puis compare l’image réelle à une image améliorée du jeu. Il aide ainsi le modèle à apprendre à produire une version réaliste et améliorée de l’image du jeu reçue en entrée.
Séquence améliorée de GTA5. Richter, Abu AlHaija, Koltun, 2021
La composante LPIPS est quant à elle une fonction de perte connue qui sert à préserver le plus possible la structure de l’image rendue. Elle attribue un score selon la différence entre les pixels correspondants de l’image rendue et de l’image améliorée. Elle pénalise donc le réseau lorsqu’il génère une nouvelle image qui diffère spatialement de l’image originale. Ces deux mesures travaillent ensemble pour améliorer les résultats globaux pendant l’entraînement de l’algorithme.
Bien sûr, comme toujours, il faut des jeux de données assez grands du monde réel et du jeu, puisque le modèle ne générera pas quelque chose qu’il n’a jamais vu auparavant.
Et maintenant, pensez-vous que ce genre de modèle représente l’avenir des jeux vidéo ? Votre opinion a-t-elle changé après avoir vu cette vidéo ?
Merci de m’avoir lu !
Regardez plus d’exemples dans la vidéo :
Venez discuter avec nous dans notre communauté Discord : Learn AI Together et partagez vos projets, vos articles scientifiques et les meilleurs cours, trouvez des coéquipiers pour Kaggle et bien plus encore !
Si vous aimez mon travail et souhaitez rester au courant de l’IA, suivez-moi sur mes autres réseaux sociaux (LinkedIn, Twitter) et abonnez-vous à mon infolettre hebdomadaire sur l’IA !
Pour me soutenir :
- La meilleure façon de me soutenir est de devenir membre de ce site Web ou de vous abonner à ma chaîne YouTube si vous préférez le format vidéo.
- Soutenez financièrement mon travail sur Patreon
Références
Richter, Abu AlHaija, Koltun, 2021, « Enhancing Photorealism Enhancement », https://isl-org.github.io/PhotorealismEnhancement/
FAQ
Qu’est-ce que l’amélioration du photoréalisme dans les jeux ?
Elle transforme les trames rendues par un jeu afin de les rapprocher de l’apparence du monde réel, tout en utilisant l’information fournie par le moteur du jeu.
Pourquoi utiliser les tampons du moteur plutôt que seulement l’image affichée ?
La profondeur, les étiquettes d’objets et la géométrie offrent une structure qu’il serait difficile de déduire uniquement à partir des pixels.
Le modèle peut-il traiter une partie jouée en direct ?
La recherche vise une transformation trame par trame, même si la vitesse et la cohérence en production demeurent des contraintes pratiques.
De quelles données d’entraînement l’approche a-t-elle besoin ?
Elle a besoin d’assez d’images du jeu et d’exemples pertinents du monde réel pour apprendre l’apparence désirée.
L’IA rendra-t-elle automatiquement tous les jeux photoréalistes ?
Non. Le contenu jamais vu, les artéfacts temporels, les coûts de calcul et la direction artistique limitent toujours l’amélioration automatique.