Regardez la vidéo pour voir plus de résultats :
Avez-vous aussi de vieilles photos de vous-même ou de proches qui ont mal vieilli, ou que vous ou vos parents avez prises avant que nous puissions produire des images de grande qualité ? J’en ai, et je croyais que ces souvenirs étaient endommagés pour toujours. Oh que je me trompais !
Ce nouveau modèle d’IA entièrement gratuit peut réparer la plupart de vos vieilles photos en une fraction de seconde. Il fonctionne bien même avec des entrées de très faible ou de très grande qualité, ce qui représente normalement tout un défi.
L’article scientifique de cette semaine, intitulé Towards Real-World Blind Face Restoration with Generative Facial Prior, s’attaque à la restauration de photos avec des résultats exceptionnels. Ce qui est encore plus génial, c’est que vous pouvez l’essayer vous-même de la façon que vous préférez. Les chercheurs ont rendu leur code public et créé une démonstration ainsi que des applications en ligne que vous pouvez utiliser dès maintenant. Si les résultats ci-dessus ne vous convainquent pas, regardez simplement la vidéo et dites-moi ce que vous en pensez dans les commentaires. Je sais que ça va vous époustoufler !
J’ai mentionné que le modèle fonctionnait bien sur des images de faible qualité. Regardez seulement les résultats et le niveau de détail par rapport aux autres approches…
Comparaison des résultats avec d’autres approches. Les entrées se trouvent à gauche et GFP-GAN, à droite. Image tirée de l’article scientifique.
Ces résultats sont tout simplement incroyables. Ils ne représentent toutefois pas l’image réelle. Il est important de comprendre qu’ils ne sont que des suppositions du modèle, des suppositions qui semblent sacrément proches. À l’œil humain, nous avons l’impression de voir la même image de la personne. Sans autre information, nous ne pourrions pas deviner qu’un modèle a créé davantage de pixels sans rien savoir de plus sur elle.
Le modèle fait donc de son mieux pour comprendre ce qui se trouve dans l’image, remplir les vides ou ajouter des pixels si l’image est en basse résolution. Mais comment fonctionne-t-il ? Comment un modèle d’IA peut-il comprendre ce qui se trouve dans l’image et, plus impressionnant encore, ce qui ne s’y trouve pas, comme le contenu caché par cette rayure ?
Exemples de résultats de restauration de photos avec GFP-GAN. Images produites par le modèle.
Eh bien, comme vous le verrez, les GANs ne sont pas encore morts ! En effet, les chercheurs n’ont rien créé de nouveau. Ils ont *simplement* maximisé les performances des GANs en aidant le réseau autant que possible. Et quoi de mieux pour aider une architecture de GAN que d’utiliser un autre GAN ?
Processus d’optimisation de PULSE dans l’espace latent pour la génération d’images. Image tirée de l’article scientifique.
Le modèle s’appelle GFP-GAN pour une raison. GFP signifie Generative Facial Prior, ou a priori facial génératif. J’ai déjà expliqué ce que sont les GANs dans plusieurs vidéos si ces termes vous semblent venir d’une autre langue. Par exemple, PULSE, un modèle d’augmentation de résolution d’images que j’ai présenté l’an dernier, utilise des GANs préentraînés comme StyleGAN-2 de NVIDIA et optimise les encodages, appelés codes latents, pendant l’entraînement afin d’améliorer la qualité de la reconstruction. Encore une fois, si cela ne vous dit rien, prenez quelques minutes pour regarder la vidéo dans laquelle je présente PULSE.
Exemples de PULSE. Image tirée de l’article scientifique.
Le modèle GFP-GAN…
Architecture de GFP-GAN. Image tirée de l’article scientifique.
Comme les chercheurs l’indiquent dans l’article, « ces méthodes [*en parlant de PULSE*] produisent généralement des images peu fidèles, car les codes latents de faible dimension ne suffisent pas à guider la restauration ».
Contrairement à PULSE, GFP-GAN ne se contente pas de prendre un StyleGAN préentraîné et de le réentraîner pour orienter l’information encodée vers sa tâche.
GFP-GAN utilise plutôt un modèle StyleGAN-2 préentraîné afin de guider son propre modèle génératif à plusieurs échelles, depuis l’encodage de l’image vers le code latent jusqu’à sa reconstruction. Vous pouvez le voir dans la zone verte ci-dessus, où l’information de notre modèle actuel est fusionnée à l’a priori du GAN préentraîné au moyen de la méthode SFT avec séparation des canaux. L’article scientifique lié ci-dessous explique plus précisément comment les informations des deux modèles sont combinées.
Le StyleGAN-2 préentraîné, dans la section verte, représente ici nos connaissances préalables puisqu’il sait déjà traiter l’image, mais pour une autre tâche. Il aide donc le modèle de restauration à mieux faire correspondre les caractéristiques à chaque étape grâce à l’information préalable d’un puissant StyleGAN-2 préentraîné, reconnu pour produire des encodages utiles et générer des images précises. Cela aide le modèle à obtenir des résultats réalistes tout en préservant une grande fidélité.
Au lieu de guider l’entraînement uniquement selon la différence entre l’image générée, donc fausse, et l’image attendue, donc réelle, avec le discriminateur de notre GAN, nous ajoutons aussi deux mesures qui préservent l’identité et les composantes faciales. Ces deux mesures, appelées fonctions de perte, nous aident à améliorer les détails du visage et, comme le dit l’article, à préserver l’identité de la personne, ou du moins à faire de notre mieux. Vous pouvez les voir à droite de l’image ci-dessus.
La fonction de perte des composantes faciales ressemble essentiellement à la perte antagoniste du discriminateur des GANs classiques, mais elle se concentre sur des caractéristiques locales importantes du résultat, comme les yeux et la bouche.
La fonction de perte de préservation de l’identité utilise un modèle de reconnaissance faciale préentraîné pour extraire les caractéristiques les plus importantes du visage et les comparer à la vraie image afin de vérifier si la personne générée demeure la même.
Et voilà ! Nous obtenons ces fantastiques résultats de reconstruction grâce à toute l’information fournie par les différentes fonctions de perte… (regardez la vidéo pour voir plus de résultats !)
Tous les résultats présentés dans la vidéo ont été produits avec la version la plus récente du modèle, la version 1.3. Vous pouvez voir que les chercheurs partagent ouvertement les faiblesses de leur approche, ce qui est plutôt cool.
Image tirée de leur dépôt GitHub.
Je veux revenir sur un point mentionné plus tôt, soit la deuxième faiblesse : « une légère modification de l’identité ». Cela arrivera, et nous ne pouvons rien y faire. Nous pouvons limiter ce changement, mais il est impossible de garantir que l’image reconstruite sera identique à l’originale. C’est tout simplement impossible. Reconstruire exactement la même personne à partir d’une image en basse définition signifierait que nous savons précisément à quoi elle ressemblait à ce moment-là, ce qui n’est pas le cas. Nous nous appuyons sur nos connaissances des humains et de leur apparence habituelle pour faire des suppositions à partir de l’image floue et créer des centaines de nouveaux pixels.
Image d’essai d’Einstein avec GFP-GAN. Image tirée de l’article scientifique.
Avec assez de chance, l’image obtenue ressemblera exactement à notre grand-père. Mais elle pourrait tout aussi bien ressembler à un parfait inconnu, ce qu’il faut garder en tête lorsque nous utilisons ce genre de modèles. Malgré tout, les résultats sont fantastiques et remarquablement proches de la réalité. Je vous invite fortement à l’essayer et à vous faire votre propre idée du modèle et de ses résultats. Les liens vers le code, la démonstration et les applications se trouvent dans les références ci-dessous.
Dites-moi ce que vous en pensez. J’espère que cet article vous a plu !
Avant votre départ, si l’éthique de l’IA vous intéresse, j’enverrai dans les prochains jours la prochaine édition de notre infolettre avec le point de vue de Martina sur les considérations éthiques de telles techniques. Restez à l’affût !
Si vous aimez mon travail et souhaitez rester au courant de l’IA, suivez-moi sur mes autres réseaux sociaux (LinkedIn, Twitter) et abonnez-vous à mon infolettre hebdomadaire sur l’IA !
Pour me soutenir :
- Suivez-moi ici ou sur Medium !
- Vous souhaitez vous lancer en IA ou améliorer vos compétences ? Lisez ceci !
Références
- La vidéo : https://youtu.be/nLDVtzcSeqM
- Vidéo sur PULSE : https://youtu.be/cgakyOI9r8M
- Wang, X., Li, Y., Zhang, H. et Shan, Y., 2021. Towards real-world blind face restoration with generative facial prior. Dans Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (p. 9168–9178), https://arxiv.org/pdf/2101.04061.pdf
- Code : https://github.com/TencentARC/GFPGAN
- Utilisez-le : https://huggingface.co/spaces/Xintao/GFPGAN
- Crédit pour la vignette : image reconstruite par Neil White (www.restorapic.com)
FAQ
Que restaure GFP-GAN ?
GFP-GAN répare des photos de visages dégradées en reconstruisant des détails faciaux plus clairs et plausibles.
Pourquoi utiliser un modèle StyleGAN2 préentraîné ?
Il fournit un puissant a priori sur la structure réaliste des visages qui guide la restauration à plusieurs échelles de caractéristiques.
Qu’est-ce qu’un a priori facial génératif ?
Il s’agit de connaissances apprises sur les visages plausibles qui aident à remplir les détails absents d’une entrée endommagée.
La restauration retrouve-t-elle exactement tous les détails originaux ?
Non. L’information manquante doit être déduite. Un résultat net peut donc contenir des détails plausibles qui n’étaient pas présents.
Pourquoi guider le modèle à plusieurs échelles ?
Le guidage grossier préserve la structure du visage, tandis que le guidage plus fin aide à reconstruire les textures et les caractéristiques locales.