Regardez la vidéo
Ce nouveau modèle de Google Research et de l’Université de Tel-Aviv est incroyable. Vous pouvez le voir comme un deepfake très, très puissant capable de tout faire. Prenez une centaine de photos de n’importe quelle personne et vous obtenez une représentation encodée de son identité pour corriger, retoucher ou créer toutes les images réalistes que vous voulez. C’est à la fois incroyable et inquiétant si vous voulez mon avis, surtout lorsque vous regardez les résultats. Prenez simplement une minute pour les admirer dans la vidéo…
Le modèle utilise simplement une architecture StyleGAN préentraînée, que j’ai présentée dans de nombreuses vidéos. Je n’entrerai donc pas dans les détails de ce réseau. En quelques mots, StyleGAN reçoit une image, l’encode avec des réseaux neuronaux convolutifs, puis est entraîné à générer de nouveau cette même image. Si tout cela ressemble à une autre langue pour vous, prenez seulement deux minutes pour regarder cette vidéo que j’ai faite sur StyleGAN.
Comment StyleGAN retouche les images. Image de l’auteur.
Une fois le modèle bien entraîné sur un grand jeu de données regroupant beaucoup de personnes, vous pouvez lui apprendre à transformer directement l’image depuis l’espace encodé, comme je l’ai expliqué dans mes vidéos. Vous n’avez donc plus besoin de lui fournir des images. Vous pouvez simplement jouer avec ce que nous appelons le générateur.
Cela signifie que vous pouvez lui apprendre à modifier l’image complète, comme dans une application de transfert de style. Vous pourriez, par exemple, prendre une photo réaliste et l’encoder, ou partir directement de l’encodage, puis la transformer en image numérique de style anime. Lorsqu’il est bien entraîné et manipulé, vous pouvez aussi changer uniquement certaines caractéristiques locales, comme la couleur des cheveux, ou effectuer toute autre retouche pour vous montrer sous votre meilleur jour.
Vue d’ensemble de ce modèle en deux étapes. Image tirée de l’article scientifique.
Ce nouveau modèle appelé MyStyle utilise donc ce modèle de base StyleGAN et le modifie pour accomplir une tâche de transfert de style ainsi que n’importe quelle tâche associée à votre visage. Comme je l’ai dit, il apprend littéralement votre apparence et peut faire pratiquement n’importe quoi : inpainting, superrésolution ou retouche.
L’inpainting d’image correspond au cas où un objet dans la photo cache votre visage. Vous retirez cet objet, puis faites réapparaître votre visage. C’est comme activer la transparence dans un jeu vidéo pour voir à travers les murs.
La superrésolution d’image est une tâche incroyablement difficile lorsqu’on tente de généraliser à de nombreux visages différents, mais beaucoup plus facile lorsqu’on se concentre sur une seule personne. L’objectif est de prendre une image à très faible définition et d’augmenter sa résolution. Vous avez donc cette image floue de vous-même et tentez de la faire ressembler à l’image de droite.
Vous pouvez voir à quel point ces deux applications sont difficiles pour une machine. Elle doit connaître la personne pour remplir de grands espaces ou ajouter des pixels qui rendent le visage plus net. Le modèle doit essentiellement être à la fois un de vos amis très proches et un excellent artiste, puisqu’il doit connaître l’apparence de votre visage sous tous les angles et savoir le dessiner de façon réaliste. Même si je ferai toujours de mon mieux pour être le meilleur ami possible, oubliez l’idée de me demander de dessiner fidèlement votre visage si vous voulez de bons résultats. Nous sommes ici à un tout autre niveau.
À partir de cette base StyleGAN entraînée sur un immense jeu de données général regroupant des milliers de personnes, ainsi que d’une centaine de photos de vous, MyStyle apprend un espace encodé propre à votre visage, soit l’étape 1 dans la vue d’ensemble du modèle ci-dessus. Il vous trouve essentiellement dans la représentation encodée de tous les visages, puis est réentraîné pour que le modèle se concentre sur vos différentes caractéristiques.
Vous pouvez ensuite lui fournir des photos incomplètes ou ratées de vous et lui demander de les corriger, soit l’étape 2 dans la vue d’ensemble du modèle ci-dessus. À quel point c’est cool ? Le modèle exige beaucoup de vos images, mais 100 photos représentent seulement une grosse journée dehors avec un ami et vos téléphones pour obtenir de bien meilleurs résultats que les modèles généraux qui tentent de convenir à tout le monde. C’est aussi beaucoup moins cher que d’engager un professionnel de Photoshop et de lui demander de retoucher toutes vos prochaines photos.
Malgré tout, vous comprenez à quel point ce genre de modèle peut être dangereux pour les personnes célèbres ou celles qui ont publié beaucoup de photos sur Instagram. Quelqu’un pourrait s’en servir pour entraîner un modèle et créer des images ultraréalistes de vous dans des situations compromettantes. C’est pourquoi je dis souvent que nous ne pouvons plus faire confiance à ce que nous voyons, surtout sur Internet. Et évitons de penser à tous les problèmes possibles lorsque cette technologie entrera aussi dans le monde réel avec les lunettes de réalité augmentée.
Ces photos de Lady Gaga n’existent pas. Image tirée de l’article scientifique.
Les résultats restent néanmoins fantastiques et bien meilleurs que tout ce que nous avons vu auparavant, si l’on considère que le modèle exige seulement une centaine de photos de vous plutôt que des heures de tournage vidéo comme les anciens deepfakes. Il produit aussi beaucoup moins d’artéfacts que les modèles qui utilisent moins d’images, mais n’accomplissent qu’une seule tâche.
Et voilà ! C’est ainsi que MyStyle, un nouveau modèle de Google Research et de l’Université de Tel-Aviv, réussit à effectuer de l’inpainting, de la superrésolution
et de la retouche d’images avec une seule architecture et un seul mécanisme d’entraînement, comparativement aux autres approches. Il se concentre sur la personne plutôt que sur la tâche elle-même, ce qui le rend beaucoup plus précis, réaliste et généralisable.
J’espère que vous avez aimé l’article ! Dites-moi ce que vous pensez de ce format plus court et plus simple, et si vous l’aimez ou non. Bien sûr, il ne s’agissait que d’un survol rapide de ce nouvel article scientifique. Je vous recommande fortement de le lire grâce au lien ci-dessous pour mieux comprendre leur mécanisme d’entraînement et leur modèle.
On se revoit la semaine prochaine avec un autre article scientifique incroyable !
Louis
Références
►Nitzan, Y., Aberman, K., He, Q., Liba, O., Yarom, M., Gandelsman, Y., Mosseri, I., Pritch, Y. et Cohen-Or, D., 2022. MyStyle: A Personalized Generative Prior. arXiv preprint arXiv:2203.17272.
►Lien du projet : https://mystyle-personalized-prior.github.io/
►Code (à venir) : https://mystyle-personalized-prior.github.io/
►Mon infolettre (une nouvelle application de l’IA expliquée chaque semaine dans vos emails !) : /fr/newsletter/
FAQ
Que personnalise MyStyle ?
MyStyle adapte un générateur de visages à une personne précise à l’aide de plusieurs images de son apparence.
Pourquoi la personnalisation améliore-t-elle la restauration d’un visage ?
Un modèle concentré sur une seule identité possède un a priori plus ciblé et plus utile qu’un générateur conçu pour tous les visages possibles.
Quelles retouches le modèle personnalisé peut-il effectuer ?
Il peut reconstruire, améliorer, augmenter la résolution et transformer des images tout en tentant de préserver l’identité de la personne.
Comment le modèle représente-t-il une personne précise ?
L’entraînement ajuste une région de l’espace latent du générateur autour des images personnelles fournies.
Quel enjeu de confidentialité accompagne un modèle personnel de visage ?
Les photos d’entraînement et la représentation d’identité qui en résulte exigent un consentement, un stockage sécuritaire et des règles claires sur les usages générés.