Vous pouvez même l’utiliser vous-même dès maintenant en un seul clic avec Toonify. Mais avant de l’essayer, voyons rapidement comment il fonctionne.
À partir d’un modèle préentraîné accessible au public appelé StyleGAN2, les créateurs ont pu construire Toonify, un site Web qui transforme n’importe quelle photo de profil en personnage de film d’animation Disney, Pixar ou DreamWorks.
StyleGAN2 est une architecture GAN créée par l’équipe de recherche de NVIDIA.
Elle produit actuellement des résultats à la fine pointe en modélisation générative d’images. En bref, les chercheurs ont pris l’architecture StyleGAN originale et l’ont améliorée afin d’obtenir de meilleurs résultats liés au style.
Ce réseau est un réseau antagoniste génératif combiné au transfert de style. Le transfert de style est une technique qui permet de modifier le style d’une image entière en fonction des différents styles sur lesquels le modèle a été entraîné, comme vous pouvez le voir ici.
Le réseau antagoniste génératif, que nous appelons GAN, constitue donc l’architecture de base du réseau. Il se compose essentiellement de deux grandes parties. D’abord, il y a ce que nous appelons un réseau générateur, qui apprend les attributs de haut niveau des visages humains sur lesquels il est entraîné, comme la pose et l’identité de la personne, afin de contrôler le processus de synthèse de l’image. C’est là qu’il apprend le « style » des images fournies, comme un style « humain » ou un style « dessin animé Disney ». Ensuite, pour entraîner ce générateur, nous avons besoin de la deuxième partie de l’architecture GAN,
soit un discriminateur. En bref, pendant l’entraînement, les images générées et les vraies images sont toutes fournies au discriminateur, qui essaie de « distinguer » les vraies images des images générées. Grâce au feedback de cette comparaison, le réseau générateur peut améliorer de façon itérative la qualité des fausses images et tromper le discriminateur.
Comme je l’ai dit, Toonify a utilisé un modèle préentraîné, donc un modèle déjà entraîné sur de nombreuses images et capable de produire de bons résultats. Les créateurs ont ensuite effectué un fine-tuning du modèle en réentraînant son générateur avec 300 images supplémentaires de personnages de films d’animation liés aux univers de Disney, Pixar et DreamWorks.
Créé avec Toonify
En fusionnant des parties précises de deux réseaux GAN différents, l’un entraîné sur des visages humains et l’autre sur des personnages de films d’animation, les chercheurs ont pu créer un hybride qui possède la structure d’un visage de dessin animé, mais un rendu photoréaliste. Cette approche donne à n’importe quelle personne une apparence de dessin animé de haute qualité. Et pas n’importe quel style : celui sur lequel le modèle a été entraîné, soit dans ce cas les personnages des films de Disney, Pixar et DreamWorks. Vous pourriez suivre les mêmes étapes avec n’importe quel autre style de dessin animé si vous possédez assez d’images de ce style précis.
L’élément impressionnant ici est la façon dont ils ont fusionné les deux réseaux.
En bref, ils ont compris que les quelques premières couches étaient responsables de la pose de la tête et de la forme du visage, contrôlées par le réseau GAN entraîné sur les visages humains. Ils ont ensuite constaté que les dernières couches contrôlaient davantage des éléments comme l’éclairage et la texture, soit exactement ce que nous cherchons avec les images de dessins animés. Ils peuvent ainsi générer des images provenant d’un domaine entièrement nouveau avec un haut niveau de contrôle.
Créé avec Toonify
Cela signifie qu’ils pouvaient conserver les caractéristiques du visage humain fourni et en générer une version animée dans un style précis, comme celui des personnages Disney. Les propriétés ne sont donc pas générées au hasard sans réellement suivre les formes et « l’âme » de l’image fournie, contrairement à la majorité des approches. Dans leur article, ils ont appelé cette technique le « layer swapping ». J’ai ajouté le lien dans la description, tout comme celui du site Toonify, où vous pouvez transformer votre visage ou n’importe quelle photo en dessin animé.
Vous pouvez utiliser Toonify dès maintenant en cliquant ici si vous souhaitez l’essayer avec vos propres photos ou n’importe quelle image qui vous vient à l’esprit.
Une courte note des auteurs avant de l’essayer vous-même :
• Pour produire d’excellents résultats, l’image originale doit être d’assez bonne qualité, avec un visage d’environ 512 par 512 pixels.
• Les visages de profil et ceux de moins de 128 par 128 pixels ont peu de chances d’être détectés par le réseau.
Amusez-vous, et partagez vos résultats dans les commentaires avec un lien vers vos images ou identifiez-moi sur Twitter avec @whats_ai. J’aimerais beaucoup les voir !
Si vous aimez mon travail et souhaitez me soutenir, je vous serais très reconnaissant de me suivre sur mes réseaux sociaux :
- La meilleure façon de me soutenir est de me suivre sur Medium.
- Abonnez-vous à ma chaîne YouTube.
- Suivez mes projets sur LinkedIn
- Apprenons l’IA ensemble. Rejoignez notre communauté Discord, partagez vos projets, vos articles scientifiques et les meilleures formations, trouvez des coéquipiers pour Kaggle et bien plus encore !
Références :
Toonify : https://gumroad.com/a/391640179
StyleGAN2 : https://github.com/NVlabs/stylegan2
Article : https://arxiv.org/pdf/2010.05334.pdf
Google Colab pour Toonify : https://colab.research.google.com/drive/1s2XPNMwf6HDhrJ1FMwlW1jl-eQ2-_tlk?usp=sharing#scrollTo=tcWXgS5DXata
FAQ
Que fait Toonify ?
Toonify transpose un portrait dans un générateur de visages adapté pour produire une apparence stylisée de personnage animé.
Quel modèle de base utilise Toonify ?
Le projet repose sur l’architecture préentraînée de génération de visages StyleGAN2 de NVIDIA.
Comment un vrai visage est-il converti dans le nouveau style ?
Le portrait est encodé dans l’espace latent du générateur, puis reconstruit avec le modèle stylisé.
Tous les portraits préserveront-ils aussi bien l’identité ?
Non. La pose, l’éclairage, les occlusions, la qualité de l’image et les lacunes de représentation peuvent modifier la ressemblance.
Toonify crée-t-il un personnage Disney officiel ?
Non. Il produit un style visuel semblable, inspiré de l’animation, plutôt qu’un personnage authentifié et conçu par le studio.