Avez-vous déjà rêvé de pouvoir modifier n’importe quelle partie d’une image avec des croquis ou des suggestions rapides? Changer des caractéristiques précises comme les yeux, les sourcils ou même les roues de votre voiture? Eh bien, non seulement c’est possible, mais ça n’a jamais été aussi simple grâce à ce nouveau modèle appelé EditGAN, et les résultats sont vraiment impressionnants! Vous pouvez essentiellement améliorer, ou transformer en mème, n’importe quelle image très rapidement. En effet, vous pouvez contrôler la caractéristique de votre choix à partir d’un croquis rapide, et le modèle appliquera seulement les modifications demandées tout en gardant le reste de l’image identique. Obtenir un tel contrôle est depuis longtemps recherché, mais demeure extrêmement difficile avec les modèles d’IA de synthèse et de modification d’images comme les GAN.
Exemples de résultats d’EditGAN. Image de Ling et al., 2021, EditGAN.
Comme nous l’avons dit, cet excellent nouvel article scientifique de NVIDIA, de l’Université de Toronto et du MIT vous permet de modifier n’importe quelle image avec un contrôle remarquable sur des caractéristiques précises à partir de croquis. Habituellement, le contrôle de caractéristiques précises nécessite d’immenses jeux de données et des spécialistes capables de déterminer quelles caractéristiques modifier dans le modèle afin d’obtenir l’image voulue, en changeant seulement les éléments demandés. EditGAN apprend plutôt, à partir d’une poignée d’exemples étiquetés, à associer des segmentations aux images. Vous pouvez ainsi modifier les images avec leur segmentation, autrement dit avec des croquis rapides. Le modèle préserve toute la qualité de l’image tout en offrant un niveau de détail et de liberté jamais atteint auparavant. C’est un immense progrès, mais la façon dont les chercheurs y sont arrivés est encore plus cool. Plongeons donc un peu plus profondément dans leur méthode!
Le modèle utilise d’abord StyleGAN2 pour générer des images. Il s’agissait du meilleur modèle de génération d’images disponible au moment de la publication, et il était largement utilisé en recherche. Je ne vais pas entrer dans les détails de ce modèle, puisque je l’ai déjà couvert dans plusieurs articles présentant différentes applications si vous voulez en apprendre davantage. Je vais plutôt supposer que vous comprenez les bases de StyleGAN2 : il prend une image, l’encode dans un sous-espace condensé et utilise un type de modèle appelé générateur pour transformer ce sous-espace encodé en une autre image. Le processus fonctionne aussi en utilisant directement de l’information encodée plutôt qu’en encodant d’abord une image pour obtenir cette information. L’élément important ici est le générateur.
Fonctionnement du générateur d’un réseau GAN.
Comme je l’ai dit, le générateur prend de l’information provenant d’un sous-espace, souvent appelé espace latent, qui contient beaucoup de renseignements sur notre image et ses caractéristiques. Mais cet espace est multidimensionnel, et nous pouvons difficilement le visualiser. Le défi consiste à déterminer quelle partie de ce sous-espace est responsable de la reconstruction de chaque caractéristique de l’image. EditGAN répond à ce problème. Non seulement il vous indique quelle partie du sous-espace accomplit quelle tâche, mais il vous permet aussi de la modifier automatiquement à l’aide d’une autre entrée : un croquis que vous pouvez facilement dessiner. En effet, il encode votre image, ou prend simplement un code latent précis, puis génère à la fois la carte de segmentation de l’image et l’image elle-même. Autrement dit, un modèle est entraîné pour placer la segmentation et l’image dans le même sous-espace. Vous pouvez ainsi contrôler seulement les caractéristiques voulues sans rien faire d’autre, puisqu’il vous suffit de modifier l’image de segmentation pour que l’autre suive. L’entraînement porte uniquement sur cette nouvelle génération de segmentation, tandis que le générateur StyleGAN reste fixe pour l’image originale. Le modèle peut donc comprendre et relier les segmentations au même sous-espace dont le générateur a besoin pour reconstruire l’image. Ensuite, s’il est bien entraîné, vous pouvez simplement modifier cette segmentation, et l’image changera en conséquence!
Aperçu d’EditGAN (1) et processus (2,3,4). Image de Ling et al., 2021, EditGAN.
EditGAN attribue essentiellement chaque pixel de votre image à une classe précise, comme la tête, l’oreille, l’œil, etc., puis contrôle ces classes indépendamment à l’aide de masques qui couvrent les pixels des autres classes dans l’espace latent.
Carte de segmentation d’un oiseau. Image de Ling et al., 2021, EditGAN.
Chaque pixel possède donc son étiquette, et EditGAN décide quelle étiquette modifier au lieu de choisir directement un pixel dans l’espace latent. Il reconstruit ensuite l’image en modifiant seulement la région ciblée. Et voilà! En reliant une image générée à une carte de segmentation, EditGAN vous permet de modifier cette carte comme vous le souhaitez et d’appliquer les changements à l’image pour en créer une nouvelle version!
Bien sûr, après avoir été entraîné sur ces exemples, le modèle fonctionne avec des images qu’il n’a jamais vues.
Et comme tous les GAN, ses résultats sont limités au type d’images utilisé pendant l’entraînement. Vous ne pouvez donc pas l’appliquer à des images de chats si vous l’avez entraîné avec des voitures. Ça demeure tout de même assez impressionnant, et j’adore voir les chercheurs essayer de nous donner des façons intuitives de jouer avec les GAN, par exemple avec des croquis plutôt que des paramètres. Le code n’est pas encore disponible, mais il le sera bientôt, et j’ai très hâte de l’essayer! Ce n’était qu’un aperçu de cet incroyable nouveau modèle, et je vous invite fortement à lire l’article scientifique pour mieux comprendre les détails techniques.
Dites-moi ce que vous en pensez. J’espère que vous avez aimé cet article autant que j’ai aimé découvrir ce nouveau modèle!
Segment sur l’éthique de l’IA par Martina Todaro
« Tout récemment, une nouvelle loi en Norvège a rendu illégal le partage en ligne de photos promotionnelles retouchées par les annonceurs et les influenceurs sur les réseaux sociaux lorsque les retouches ne sont pas déclarées. L’amendement exige de signaler les changements apportés après la prise de la photo, ainsi que ceux effectués avant, par exemple avec les filtres Snapchat et Instagram qui modifient l’apparence d’une personne. Selon Vice, les modifications que les personnes payées pour publier des photos doivent signaler comprennent notamment les “lèvres agrandies, les tailles amincies et les muscles exagérés” [1]. » Pouvons-nous prévoir si cette pratique deviendra aussi la norme dans d’autres pays à l’avenir?
Je me souviens qu’au début des années 2000, la retouche photo était l’affaire des graphistes. C’était un investissement que seules les entreprises et les professionnels pouvaient se permettre. Cette tâche est ensuite devenue plus accessible à tous grâce à l’intelligence artificielle. Grâce à Nvidia et à plusieurs autres grandes entreprises technologiques, retoucher des photos est maintenant si facile, répandu et socialement accepté que les gens ne se demandent même plus si c’est réellement bénéfique ou non. Comme plusieurs autres outils, il s’agit d’un service gratuit, alors pourquoi ne pas l’utiliser?
Dans une société en réseau fondée sur le consensus, où attirer l’attention est crucial et être intéressant a de la valeur, les individus, pas seulement les influenceurs, ont de puissants incitatifs à modifier leurs images : le marché est florissant.
Bien sûr, puisque la pratique est aussi répandue et acceptée, il devrait être assez normal de s’attendre à voir des images retouchées provenant des autres. Mais ça ne semble pas être le cas. Des recherches ont montré que les normes de beauté irréalistes imposées par les réseaux sociaux ont une influence négative sur l’estime de soi des utilisateurs.
Les conséquences comprennent des troubles alimentaires, des problèmes de santé mentale et des pensées suicidaires chez les jeunes [2].
Ma suggestion : si vous faites la promotion de votre travail et utilisez des images retouchées de personnes, n’attendez pas qu’une réglementation vous oblige à le déclarer. Tout le monde le sait. Prenez une longueur d’avance sur vos concurrents en choisissant d’être une entreprise ou un professionnel éthique. C’est un petit geste, mais il peut représenter beaucoup pour les prochaines générations.
- Segment sur l’éthique de l’IA par Martina Todaro
Merci encore à Weights & Biases d’avoir commandité cet article, et merci à vous de toujours lire!
Si vous aimez mon travail et voulez rester à jour sur l’IA, vous devriez absolument me suivre sur mes autres réseaux sociaux (LinkedIn, Twitter) et vous abonner à mon infolettre hebdomadaire sur l’IA!
Pour me soutenir :
- La meilleure façon de me soutenir est de devenir membre de ce site Web ou de vous abonner à ma chaîne YouTube si vous aimez le format vidéo.
- Suivez-moi ici ou sur Medium
- Vous voulez découvrir l’IA ou améliorer vos compétences? Lisez ceci!
Références
- Ling, H., Kreis, K., Li, D., Kim, S.W., Torralba, A. and Fidler, S., 2021, May. EditGAN: High-Precision Semantic Image Editing. Dans Thirty-Fifth Conference on Neural Information Processing Systems.
- Code et outil interactif (bientôt disponibles) : https://nv-tlabs.github.io/editGAN/
FAQ
Qu’est-ce qu’EditGAN permet aux utilisateurs de modifier?
Il modifie des parties sémantiques précises d’une image à partir d’un simple croquis ou d’une modification de la carte de segmentation.
Comment une carte de segmentation offre-t-elle du contrôle?
La carte étiquette les régions de l’image. La modification d’une étiquette indique donc au générateur quelle partie de l’objet il doit changer.
EditGAN peut-il préserver le reste de l’image?
Oui. Son objectif consiste à localiser la modification demandée tout en gardant les caractéristiques sans rapport stables.
Le modèle fonctionne-t-il sur des images jamais vues?
Après son entraînement avec des exemples appariés, il peut appliquer les modifications sémantiques apprises à des images qu’il n’a pas vues pendant l’entraînement.
Pourquoi la modification à partir de croquis est-elle pratique?
Une instruction visuelle approximative est souvent plus rapide et plus précise qu’une description textuelle de la géométrie.