Regardez la vidéo !
Voici eDiffi, la nouvelle approche de pointe en matière de synthèse d’images.
Elle génère des images plus belles et plus précises que toutes les approches précédentes comme DALLE 2 ou Stable Diffusion. eDiffi comprend mieux le texte que vous lui envoyez et se personnalise davantage, en ajoutant une fonctionnalité que nous avons vue dans un article précédent de NVIDIA : l’outil de peinture.
Résultats de l’article sur eDiffi.
Comme le disent les auteurs, vous pouvez peindre avec des mots. En bref, cela signifie que vous pouvez entrer quelques sujets et peindre dans l’image ce qui devrait apparaître ici et là. Vous pouvez donc créer des images beaucoup plus personnalisées qu’avec une génération aléatoire suivant une requête. C’est le niveau suivant : vous pouvez pratiquement obtenir l’image exacte que vous avez en tête simplement en dessinant un horrible croquis rapide, quelque chose que même moi, je peux faire !
Résultats de l’article sur eDiffi.
Comme je l’ai mentionné, les résultats ne sont pas seulement à la fine pointe et plus beaux que ceux de Stable Diffusion, ils sont aussi beaucoup plus contrôlables. Bien sûr, c’est un cas d’utilisation différent puisqu’il faut un peu plus de travail et une idée plus claire en tête pour créer un tel brouillon, mais c’est vraiment passionnant et intéressant. C’est aussi pourquoi je voulais le présenter sur ma chaîne : il ne s’agit pas simplement d’un meilleur modèle, mais d’une approche différente qui offre beaucoup plus de contrôle sur le résultat.
L’outil n’est pas encore offert, mais j’espère vraiment qu’il le sera bientôt. En passant, vous devriez absolument me suivre sur Medium et vous abonner à mon infolettre si vous aimez ce genre d’article et souhaitez accéder à des nouvelles faciles à comprendre sur ce domaine extrêmement complexe !
Une autre façon dont ce nouveau modèle vous donne davantage de contrôle consiste à utiliser différemment la même fonctionnalité que nous venons de voir. En effet, le modèle génère des images guidées par une phrase, mais il peut également être influencé par un croquis rapide. Il prend donc essentiellement une image et un texte comme entrées.
Cela signifie que vous pouvez aussi faire d’autres choses, puisqu’il comprend les images. Ici, les chercheurs exploitent cette capacité en développant une approche de transfert de style qui vous permet d’influencer le style du processus de génération d’images. Il suffit de fournir une image avec un style particulier en plus de votre texte. C’est vraiment génial, et regardez simplement les résultats. C’est assez incroyable. Une seule approche surpasse À LA FOIS les modèles de pointe en transfert de style ET ceux en synthèse d’images.
Maintenant, la question est la suivante : comment NVIDIA a-t-elle pu développer un modèle qui crée de plus belles images,
qui offre plus de contrôle sur le style et la structure de l’image, tout en comprenant et en représentant mieux ce que vous voulez réellement ?
Eh bien, les chercheurs modifient l’architecture de diffusion habituelle de deux façons.
Pipeline d’eDiffi. Image tirée de l’article sur eDiffi.
Premièrement, ils encodent le texte avec deux approches différentes que j’ai déjà présentées sur la chaîne, soit les encodeurs CLIP et T5. Ils utilisent donc des modèles préentraînés pour transformer le texte en différentes représentations vectorielles qui se concentrent sur des caractéristiques distinctes, puisque ces modèles ont été entraînés différemment et se comportent différemment. Ces représentations servent simplement à maximiser le sens réel de la phrase afin que les algorithmes, ou la machine, puissent la comprendre. Pour l’image d’entrée, ils utilisent également la représentation de CLIP. Ils encodent essentiellement l’image afin que le modèle puisse la comprendre lui aussi. Vous pouvez en apprendre davantage dans mes autres vidéos sur les modèles génératifs, puisqu’ils reposent pratiquement tous sur CLIP.
C’est ce qui leur permet d’avoir davantage de contrôle sur le résultat et de traiter à la fois du texte et des images plutôt que seulement du texte.
Cartes d’attention visualisées à différentes étapes du processus. Image tirée de l’article sur eDiffi.
La deuxième modification consiste à utiliser une cascade de modèles de diffusion au lieu de réutiliser le même modèle de façon itérative, comme nous le faisons habituellement avec les modèles basés sur la diffusion. Ici, ils emploient des modèles entraînés pour une partie précise du processus génératif. Chaque modèle n’a donc pas besoin d’être aussi général que le débruiteur de diffusion habituel. Comme il doit se concentrer sur une partie particulière du processus, il peut y être bien meilleur. Les chercheurs ont choisi cette approche parce qu’ils ont observé que le modèle de débruitage semblait beaucoup utiliser les représentations textuelles au début du processus pour orienter sa génération, puis de moins en moins afin de se concentrer sur la qualité et la fidélité du résultat. Cela mène naturellement à l’hypothèse que réutiliser le même modèle de débruitage pendant tout le processus n’est peut-être pas une bonne idée, puisqu’il se concentre automatiquement sur différentes tâches. Et nous savons qu’un généraliste est loin d’atteindre le niveau d’un expert dans toutes les tâches. Pourquoi ne pas utiliser quelques experts plutôt qu’un seul généraliste pour obtenir de bien meilleurs résultats ?
C’est pourquoi ils les appellent des « experts du débruitage », et c’est la principale raison de cette amélioration de la qualité et de la fidélité. Le reste de l’architecture ressemble beaucoup aux autres approches qui agrandissent les résultats finaux avec d’autres modèles afin d’obtenir une image finale en haute définition.
(légende et image tirées de l’article sur eDiffi) Illustration de la méthode proposée pour peindre avec des mots. L’utilisateur peut contrôler l’emplacement des objets en sélectionnant des expressions (ici « rabbit mage » et « clouds »), puis en les peignant sur le canevas. Les masques définis par l’utilisateur augmentent la valeur des entrées correspondantes dans la matrice d’attention des couches d’attention croisée.
Finalement, pour les dessins d’entrée, ils prennent simplement les masques individuels de chaque objet dessiné et les associent aux mots correspondants dans la représentation textuelle encodée. Le principe ressemble à un système de pondération dans les couches d’attention croisée du réseau habituel, qui accorde plus de valeur à certaines parties du texte.
Les domaines de la synthèse d’images et de vidéos deviennent complètement fous ces temps-ci, et nous voyons paraître des résultats impressionnants chaque semaine. J’ai vraiment hâte aux prochaines sorties, et j’adore voir différentes approches qui proposent à la fois des façons innovantes de s’attaquer au problème et des cas d’utilisation différents.
Comme une grande personne l’a déjà dit : « Quelle époque formidable pour être en vie ! »
J’espère que vous avez aimé ce survol rapide de l’approche, qui reste un peu plus général que ce que je fais habituellement. Elle reprend la plupart des éléments que j’ai déjà présentés dans de nombreuses vidéos et les modifie pour qu’ils agissent différemment. Je vous invite à regarder ma vidéo sur Stable Diffusion pour en apprendre davantage sur l’approche de diffusion, puis à lire l’article de NVIDIA pour mieux comprendre cette approche précise et son implémentation.
Je vous retrouve la semaine prochaine avec un autre article incroyable !
Références
►Lire l’article complet : /fr/ediffi/
► Balaji, Y. et al., 2022, eDiffi: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers, https://arxiv.org/abs/2211.01324
►Page du projet : https://research.nvidia.com/labs/cosmos-lab/ediff-i/
►Mon infolettre (une nouvelle application d’IA expliquée chaque semaine directement dans vos courriels !) : /fr/newsletter/
FAQ
Qu’est-ce qu’eDiff-I ?
eDiff-I est le système de synthèse d’images par diffusion de NVIDIA, conçu pour mieux respecter les requêtes et offrir plus de contrôle aux utilisateurs.
Comment les utilisateurs peuvent-ils contrôler l’endroit où les sujets apparaissent ?
Ils peuvent peindre des indications spatiales directement sur le canevas au lieu de décrire chaque position uniquement avec du texte.
Pourquoi le contrôle spatial est-il utile ?
Une requête textuelle peut nommer les bons objets tout en les plaçant dans une composition qui ne correspond pas à ce que vous vouliez.
En quoi eDiff-I diffère-t-il d’une génération aléatoire à partir d’une requête ?
Il combine le langage et des indications visuelles afin que les créateurs puissent influencer à la fois la structure de la scène et son style.
Un meilleur résultat sur les benchmarks garantit-il un meilleur flux de travail ?
Non. Le modèle utile est celui qui respecte de façon constante les contrôles nécessaires sur vos propres exemples.