Si vous trouviez déjà les résultats de DALL-E 2 impressionnants, attendez de voir ce que peut faire ce nouveau modèle de Google Brain. DALL-E est incroyable, mais ses résultats manquent souvent de réalisme. C’est justement le problème auquel l’équipe s’est attaquée avec ce nouveau modèle appelé Imagen. Elle présente de nombreux résultats sur la page du projet, ainsi qu’un benchmark conçu pour comparer les modèles texte-image. Imagen y surpasse clairement DALL-E 2 et les approches précédentes de génération d’images. Consultez les résultats sur la page du projet !
Ce benchmark est super cool. Nous voyons apparaître de plus en plus de modèles texte-image, et il est assez difficile de comparer leurs résultats, sauf lorsque nous pouvons simplement conclure qu’ils sont très mauvais, ce qui arrive souvent. Mais ce modèle et DALL-E 2 déjouent certainement ces attentes.
tl;dr : il s’agit d’un nouveau modèle texte-image comparable à DALL-E 2, mais plus réaliste selon les évaluateurs humains.
Exemple de résultat. Image tirée du site du projet Imagen.
Tout comme DALL-E, que j’ai présenté il y a un mois, ce modèle reçoit un texte comme « un golden retriever portant un béret bleu à carreaux et un col roulé rouge à pois », puis tente de générer une image photoréaliste à partir de cette drôle de phrase. L’idée principale est qu’Imagen peut non seulement comprendre le texte, mais aussi comprendre les images qu’il génère, puisqu’elles sont plus réalistes que celles de toutes les approches précédentes.
Bien sûr, lorsque je dis « comprendre », je parle de sa propre forme de compréhension, qui diffère de la nôtre. Le modèle ne comprend pas réellement le texte ou l’image qu’il génère. Il possède certainement une certaine connaissance du sujet, mais il comprend surtout comment ce type précis de phrase et les objets qu’elle contient devraient être représentés par des pixels dans une image. Je reconnais tout de même que, lorsque nous voyons ces résultats, on dirait vraiment qu’il comprend ce que nous lui envoyons !
Exemple de résultat. Image tirée du site du projet Imagen.
Évidemment, vous pouvez le piéger avec des phrases tellement étranges qu’elles ne pourraient jamais sembler réalistes, comme celle-ci. Mais il réussit parfois à dépasser votre propre imagination et crée quelque chose d’incroyable.
Architecture du modèle Imagen. Image tirée de l’article scientifique.
Son fonctionnement est encore plus impressionnant, puisqu’il utilise quelque chose dont je n’avais jamais parlé sur la chaîne : un modèle de diffusion. Mais avant d’utiliser ce modèle de diffusion, nous devons d’abord comprendre l’input textuel. C’est aussi la principale différence avec DALL-E. Les chercheurs ont utilisé un immense modèle de texte, semblable à GPT-3, afin de comprendre le texte aussi bien qu’un système d’IA peut le faire. Au lieu d’entraîner un modèle de texte en même temps que le modèle de génération d’images, ils utilisent simplement un grand modèle préentraîné et gèlent ses paramètres pour qu’il ne change pas pendant l’entraînement du générateur d’images. Selon leur étude, cette décision donne de bien meilleurs résultats et le modèle semble mieux comprendre le texte.
Ce module textuel est donc la façon dont le modèle comprend le texte. Cette compréhension est représentée par ce que nous appelons des encodages. Le modèle a appris, à partir d’immenses datasets, à convertir les inputs textuels en un espace d’information qu’il peut utiliser et comprendre. Nous devons maintenant employer ces données textuelles transformées pour générer l’image. Comme je l’ai mentionné, les chercheurs utilisent un modèle de diffusion pour y arriver.
Mais qu’est-ce qu’un modèle de diffusion ?
Les modèles de diffusion sont des modèles génératifs qui convertissent du bruit gaussien aléatoire en images en apprenant à inverser ce bruit de façon itérative. Ce sont de puissants modèles pour la superrésolution et d’autres traductions d’image à image. Dans ce cas-ci, ils utilisent une architecture U-Net modifiée, que j’ai présentée plusieurs fois dans mes vidéos précédentes. Je ne vais donc pas entrer dans les détails de son architecture ici.
En gros, le modèle apprend à débruiter une image à partir de bruit pur. L’encodage du texte l’oriente à l’aide d’une technique appelée Classifier-free guidance, que les chercheurs décrivent comme essentielle à la qualité des résultats et expliquent clairement dans leur article scientifique. Je vous laisse le lire pour en apprendre davantage sur cette technique grâce au lien dans les références ci-dessous.
Nous avons donc maintenant un modèle capable de recevoir du bruit gaussien aléatoire et l’encodage de notre texte, puis de débruiter ce bruit en suivant les indications de l’encodage pour générer notre image. Mais comme vous pouvez le voir dans la figure du modèle ci-dessus, ce n’est pas aussi simple qu’il y paraît. L’image que nous venons de générer est très petite. Une image plus grande demanderait beaucoup plus de calculs et un modèle beaucoup plus gros, ce qui n’est pas viable. Les chercheurs commencent plutôt par générer une image photoréaliste avec le modèle de diffusion que nous venons de voir, puis utilisent d’autres modèles de diffusion pour améliorer sa qualité de façon itérative. J’ai déjà présenté des modèles de superrésolution dans mes vidéos précédentes, alors je n’entrerai pas dans les détails, mais faisons-en un bref survol. Encore une fois, nous voulons du bruit et non une image. Nous dégradons donc l’image initiale en basse résolution avec davantage de bruit gaussien, puis nous entraînons notre deuxième modèle de diffusion à recevoir cette image modifiée et à l’améliorer.
Architecture du modèle Imagen. Image tirée de l’article scientifique, modifiée par l’auteur.
Nous répétons ensuite ces deux étapes avec un autre modèle, mais cette fois en utilisant seulement des sections de l’image afin de conserver le même facteur d’agrandissement tout en maintenant des calculs viables.
Et voilà ! Nous obtenons notre image photoréaliste en haute résolution !
Exemple de résultat. Image tirée du site du projet Imagen.
Bien sûr, ce n’était qu’un aperçu de ce nouveau modèle passionnant et de ses résultats vraiment impressionnants. Je vous invite vivement à lire l’excellent article scientifique pour mieux comprendre l’approche et consulter une analyse détaillée des résultats.
Et vous, trouvez-vous les résultats comparables à ceux de DALL-E 2 ? Sont-ils meilleurs ou moins bons ? Pour ma part, je crois qu’Imagen est son principal concurrent pour le moment. Dites-moi ce que vous pensez de cette nouvelle publication de Google Brain et de mon explication.
J’espère que cet article vous a plu.
Je vous retrouve la semaine prochaine avec un autre article scientifique incroyable !
Références
►Article scientifique : Saharia et al., 2022, Imagen, Google Brain, https://gweb-research-imagen.appspot.com/paper.pdf
►Lien du projet : https://gweb-research-imagen.appspot.com/
►Mon infolettre (une nouvelle application de l’IA expliquée chaque semaine dans vos emails !) : /fr/newsletter/
FAQ
Qu’est-ce que le modèle Imagen de Google ?
Imagen est un système de diffusion texte-image conçu pour générer des images photoréalistes à partir de descriptions en langage naturel.
Pourquoi Imagen a-t-il besoin d’un puissant encodeur de texte ?
Le modèle d’image doit d’abord obtenir une représentation détaillée des objets, des attributs et des relations présents dans le prompt.
Que fait le processus de diffusion ?
Il part du bruit et débruite la représentation de façon répétée pour arriver à une image alignée avec l’encodage du texte.
Imagen comprend-il un prompt comme un humain ?
Non. Il apprend des correspondances statistiques entre les représentations du langage et les motifs de pixels, sans posséder l’expérience humaine.
Comment comparer les modèles texte-image ?
Évaluez le respect des prompts, la qualité des images, la diversité, les biais, la sécurité et la constance avec les prompts pertinents pour votre utilisation.