Je suis certain que vous avez vu des images comme celles-ci dans votre fil Twitter au cours des derniers jours. Si vous vous demandiez ce qu’elles étaient, ce sont des images générées par une IA appelée DALL·E mini. Si vous ne les avez jamais vues, vous devez lire cet article parce que vous passez à côté de quelque chose. Et si vous vous demandez comment cela est possible, eh bien, vous êtes sur l’article parfait et connaîtrez la réponse en moins de cinq minutes.
Ce nom, DALL·E, doit déjà vous dire quelque chose puisque j’ai présenté deux versions de ce modèle créées par OpenAI au cours de la dernière année, avec des résultats extraordinaires. Mais celle-ci est différente. DALL·E mini est un projet open source créé par la communauté et inspiré de la première version de DALL·E. Il n’a cessé d’évoluer depuis et produit maintenant des résultats extraordinaires grâce à Boris Dayma et à tous les contributeurs.
Oui, cela signifie que vous pouvez l’essayer immédiatement grâce à Hugging Face.
Le lien se trouve dans les références ci-dessous, mais accordez encore quelques secondes à cet article avant de commencer à jouer avec le modèle. Cela en vaudra la peine, et vous en saurez beaucoup plus sur cette IA que toutes les personnes de votre entourage.
Vue d’ensemble du modèle DALL·E mini.
À la base, DALL·E mini ressemble beaucoup à DALL·E. Ma première vidéo sur le modèle constitue donc une excellente introduction à celui-ci. Comme vous vous en doutez, il comporte deux composantes principales : un module de langage et un module d’image.
Il doit d’abord comprendre le prompt textuel, puis générer des images qui le suivent. Il s’agit de deux tâches très différentes qui nécessitent deux modèles très différents. Les principales différences avec DALL·E se trouvent dans les architectures des modèles et les données d’entraînement, mais le processus de bout en bout est pratiquement le même. Ici, nous avons un modèle de langage appelé BART. BART est entraîné à transformer un input textuel en un langage compréhensible pour le modèle suivant. Pendant l’entraînement, nous fournissons à DALL·E mini des paires d’images et de légendes. BART prend la légende textuelle, la transforme en tokens discrets, puis nous l’ajustons selon la différence entre l’image générée et l’image fournie comme input.
Modèle BART et encodages.
Mais alors, qu’est-ce qui génère l’image ici ? Nous appelons cette composante un décodeur. Elle prend la nouvelle représentation de la légende produite par BART, que nous appelons un encodage, puis la décode en image. Dans ce cas, le décodeur d’images est VQGAN, un modèle que j’ai déjà présenté sur la chaîne. Je vous invite donc vraiment à regarder cette vidéo si le sujet vous intéresse.
VQGAN dans DALL·E mini
En bref, VQGAN est une excellente architecture pour faire l’inverse. Il apprend à partir d’un tel mapping d’encodage et génère une image. Comme vous vous en doutez, GPT-3 et les autres modèles de langage génératifs font quelque chose de très semblable : ils encodent du texte, puis décodent le nouveau mapping généré en un nouveau texte qu’ils vous renvoient. Ici, c’est la même chose, mais avec des pixels qui forment une image plutôt que des lettres qui forment une phrase. Le modèle apprend à partir de millions de paires encodage-image trouvées sur Internet, donc essentiellement de vos images publiées avec leurs légendes, et finit par reconstruire l’image initiale avec assez de précision.
Ajout de bruit aux encodages pour générer une variation de l’image
Vous pouvez ensuite lui fournir de nouveaux encodages qui ressemblent à ceux de l’entraînement, mais qui diffèrent légèrement. Il générera alors une image entièrement nouvelle, mais semblable. De la même façon, nous ajoutons habituellement un peu de bruit à ces encodages afin de générer une nouvelle image qui représente le même prompt textuel.
Et voilà ! C’est ainsi que DALL·E mini apprend à générer des images à partir de vos légendes textuelles.
Regardez plus de résultats dans la vidéo :
Comme je l’ai mentionné, le modèle est open source et vous pouvez même l’essayer immédiatement grâce à Hugging Face. Bien sûr, il ne s’agissait que d’une vue d’ensemble simple, et j’ai omis quelques étapes importantes par souci de clarté. Si vous souhaitez obtenir plus de détails sur le modèle, j’ai ajouté des liens vers d’excellentes ressources dans les références ci-dessous. J’ai aussi récemment publié deux courtes vidéos sur YouTube qui présentent quelques résultats amusants, ainsi que des comparaisons avec DALL·E 2 pour les mêmes prompts textuels.
C’est vraiment intéressant à voir !
J’espère que vous avez aimé cet article et la vidéo. Si c’est le cas, prenez quelques secondes pour me le dire dans les commentaires et laisser un like.
On se retrouve, non pas la semaine prochaine, mais dans deux semaines avec un autre article extraordinaire !
Références
►Lisez l’article complet : /fr/dalle-mini/
►DALL·E mini contre DALL·E 2 : https://youtu.be/0Eu9SDd-95E
►Résultats les plus étranges et amusants de DALL·E mini : https://youtu.be/9LHkNt2cH_w
►Essayez DALL·E mini : https://huggingface.co/spaces/dalle-mini/dalle-mini
►Code de DALL·E mini : https://github.com/borisdayma/dalle-mini
►Twitter de Boris Dayma : https://twitter.com/borisdayma
►Excellent rapport technique complet de Boris Dayma et al. : wandb.ai
►Excellent fil sur DALL·E mini par Tanishq Mathew Abraham : https://twitter.com/iScienceLuvr/status/1536294746041114624/photo/1?ref_src=twsrc%5Etfw%7Ctwcamp%5Etweetembed%7Ctwterm%5E1536294746041114624%7Ctwgr%5E%7Ctwcon%5Es1_&ref_url=https%3A%2F%2Fwww.redditmedia.com%2Fmediaembed%2Fvbqh2s%3Fresponsive%3Dtrueis_nightmode%3Dtrue
►VQGAN expliqué : https://youtu.be/JfUTd8fjtX8
►Mon infolettre (une nouvelle application de l’IA expliquée chaque semaine dans vos emails !) : /fr/newsletter/
Rejoignez notre serveur Discord, Learn AI Together :
►https://discord.gg/learnaitogether
FAQ
Qu’est-ce que DALL·E mini ?
DALL·E mini est un système open source de texte en image qui génère des tokens visuels à partir d’un prompt écrit.
Comment le texte devient-il une image ?
Le modèle convertit la légende en tokens discrets, prédit les tokens de l’image, puis les décode en pixels.
Quel rôle BART joue-t-il ?
Une composante fondée sur BART traite la représentation textuelle qui sert à conditionner les tokens de l’image générée.
En quoi DALL·E mini diffère-t-il du DALL·E d’OpenAI ?
Ils partagent un processus général de texte en image, mais utilisent des architectures, des datasets, des échelles et des détails d’entraînement différents.
Pourquoi les versions open source étaient-elles importantes ?
Elles ont permis à davantage de personnes d’inspecter, d’exécuter et d’expérimenter la génération de texte en image sans avoir accès à un service fermé.