L’année dernière, DALL·E 2 nous a époustouflés. Il s’agissait du premier modèle texte-image vraiment impressionnant d’OpenAI. Mais aujourd’hui, préparez-vous à entrer dans un monde où l’art et la technologie fusionnent comme jamais auparavant avec sa troisième version!
Plongeons dans DALL·E 3 avec un tout nouvel article scientifique qu’OpenAI vient de publier et découvrons les avancées qui le placent loin devant DALL·E 2!
Dans un décor fantastique, une mouffette humanoïde très détaillée et couverte de fourrure pose avec assurance dans un plan moyen, les yeux perçants et vêtue d’une veste en peau d’animal. L’artiste a magistralement rendu le personnage en art numérique, capturant les détails complexes de la fourrure et de la texture des vêtements. Image et légende tirées de l’article scientifique.
Entraîné sur des légendes d’images générées et très descriptives, DALL·E 3 ne fait pas que suivre les prompts. Il leur donne vie. Les résultats sont incroyables. Non seulement il comprend les prompts, mais il comprend aussi l’histoire derrière votre prompt. Les progrès réalisés depuis 2020 sont tout simplement incroyables.
Résultats de DALLE 1. Image tirée de l’article de blogue d’OpenAI : A. Ramesh et al., Zero-shot text-to-image generation, 2021. arXiv:2102.12092.
Au cœur de la puissance de DALL·E 3 se trouve un robuste modèle de génération de légendes d’images. Tout repose sur les légendes, soit le texte fourni pendant l’entraînement avec l’image que le modèle devrait pouvoir générer. Ce nouveau modèle de légendes d’images est la principale raison pour laquelle DALLE 3 est tellement meilleur que DALLE 2. Les modèles précédents étaient d’abord entraînés de façon auto-supervisée avec des paires image-texte extraites d’Internet. Imaginez une photo Instagram accompagnée de sa légende ou de ses mots-clics. Le texte n’est pas toujours très informatif, ni même lié à l’image. Les auteurs de la publication décrivent surtout le sujet principal de la photo, pas toute l’histoire qui l’entoure, ni son environnement, ni le texte qui apparaît dans l’image avec le sujet principal. Ils ne précisent pas non plus où chaque élément se trouve dans l’image, une information pourtant utile pour reproduire précisément une image semblable. Pire encore, de nombreuses légendes sont simplement des blagues, des pensées sans rapport ou des poèmes partagés avec les images. À ce stade, entraîner un modèle avec de telles données revient presque à se tirer dans le pied.
Et si vous aviez plutôt des légendes parfaites? Des descriptions super détaillées contenant toute l’information spatiale nécessaire pour recréer l’image? Ce serait parfait! Mais comment obtenir ces renseignements pour des millions d’images? Nous pourrions engager des centaines ou des milliers d’humains pour décrire précisément les images. Ou nous pourrions d’abord utiliser un autre modèle pour comprendre les images et générer de meilleures légendes! Eh bien, c’est ce qu’ils ont fait. Ils ont commencé par créer un puissant modèle de génération de légendes d’images, puis l’ont appliqué à leur grand jeu de données existant de paires image-légende pour les améliorer.
DALL·E 3 a utilisé 95 % de légendes synthétiques et 5 % de légendes réelles, un mélange qui l’amène dans des territoires créatifs encore inexplorés par ses prédécesseurs. Ce ratio produit aussi de bien meilleurs résultats que l’utilisation d’une plus petite proportion de légendes synthétiques. Regardez ces légendes (dans l’image un peu plus bas)! Ne sont-elles pas meilleures qu’une courte description Instagram? Elles sont à la fois bien écrites et super détaillées.
Image et légende tirées de l’article scientifique.
Mais qu’est-ce que ce modèle de génération de légendes d’images exactement? Eh bien, il ressemble beaucoup à un modèle de langage comme ChatGPT. Ici, au lieu de prendre du texte et de le séparer en tokens, nous prenons des images. Les tokens sont les nombres que le modèle peut comprendre et traiter pour générer des phrases qui ont statistiquement du sens selon ce que l’utilisateur a demandé ou dit. J’ai mentionné qu’il suffisait de remplacer les mots par des images, mais ce n’est pas si simple. Les images sont beaucoup plus grandes que les mots et contiennent des milliers de valeurs de pixels. Heureusement, des approches comme CLIP, elles aussi entraînées sur des paires image-légende, peuvent prendre des images et les représenter dans un espace compressé. CLIP convertit l’image et le texte dans un nouvel espace que lui seul comprend, puis s’assure que le texte et l’image d’une même paire produisent des valeurs semblables. Si vous lui fournissez ensuite votre image, cette nouvelle représentation devrait avoir un sens général que le modèle peut comprendre, comme si elle venait d’un texte. Pour générer leurs données synthétiques, les chercheurs doivent alors simplement utiliser cette nouvelle représentation pour comprendre les images et apprendre à générer une bonne légende. C’est la partie difficile. Générer une bonne légende. Bien sûr, ils ont utilisé un jeu de données organisé contenant de bonnes paires image-légende afin de fine-tuner le modèle pour qu’il produise de meilleures légendes, pas seulement les descriptions de base dont ils disposaient. Ils ont donc quand même dû engager des humains pour construire un jeu de données, mais celui-ci était beaucoup plus petit que des millions d’images. Ils l’ont d’abord fait avec d’excellentes légendes décrivant le sujet principal de l’image, afin que le modèle comprenne sa caractéristique la plus importante. Ensuite, ils l’ont fine-tuné une nouvelle fois en ajoutant non seulement le sujet principal, mais aussi ce qui l’entoure, l’arrière-plan, le texte présent dans l’image, les styles, les couleurs, etc. Ils ont ainsi créé les légendes très descriptives que vous voyez ici.
Image et légende tirées de l’article scientifique.
Et voilà! Ils ont maintenant un modèle de génération de légendes d’images capable de prendre une image et de créer une nouvelle légende descriptive! Ils l’appliquent à tout leur jeu de données, puis entraînent le modèle DALLE 3 de la même façon qu’ils avaient entraîné DALLE 2. J’ai d’ailleurs fait une vidéo à ce sujet si vous voulez en savoir plus sur son fonctionnement!
En passant, si vous aimez découvrir de nouveaux modèles d’IA comme DALLE 3, vous devriez vous abonner à la chaîne, puisque je couvre la plupart d’entre eux et que je construis même des produits cool avec ces modèles. Je partage aussi tout dans mon infolettre si vous voulez recevoir directement par email chaque nouvelle vidéo, chaque article et chaque projet que je publie.
Pendant les évaluations, DALL·E 3 surpasse DALL·E 2, et les évaluateurs humains préfèrent constamment les images générées par le modèle le plus récent. Il obtient aussi de bien meilleurs résultats quantitatifs sur différents benchmarks, comme T2I-CompBench, créé par Huang et al. Ce benchmark contient 6 000 prompts textuels compositionnels et plusieurs mesures d’évaluation conçues précisément pour évaluer les modèles compositionnels de génération texte-image.
Tableau et légende tirés de l’article scientifique.
Donc, pour résumer, DALLE-3 représente un énorme progrès dans le respect des prompts et produit d’excellents résultats qualitatifs, mais il a encore ses limites.
Il a de la difficulté avec certains aspects de la génération d’images, comme la compréhension spatiale. Il est simplement très difficile d’obtenir des descriptions assez détaillées qui précisent l’emplacement de tous les objets. Cette troisième version est aussi bien meilleure pour générer du texte à l’écran, une tâche avec laquelle tous les modèles précédents avaient beaucoup de difficulté, mais elle demeure assez peu fiable. Nous devrons attendre DALLE-4 pour obtenir du texte correctement généré dans les images!
Un autre problème de DALLE 3 vient du modèle de génération de légendes d’images. Les chercheurs ont signalé que ce modèle a tendance à halluciner des détails importants au sujet d’une image. Il aime souvent donner trop de détails plutôt que pas assez, même s’il doit les inventer. Je suppose que c’est simplement un comportement habituel des LLM, peut-être parce que les bons auteurs humains aiment donner des détails et raconter une bonne histoire, et que le modèle a été entraîné sur ce style d’écriture. Quoi qu’il en soit, il n’existe pas de solution complète à ce nouveau problème d’hallucination. C’est pourquoi vous devriez toujours rester prudent lorsque vous utilisez ces modèles de langage, ou même les modèles d’image dans ce cas. Mais si vous connaissez ce problème, vous pouvez tout de même faire des merveilles avec ces modèles et utiliser des techniques comme le prompt engineering ou le RAG pour mieux contrôler leurs résultats, comme je l’ai expliqué dans d’autres vidéos.
J’espère que vous avez aimé cet article. Encore une fois, si vous voulez aller un peu plus loin dans les détails techniques, je vous recommande de regarder mes vidéos précédentes sur DALLE et DALLE-2. Je suggère aussi aux plus curieux d’entre vous de lire l’article scientifique sur DALLE 3, qui offre plus de détails sur sa création, son évaluation et ses limites actuelles.
J’aimerais aussi voir toutes les créations que vous pouvez partager avec nous sur le serveur Discord Learn AI Together. Nous avons des canaux consacrés à la vision et aux discussions aléatoires. C’est devenu un très bon endroit pour obtenir des conseils sur le prompting!
Merci d’avoir lu l’article au complet. Je vous retrouve la prochaine fois ici ou dans mon infolettre, liée ci-dessous, pour découvrir d’autres nouvelles incroyables sur l’IA!
Références
- Betker et al. d’OpenAI, 2023 : DALL-E 3, « Improving Image Generation with Better Captions », https://cdn.openai.com/papers/dall-e-3.pdf
- Vidéo originale sur Dalle : https://youtu.be/DJToDLBPovg
- Vidéo sur Dalle 2 : https://youtu.be/rdGVbPI42sA
FAQ
Pourquoi de meilleures légendes ont-elles amélioré DALL-E 3?
Des légendes détaillées fournissent pendant l’entraînement une description plus claire des objets, des attributs, des relations et de leur position spatiale dans chaque image.
Qu’est-ce qui manquait à plusieurs légendes d’images originales?
Les courtes étiquettes omettaient souvent l’emplacement des objets et leurs relations les uns avec les autres.
Comment les meilleures légendes d’entraînement ont-elles été produites?
Un modèle spécialisé dans la description d’images a généré des descriptions plus riches avant l’entraînement du modèle texte-image.
Pourquoi la qualité des légendes influence-t-elle le respect des prompts?
Un modèle peut seulement apprendre des relations texte-image détaillées si ses paires d’entraînement décrivent ces détails de façon cohérente.
De meilleures légendes règlent-elles toutes les erreurs de génération?
Non. Elles améliorent l’alignement, mais le rendu du texte, le comptage, le raisonnement spatial et les compositions difficiles peuvent encore échouer.