Regardez la vidéo et découvrez plus de résultats !
Voici Make-A-Scene. Ce n’est pas « juste un autre Dalle ». Le but de ce nouveau modèle n’est pas de permettre aux utilisateurs de générer des images aléatoires à partir d’une requête textuelle comme le fait Dalle, ce qui est vraiment génial, mais qui limite le contrôle de l’utilisateur sur les générations.
Image tirée de l’article de blogue de Meta.
Meta voulait plutôt faire progresser l’expression créative en fusionnant cette tendance du texte vers l’image avec les modèles précédents qui transforment un croquis en image. C’est ainsi qu’est né « Make-A-Scene », un fantastique mélange de génération d’images guidée par du texte et des croquis. En pratique, cette nouvelle approche vous permet de dessiner rapidement un chat, puis de décrire le type d’image que vous souhaitez. Le processus de génération suivra à la fois le croquis et les indications de votre texte. Nous nous rapprochons encore davantage de la possibilité de générer en quelques secondes l’illustration parfaite que nous avons en tête.
Image tirée de l’article de blogue de Meta.
Vous pouvez voir cette méthode d’IA générative multimodale comme un modèle Dalle qui offre un peu plus de contrôle sur les générations puisqu’il peut également recevoir un croquis rapide. C’est pourquoi nous le disons multimodal : il peut prendre plusieurs modalités comme entrées, par exemple du texte et une image, ici un croquis, contrairement à Dalle, qui reçoit uniquement du texte pour générer une image. Les modèles multimodaux sont extrêmement prometteurs, surtout si nous atteignons la qualité des résultats que nous voyons en ligne, puisque nous contrôlons davantage les résultats. Nous nous rapprochons ainsi d’un objectif final très intéressant : générer l’image parfaite que nous avons en tête sans posséder la moindre compétence en design.
Bien sûr, le projet en est encore au stade de la recherche et demeure un concept exploratoire en IA. Cela ne veut pas dire que ce que nous voyons est irréalisable. Cela signifie simplement qu’il faudra un peu plus de temps avant qu’il soit accessible au public.
Les progrès dans le domaine sont extrêmement rapides. Je ne serais pas surpris de le voir devenir accessible très bientôt, ou de voir apparaître un modèle semblable créé par d’autres personnes avec lequel nous pourrons jouer. Je crois que les modèles fondés sur les croquis et le texte sont encore plus intéressants, particulièrement pour l’industrie. C’est pourquoi je voulais en parler sur ma chaîne, même si les résultats accusent un léger retard sur ceux de Dalle 2 que nous voyons en ligne. Et ce n’est pas seulement vrai pour l’industrie, mais aussi pour les artistes. Certains ont utilisé la fonction de croquis pour générer des résultats encore plus inattendus que ce que Dalle pouvait produire.
Nous pouvons lui demander de générer quelque chose tout en dessinant une forme qui ne représente pas cet objet précis, comme une méduse en forme de fleur. Ce résultat n’est peut-être pas impossible à obtenir avec Dalle, mais il devient beaucoup plus compliqué sans les indications d’un croquis. Le modèle ne fait que reproduire ce qu’il a appris, à partir d’images et d’illustrations du monde réel.
Plus de résultats tirés de l’article de recherche.
La principale question est donc la suivante : comment peuvent-ils guider les générations simultanément avec une entrée textuelle, comme Dalle, et un croquis, puis amener le modèle à respecter les deux indications ? Eh bien, le fonctionnement ressemble énormément à celui de Dalle. Je n’entrerai donc pas trop dans les détails des modèles génératifs, puisque j’ai présenté au moins cinq approches différentes au cours des deux derniers mois. Vous devriez absolument les regarder si ce n’est pas déjà fait, car des modèles comme Dalle 2 ou Imagen sont vraiment fantastiques.
Habituellement, ces modèles ont besoin de millions d’exemples d’entraînement pour apprendre à générer des images à partir de texte. Ces données prennent la forme d’images et de leurs légendes recueillies sur Internet.
Ici, pendant l’entraînement, le modèle ne se fie pas seulement à la légende pour générer une première version de l’image, la comparer à l’image réelle et répéter ce processus de nombreuses fois avec toutes les images. Nous lui fournissons aussi un croquis. Ce qui est génial, c’est que les croquis sont plutôt faciles à produire pour l’entraînement : il suffit de télécharger un réseau préentraîné et d’effectuer une segmentation des instances.
Pour ceux qui veulent les détails, les chercheurs utilisent un modèle VGG gratuit, préentraîné sur ImageNet. Il s’agit donc d’un réseau plutôt petit comparativement à ceux d’aujourd’hui, très précis et rapide, qui produit des résultats comme celui-ci (voir l’image ci-dessus)…
Ce résultat s’appelle une carte de segmentation. Ils traitent simplement toutes leurs images une fois afin d’obtenir ces cartes pour l’entraînement du modèle.
Ils utilisent ensuite cette carte et la légende pour orienter le modèle lorsqu’il génère l’image initiale. Au moment de l’inférence, c’est-à-dire lorsque l’un d’entre nous l’utilisera, notre croquis remplacera ces cartes.
Survol de l’approche Make-A-Scene. Image tirée de l’article de recherche.
Comme je l’ai dit, ils ont utilisé un modèle appelé VGG pour créer de faux croquis pendant l’entraînement. Le processus de génération d’images repose sur une architecture Transformer, ce qui diffère de Dalle-2. Je vous invite à regarder la vidéo dans laquelle je présente les transformeurs pour les applications de vision si vous souhaitez comprendre plus en détail comment cette architecture peut traiter et générer des images.
Ce Transformer guidé par des croquis constitue la principale différence de Make-A-Scene. Une autre différence est l’absence d’un modèle de classement image-texte comme CLIP pour mesurer les paires de textes et d’images, dont vous pouvez aussi apprendre le fonctionnement dans ma vidéo sur Dalle. À la place, toutes les représentations encodées du texte et toutes les cartes de segmentation sont envoyées au modèle Transformer. Celui-ci génère les jetons d’image pertinents, qui sont encodés et décodés par les réseaux correspondants, principalement afin de produire l’image. L’encodeur sert pendant l’entraînement à calculer la différence entre l’image produite et l’image initiale. Seul le décodeur est toutefois nécessaire pour prendre la sortie du Transformer et la transformer en image.
Et voilà !
C’est ainsi que le nouveau modèle de Meta peut recevoir un croquis et du texte, puis générer une image haute définition. Il offre un meilleur contrôle sur les résultats tout en maintenant une excellente qualité. Et comme le disent les chercheurs, ce n’est que le début de ce nouveau type de modèle d’IA. Les approches continueront de s’améliorer, autant sur le plan de la qualité que de leur accessibilité au public, ce qui est vraiment excitant.
De nombreux artistes utilisent déjà le modèle dans leur propre travail, comme l’explique l’article de blogue de Meta, et j’ai bien hâte que nous puissions nous aussi l’utiliser.
Leur approche n’exige aucune connaissance en programmation, seulement un bon coup de crayon et un peu d’ingénierie de prompts. Cela signifie faire des essais et des erreurs avec les entrées textuelles, puis ajuster les formulations et les mots employés pour produire des résultats différents et meilleurs.
Bien sûr, ce n’était qu’un survol de la nouvelle approche Make-A-Scene. Je vous invite à lire l’article de recherche complet lié ci-dessous pour comprendre l’ensemble de son fonctionnement.
J’espère que vous avez aimé cet article, et je vous retrouve la semaine prochaine avec un autre article incroyable !
Louis
Références
►Article de blogue de Meta : https://ai.facebook.com/blog/greater-creative-control-for-ai-image-generation
►Article de recherche : Gafni, O., Polyak, A., Ashual, O., Sheynin, S., Parikh, D. and Taigman, Y., 2022. Make-a-scene: Scene-based text-to-image generation with human priors. https://arxiv.org/pdf/2203.13131.pdf
►Mon infolettre (une nouvelle application d’IA expliquée chaque semaine directement dans vos courriels !) : /fr/newsletter/
FAQ
Que génère Make-A-Scene ?
Il crée une image à partir d’une description textuelle et d’un croquis simple qui définit la disposition souhaitée de la scène.
Pourquoi combiner du texte et un croquis ?
Le texte décrit l’apparence et le sens, tandis que le croquis donne un contrôle direct sur la position des objets et la composition.
En quoi cette approche diffère-t-elle de la génération d’images ordinaire à partir de texte ?
Un modèle qui reçoit seulement du texte choisit lui-même une grande partie de la disposition. Make-A-Scene respecte une contrainte spatiale supplémentaire.
Le croquis doit-il avoir une qualité artistique ?
Non. Une disposition sémantique approximative suffit pour indiquer où les principaux éléments devraient apparaître.
Quel est le principal avantage créatif ?
Les utilisateurs peuvent ajuster volontairement la composition plutôt que de générer au hasard jusqu’à ce qu’une disposition fonctionne par chance.