Regardez la vidéo
L’article de recherche de cette semaine pourrait bien présenter votre nouveau modèle préféré.
Si vous trouvez géniaux les récents modèles de génération d’images comme DALLE ou Stable Diffusion, vous n’allez pas croire à quel point celui-ci est incroyable.
Voici Imagic :
Résultats d’Imagic modifiant différentes images d’entrée. Image tirée de l’article de recherche.
Imagic prend un modèle basé sur la diffusion qui sait générer des images à partir de texte et l’adapte pour modifier des images. Regardez simplement cela… Vous pouvez fournir une image et apprendre au modèle à la modifier comme vous le voulez.
C’est un pas assez important vers votre propre designer Photoshop gratuit.
Le modèle ne comprend pas seulement ce que vous voulez montrer. Il peut aussi produire un résultat réaliste tout en conservant les propriétés des images initiales. Regardez comment le chien et la personne restent les mêmes dans toutes les images ici.
Résultats d’Imagic modifiant différentes images d’entrée. Image tirée de l’article de recherche.
Cette tâche s’appelle l’édition d’images conditionnée par du texte. Cela signifie modifier des images en utilisant seulement du texte et une image initiale, ce qui était pratiquement impossible il y a à peine un an. Maintenant, regardez ce que le modèle peut faire !
Oui, tout cela est réalisé à partir d’une seule image d’entrée et d’une courte phrase qui décrit ce que vous voulez obtenir. C’est incroyable, non ?!
La seule chose encore plus géniale est son fonctionnement. Plongeons dans l’approche !
Mais d’abord, si vous apprenez actuellement l’IA ou souhaitez commencer, vous allez adorer cette occasion.
Je sais à quel point il peut être difficile de progresser réellement lorsqu’on apprend l’IA. Parfois, un peu plus de structure et de responsabilisation suffit pour vous propulser au niveau suivant.
Si cela vous ressemble, rejoignez mon ami qui commandite ce contenu chez Delta Academy. À Delta Academy, vous apprenez l’apprentissage par renforcement en bâtissant des IA pour des jeux dans une cohorte en direct. Passez de zéro à AlphaGo grâce à des tutoriels interactifs créés par des experts, des discussions en direct avec ceux-ci et des compétitions hebdomadaires de création d’IA.
Ce n’est pas un autre site Web qui vous inonde de cours. La formation est intense, pratique et axée sur la qualité, conçue par des experts de DeepMind, Oxford et Cambridge. C’est l’endroit où les programmeurs viennent préparer leur carrière aux avancées de l’IA tout en s’amusant.
Grâce à une communauté de pairs et d’experts en direct qui vous pousse à avancer, vous programmerez aussi des algorithmes emblématiques en Python, de DQN à AlphaGo, l’un des programmes les plus géniaux jamais créés.
Rejoignez-les maintenant avec mon lien et utilisez le code promotionnel WHATSAI pour obtenir 10% de réduction !
[
Delta Academy
Nos cours en cohorte avec des compétitions hebdomadaires de création d’IA en direct rendent l’apprentissage de l’IA amusant, pratique et motivant
Alors, comment fonctionne Imagic ?
Résultats d’Imagic modifiant différentes images d’entrée. Image tirée de l’article de recherche.
Comme nous l’avons dit, le modèle reçoit une image et une légende pour modifier cette image. Il peut même en générer plusieurs variations !
Ce modèle, comme la vaste majorité des articles de recherche publiés ces temps-ci, repose sur des modèles de diffusion. Plus précisément, il prend un modèle de génération d’images déjà entraîné à produire des images à partir de texte et l’adapte à l’édition. Dans ce cas-ci, les chercheurs utilisent Imagen, que j’ai présenté dans une vidéo précédente. C’est un modèle génératif basé sur la diffusion qui peut créer des images en haute définition après avoir été entraîné sur un immense jeu de données de paires image-légende.
Visualisation d’Imagen. Image tirée de l’article de recherche.
Pour Imagic, ils prennent simplement ce modèle Imagen préentraîné comme point de départ et le modifient afin d’éditer l’image fournie en entrée. Ils conservent l’apparence propre à l’image, comme la race et l’identité du chien, puis la modifient en suivant notre texte.
Survol du processus de fine-tuning d’Imagic. Image tirée de l’article de recherche.
Pour commencer (à gauche de l’image ci-dessus), nous devons encoder le texte et l’image initiale afin que le modèle Imagen puisse les comprendre. Une fois cette étape terminée, nous optimisons nos encodages, ou embeddings textuels, pour qu’ils correspondent mieux à l’image initiale. En gros, nous prenons notre représentation du texte, appelée e_opt, et l’optimisons pour notre image initiale. Dans cet exemple, nous nous assurons ainsi que le modèle comprend que nous voulons générer le même type d’image, avec un oiseau et un arrière-plan semblables.
Nous prenons ensuite notre générateur d’images préentraîné pour effectuer son fine-tuning. Autrement dit, nous réentraînons Imagen tout en gardant fixe l’embedding optimisé que nous venons de produire. Ces deux étapes servent donc à rapprocher l’embedding textuel de celui de l’image. Nous gelons l’un des deux et rapprochons l’autre, ce qui nous permet d’optimiser à la fois (a et b dans l’image ci-dessus) le texte et l’image initiale plutôt qu’un seul des deux.
Maintenant que notre modèle comprend l’image initiale et notre texte, ainsi que leur similarité, nous devons lui apprendre à générer de nouvelles variations d’image pour ce texte.
Cette partie est très simple. Nos embeddings textuels et ceux optimisés pour l’image sont très semblables, mais pas exactement identiques. Nous prenons simplement l’embedding de l’image dans notre espace encodé et le déplaçons légèrement vers l’embedding du texte.
À ce moment, si vous demandez à Imagic de générer une image à partir des embeddings optimisés, il devrait vous retourner la même image que celle fournie en entrée. En déplaçant légèrement l’embedding vers ceux de votre texte, le modèle modifie donc aussi légèrement l’image vers ce que vous voulez (c dans l’image ci-dessus). Plus vous le déplacez dans cet espace, plus la modification est importante et plus vous vous éloignez de l’image initiale. Il ne reste alors qu’à déterminer la taille du pas que vous voulez faire vers votre texte.
Pas n vers e_target (nos embeddings textuels).
Et voilà !
Lorsque vous trouvez l’équilibre parfait, vous obtenez un nouveau modèle capable de générer autant de variations que vous le souhaitez tout en conservant les attributs importants de l’image et en la modifiant comme vous le voulez !
Bien sûr, les résultats ne sont pas encore parfaits. Comme vous pouvez le voir ici, le modèle peut ne pas effectuer correctement la modification ou changer aléatoirement l’image initiale, notamment en la recadrant ou en effectuant un zoom inapproprié. Le résultat demeure tout de même assez impressionnant si vous voulez mon avis. Je trouve incroyable la vitesse à laquelle progresse la génération d’images, et c’est à la fois fascinant et effrayant. J’aimerais connaître votre opinion sur ces modèles de génération et d’édition d’images. Pensez-vous qu’ils sont une bonne ou une mauvaise chose ? Quelles conséquences imaginez-vous si de tels modèles deviennent de plus en plus puissants ?
Exemples de cas d’échec. Image tirée de l’article de recherche.
Vous trouverez dans l’article de recherche plus de détails sur les paramètres précis utilisés pour obtenir ces résultats. Je vous invite vraiment à le lire.
Je vous invite aussi à lire mon article sur Imagen si vous souhaitez en apprendre davantage sur la génération d’images et son fonctionnement.
Je vous retrouve la semaine prochaine avec un autre article de recherche incroyable !
Références
►Kawar, B., Zada, S., Lang, O., Tov, O., Chang, H., Dekel, T., Mosseri, I. and Irani, M., 2022. Imagic: Text-Based Real Image Editing with Diffusion Models. arXiv preprint arXiv:2210.09276.
► Utilisez-le avec Stable Diffusion : https://github.com/justinpinkney/stable-diffusion/blob/main/notebooks/imagic.ipynb
►Mon infolettre (une nouvelle application d’IA expliquée chaque semaine directement dans vos courriels !) : /fr/newsletter/
FAQ
Que fait Imagic ?
Imagic modifie une image existante à partir d’une instruction textuelle tout en tentant de préserver l’identité et la structure du sujet.
De quelles entrées Imagic a-t-il besoin ?
Il part d’une seule image source et d’une description écrite du changement souhaité.
Pourquoi optimiser un embedding textuel pour l’image source ?
L’embedding adapté fournit au modèle une représentation dans l’espace du langage qui reconstruit plus fidèlement l’original.
Comment la modification demandée est-elle introduite ?
La représentation source optimisée est combinée au texte cible afin de déplacer la génération vers la nouvelle description.
Pourquoi l’édition à partir de texte est-elle difficile ?
Le modèle doit appliquer le changement demandé sans modifier involontairement l’identité, la pose ou les détails d’arrière-plan qui n’ont aucun lien avec celui-ci.