À retenir
- Les modèles de diffusion génèrent des images en apprenant à inverser le bruit pour retrouver une structure, ce qui fait du débruitage leur idée centrale.
- Les prompts textuels guident la génération, mais ils n’éliminent pas le besoin de vérifier les artéfacts, les biais, les limites des données et les questions de licence.
- Leur valeur pratique vient de notre compréhension de ce que le modèle contrôle bien et des endroits où l’output demande encore un jugement humain.
Cette édition de la semaine porte sur les modèles de diffusion. Voici toutes les applications visuelles que les modèles de diffusion ont transformées en 2022 : les images, le texte, la vidéo, la 3D et plus encore ! Nous verrons ce qu’ils sont et comment ils ont servi à créer toutes ces applications incroyables, avec plusieurs vidéos et articles en vedette. Nous présenterons la plupart des approches avec une courte explication, mais nous vous invitons à regarder ou à lire le contenu associé pour les comprendre complètement. Bonne lecture.
1️⃣ Pour commencer : que sont les modèles de diffusion ?
Rien n’explique mieux un concept qu’un exemple concret. Découvrons les modèles de diffusion avec l’un des modèles les plus populaires des derniers mois : Stable Diffusion. Stable Diffusion est un puissant modèle texte-image fondé sur une technique récente appelée diffusion latente. Celle-ci reprend essentiellement la diffusion et la rend plus efficace, mais le processus demeure exactement le même. Elle convient donc parfaitement à cette explication et devient en même temps beaucoup plus accessible aux organisations qui ne sont pas Google, comme nous.\
Les modèles de diffusion sont des modèles itératifs qui reçoivent du bruit aléatoire comme input. Ce bruit peut être conditionné par un texte, une image ou n’importe quelle autre modalité, donc n’importe quel type d’input, ce qui le rend moins aléatoire. Le modèle apprend de façon itérative à retirer ce bruit en découvrant quels paramètres lui appliquer pour obtenir une image finale. Les modèles de diffusion de base prennent donc un bruit aléatoire de la taille de l’image et apprennent à ajouter encore plus de bruit jusqu’à pouvoir revenir à une vraie image.
C’est possible parce que le modèle a accès aux vraies images pendant l’entraînement et peut apprendre les bons paramètres en leur appliquant du bruit de façon itérative, jusqu’à ce qu’elles deviennent complètement bruitées et méconnaissables. Lorsque le bruit obtenu à partir de toutes les images nous convient, c’est-à-dire lorsqu’il est semblable et provient d’une distribution similaire, nous sommes prêts à utiliser notre modèle à l’envers. Nous lui fournissons un bruit semblable dans l’ordre inverse et nous nous attendons à obtenir une image comparable à celles utilisées pendant l’entraînement.
Apprenez-en davantage dans mon article sur Stable Diffusion !\
Maintenant que nous les avons présentés, voyons « pourquoi ils existent ».
Les modèles de diffusion ont changé la donne pour de nombreuses applications, surtout en vision par ordinateur. Voyons exactement comment ils ont bouleversé notre industrie, jusqu’où la recherche les a appliqués et comment ils ont amélioré les résultats à l’état de l’art (SOTA).
P.-S. N’oubliez pas de me suivre sur Twitter pour rester au courant de l’IA !
2️⃣ De la génération à la manipulation d’images
Les modèles texte-image comme DALLE ou Stable Diffusion sont vraiment intéressants et nous permettent de générer des images fantastiques avec un simple input textuel. Mais ne serait-il pas encore plus génial de leur donner une photo de vous et de leur demander de la transformer en peinture ? Imaginez pouvoir envoyer n’importe quelle photo d’un objet, d’une personne ou même de votre chat, puis demander au modèle de la convertir dans un autre style, par exemple en vous transformant en cyborg, en appliquant votre style artistique préféré ou en vous ajoutant à une nouvelle scène.
En gros, ne serait-il pas génial d’avoir une version de DALLE qui retouche nos photos comme Photoshop plutôt que de produire des générations aléatoires ? Nous aurions un DALLE personnalisé et beaucoup plus simple à contrôler, puisqu’« une image vaut mille mots ». Ce serait comme avoir un modèle DALLE aussi personnalisé et addictif que l’algorithme de TikTok.
C’est précisément le sujet sur lequel des chercheurs de l’Université de Tel-Aviv et de NVIDIA ont travaillé. Ils ont créé une approche pour conditionner les modèles texte-image, comme Stable Diffusion que nous venons de présenter, à l’aide de quelques images. Les mots envoyés avec ces images peuvent alors représenter n’importe quel objet ou concept. Vous pouvez ainsi transformer l’objet de vos images en input en tout ce que vous souhaitez ! Apprenez-en davantage dans l’article !
3️⃣ Des images aux vidéos !
Meta AI a publié un modèle de génération vidéo appelé Make-A-Video. En une phrase, Make-A-Video génère des vidéos à partir de texte. Il ne fait pas que générer des vidéos. Il s’agit aussi de la nouvelle méthode à l’état de l’art, qui produit des vidéos de meilleure qualité et plus cohérentes que jamais !
Vous pouvez voir ce modèle comme un Stable Diffusion pour la vidéo. C’est certainement la prochaine étape après avoir appris à générer des images. Vous avez probablement déjà lu cette information sur un site de nouvelles ou simplement dans le titre de cet article. Ce que vous ne savez pas encore, c’est ce qu’est exactement ce modèle et comment les chercheurs ont réussi à l’adapter aux vidéos en ajoutant une dimension temporelle aux images. Apprenez-en davantage dans l’article !
5️⃣ Des vidéos à la 3D !
Nous avons vu des modèles capables de recevoir une phrase et de générer des images. Puis, d’autres approches ont appris à manipuler les images générées en maîtrisant des concepts précis, comme un objet ou un style particulier.
Quelques semaines plus tard, Meta a publié le modèle Make-A-Video que nous venons de découvrir, qui permet lui aussi de générer une courte vidéo à partir d’une phrase. Les résultats ne sont pas encore parfaits, mais les progrès réalisés dans le domaine depuis l’an dernier sont tout simplement incroyables.
Nous faisons maintenant un autre pas en avant.
Voici DreamFusion, un nouveau modèle de Google Research qui comprend suffisamment une phrase pour en générer un modèle 3D. Vous pouvez le voir comme DALL-E ou Stable Diffusion, mais en 3D.
Il utilise essentiellement deux modèles que j’ai déjà présentés : les NeRFs et un modèle texte-image. Dans ce cas-ci, il s’agit d’Imagen, mais n’importe lequel pourrait fonctionner, comme Stable Diffusion. Apprenez-en davantage sur DreamFusion dans l’article !
6️⃣ Que pense Lauren, notre experte en éthique de l’IA, des modèles de diffusion ? (plus précisément de DALL•E ici)
Même si j’ai eu quelques mots bien choisis pour OpenAI à propos des problèmes de biais de CLIP, je trouve que l’équipe a accompli un excellent travail pour réduire les biais à plusieurs étapes très tôt dans DALL•E 2, et l’approche semble bien fonctionner. J’apprécie particulièrement la nouvelle pondération des images lorsque l’équipe a constaté un déséquilibre dans les résultats. On a souvent l’impression que filtrer les données négatives est la solution ultime aux biais, mais OpenAI a prouvé qu’il est possible, et nécessaire, d’aller plusieurs étapes plus loin pour réduire les préjudices.
Mon plus grand espoir pour DALL•E 2 est que son traitement des biais crée un précédent quant au niveau d’attention qui devrait être accordé à beaucoup d’autres modèles, même lorsqu’ils ne sont pas d’immenses sources de mèmes utilisées à grande échelle. Faites ce qui est juste, même lorsque personne ne regarde !
- Segment sur l’éthique de l’IA par Lauren Keegan
Vous souhaitez vous lancer en IA ou améliorer vos compétences ? Cliquez ici !
Nous sommes déjà arrivés à la fin de cette édition hebdomadaire sur l’IA ! Merci d’avoir parcouru cette édition en détail ! J’espère qu’elle vous a plu et que vous en avez appris davantage sur les modèles de diffusion. Restez à l’affût des prochaines nouvelles et recherches en vision par ordinateur, et certainement sur les modèles de diffusion, puisque l’échéance de la CVPR 2023 arrive la semaine prochaine. Une foule de nouveaux travaux seront publiés et je m’assurerai de les présenter !
FAQ
Qu’est-ce qu’un modèle de diffusion ?
Un modèle de diffusion est un modèle génératif entraîné à reconvertir des données bruitées en données structurées, comme une image guidée par un prompt.
Pourquoi les modèles de diffusion sont-ils importants pour la génération d’images ?
Ils ont rendu la génération texte-image de grande qualité plus contrôlable et accessible, tout en soulevant de nouvelles questions sur les données, le style et la propriété.
Comment un modèle de diffusion utilise-t-il un prompt textuel ?
Le prompt conditionne le processus de débruitage et pousse le modèle vers les caractéristiques visuelles qui correspondent aux mots et au contexte du prompt.
Que faut-il vérifier dans les outputs d’un modèle de diffusion ?
Vérifiez les mains, le texte, les détails fins, l’identité, la composition, les biais, le contenu dangereux et la fiabilité de l’output pour l’utilisation prévue.
Comment les débutants devraient-ils apprendre les modèles de diffusion ?
Commencez par l’intuition qui va du bruit à l’image, puis découvrez le conditionnement, les espaces latents, le guidage, les étapes d’échantillonnage et la façon dont leur évaluation diffère d’une classification ordinaire.