L’entreprise derrière l’un des modèles de génération d’images les plus populaires, que vous connaissez certainement, Stable Diffusion, va encore plus loin.
Au lieu de s’attaquer aux images et de produire des résultats incroyables, elle passe maintenant au prochain défi : les films.
Plus précisément, son nouveau modèle appelé GEN-1 peut prendre une vidéo, comme celle de ce wagon de métro, et lui appliquer un style complètement différent, comme ceci…
Exemple de GEN-1. Vidéo tirée du site Web de Runway.
Le modèle est toujours en développement et présente de nombreux défauts, mais il réussit tout de même un transfert de style assez impressionnant d’une image vers une vidéo. Une telle chose aurait été impossible il y a quelques années, voire quelques mois.
Encore mieux, il fonctionne aussi avec du texte. Vous pouvez simplement écrire quelque chose comme « un chien avec des taches noires sur un pelage blanc ». Le modèle transformera ce chien pour qu’il corresponde à votre demande !
Exemple de GEN-1. Vidéo tirée du site Web de Runway.
Comme je l’ai dit, le modèle est certainement encore en développement. Nous pouvons voir de nombreux artéfacts et des comportements étranges, tout comme avec Stable Diffusion ou ChatGPT. Le problème n’est pas encore résolu. Prenez tout de même une seconde pour observer le résultat. Le modèle avait seulement accès à une phrase. Pourtant, sans aucune indication supplémentaire, il a compris à partir de cette vidéo où se trouvait le chien à chaque instant et qu’il devait ajouter une fourrure plus blanche avec des taches noires uniquement à cet endroit. Il a automatiquement isolé le sujet, l’a modifié, puis l’a replacé dans la vidéo. C’est impressionnant.
Les chercheurs appellent cette approche « video-to-video ». Elle offre encore plus de possibilités que la stylisation que nous venons de voir, comme transformer automatiquement des maquettes en rendus stylisés et animés. Les inputs vidéo ouvrent bien d’autres possibilités. L’exemple des maquettes me fait déjà penser à toutes les idées intéressantes que nous pourrions créer très facilement et qui pourraient certainement représenter, comme ils le disent, « l’avenir de la narration ». J’ai très hâte de voir à quoi les résultats ressembleront dans quelques mois. Au fait, vous pouvez demander l’accès au modèle sur leur site Web. J’ai ajouté tous les liens dans les références ci-dessous.
Exemple de GEN-1. Vidéo tirée du site Web de Runway.
Mais son fonctionnement est encore plus intéressant et important que les résultats eux-mêmes…
C’est ici que vous vous dites : « mais attendez, ne pourrions-nous pas simplement utiliser Stable Diffusion sur toutes les trames d’une vidéo ? » Eh bien, oui et non. Cette approche demande encore plus de données d’entraînement pour obtenir de bons résultats et risque fortement de ne pas produire un résultat réaliste, avec des sauts et des téléportations étranges entre les trames. Elle demeure tout de même un très bon point de départ, et c’est exactement ce que les chercheurs ont fait.
Ils partent du modèle Stable Diffusion. Je l’ai déjà présenté lors de sa sortie, alors je vous invite à lire l’article que j’ai écrit pour en apprendre davantage sur le processus de diffusion et le fonctionnement précis de ce modèle.
Architecture du modèle Gen-1. L’architecture d’entraînement se trouve à gauche et celle d’inférence, utilisée une fois l’entraînement terminé, à droite.
Nous avons donc un modèle de génération d’images entièrement entraîné et fondé sur le processus de diffusion. Il peut déjà recevoir des images ou du texte comme inputs pour guider la génération d’une nouvelle image. Vous voyez ici l’architecture complète divisée entre l’entraînement et l’inférence. Notez toutefois que la principale différence est l’utilisation d’un encodeur pour traiter l’image à modifier et d’un décodeur pour générer l’image finale, comme nous l’avons vu dans ma vidéo sur Stable Diffusion. Comment pouvons-nous maintenant le faire fonctionner avec des vidéos ?
Comme nous l’avons dit, nous ne pouvons pas simplement prendre toutes les trames et les traiter une à une pour transformer une vidéo. Le résultat ressemblerait à ceci…
Nous devons plutôt adapter l’architecture pour lui donner une certaine compréhension du temps et de l’évolution des objets dans la vidéo, afin que le modèle apprenne à reproduire ce processus. Comment pouvons-nous y arriver ?
Pour résoudre le problème de cohérence entre les trames, les chercheurs divisent la vidéo en contenu et en structure. La structure regroupe toutes les formes, les objets et les sujets de la vidéo, ainsi que leurs mouvements au fil du temps. En formulant le problème de cette façon, la tâche devient beaucoup plus simple qu’une simple « modification de vidéo ». Nous devons maintenant uniquement modifier le contenu et conserver la même structure.
[
Louis-François Bouchard’s Weekly AI Digest | Substack
](https://louisbouchard.substack.com/?ref=louis-bouchard)
Cela signifie que la vidéo à transformer sert uniquement d’information structurelle, tandis que le prompt textuel ou l’image qui décrit le style sert uniquement pour le contenu. Deux sous-modèles accomplissent ce travail. Nous envoyons d’abord la vidéo au premier sous-modèle, appelé MiDaS. Ce modèle préentraîné peut extraire les cartes de profondeur qui nous donnent notre information structurelle. En gros, une carte de profondeur contient toutes les formes, les profondeurs et l’information que nous voulons conserver de la vidéo.
Exemple de carte de profondeur représentant un cube 3D.
Cette étape retire automatiquement toute l’information liée au contenu de la vidéo, qui n’est pas utile lorsque nous voulons transférer son style, et permet au modèle de se concentrer sur l’information structurelle. Nous utilisons enfin un autre modèle appelé CLIP pour extraire l’information de contenu. CLIP sert souvent à extraire le sens d’un texte ou d’une image, puisqu’il a été entraîné sur les deux afin de trouver la meilleure façon de comparer une image à sa caption. Il est donc plutôt bon pour « comprendre » ce qui se passe dans une image ou une phrase, que nous pouvons aussi voir comme le contenu ou le style d’une image.
Nous avons maintenant l’information de contenu et de structure à envoyer à la même architecture de diffusion que Stable Diffusion, mais adaptée aux vidéos avec une dimension supplémentaire, afin de générer notre nouvelle vidéo ! Pour ceux qui veulent les détails supplémentaires, les chercheurs ajoutent une convolution 1D après chaque convolution du modèle d’image afin d’ajouter la dimension temporelle. Ils ajoutent également des encodages positionnels pour situer chaque trame dans le temps et aider le modèle à comprendre la vidéo. Ces deux ajouts améliorent beaucoup la cohérence temporelle et retirent les artéfacts étranges que nous avons mentionnés.
Et voilà ! C’est ainsi que vous pouvez prendre une vidéo et transformer complètement son style tout en gardant les objets et les sujets relativement semblables ! J’ai très hâte de voir à quoi le résultat ressemblera deux articles scientifiques plus tard, comme on dit.
Limites :
- Il reste quelques incohérences entre les trames, mais beaucoup moins que dans les approches précédentes.
- Le modèle ne respecte pas entièrement l’information structurelle.
- La vidéo générée n’est pas complètement réaliste et présente les mêmes artéfacts que Stable Diffusion.
Bien sûr, ce n’était qu’un aperçu du nouveau modèle Gen-1 de Runway. Je vous invite à lire leur article scientifique pour mieux le comprendre et à demander l’accès afin de l’essayer vous-même. J’espère que cet article vous a plu. Je vous retrouve la prochaine fois avec un autre article scientifique incroyable !
Références
►Plus d’exemples vidéo et demande d’accès : https://research.runwayml.com/gen1
►Esser et al., 2023: https://arxiv.org/abs/2302.03011
►Mon infolettre (une nouvelle application de l’IA expliquée chaque semaine dans vos emails !) : /fr/newsletter/
FAQ
Que fait Gen-1 de Runway ?
Gen-1 transforme l’apparence d’une vidéo en input en utilisant son mouvement et sa structure pour guider l’output généré.
Pourquoi ne pas appliquer la diffusion d’images séparément à chaque trame ?
Une génération indépendante perd la cohérence temporelle, ce qui fait scintiller ou sauter les objets et peut changer leur identité entre les trames.
Quelle information guide la transformation vidéo ?
Le système combine la structure de la vidéo source à une description visuelle ou textuelle du style désiré.
Quelles limites demeuraient dans le modèle présenté ?
Les trames pouvaient encore manquer de cohérence, certains détails structurels pouvaient dériver et l’output n’était pas toujours réaliste.
Pourquoi une génération cohérente dans le temps est-elle importante pour raconter une histoire ?
Les personnages, les objets et les environnements doivent demeurer reconnaissables au fil du temps pour qu’une séquence semble intentionnelle.