Regardez la vidéo
Nous avons vu l’IA générer du texte, puis générer des images et, plus récemment, même de courtes vidéos, bien qu’elles aient encore besoin d’être améliorées. Les résultats sont incroyables quand on pense que personne ne participe réellement au processus de création de ces œuvres, et que le modèle n’a besoin d’être entraîné qu’une seule fois avant d’être utilisé par des milliers de personnes, comme Stable Diffusion. Mais ces modèles comprennent-ils vraiment ce qu’ils font ? Savent-ils ce que représente réellement l’image ou la vidéo qu’ils viennent de produire ? Que comprend un tel modèle lorsqu’il voit une image comme celle-ci ou, encore plus complexe, une vidéo ?
Exemple de résultat tiré de l’article scientifique.
Concentrons-nous sur le défi le plus difficile des deux et voyons comment une IA comprend les vidéos grâce à une tâche appelée reconnaissance vidéo générale. L’objectif est qu’un modèle reçoive des vidéos en entrée et décrive avec du texte ce qui se passe dans chaque courte vidéo.
La reconnaissance vidéo générale est l’une des tâches les plus difficiles lorsqu’il s’agit de comprendre des vidéos. Pourtant, elle constitue peut-être la meilleure mesure de la capacité d’un modèle à saisir ce qui se passe. Elle est aussi à la base de nombreuses applications qui dépendent d’une bonne compréhension des vidéos, comme l’analyse sportive ou la conduite autonome. Mais qu’est-ce qui rend cette tâche si complexe ? Eh bien, il y a deux choses :
- Nous devons comprendre ce qui est montré, c’est-à-dire chaque trame, ou chaque image, d’une vidéo donnée.
- Nous devons être capables d’exprimer ce que nous comprenons d’une façon que les humains comprennent, donc avec des mots.
Heureusement pour nous, la communauté du traitement du langage s’est attaquée au second défi à de nombreuses reprises, et nous pouvons reprendre son travail. Plus précisément, nous pouvons utiliser ce que les chercheurs du domaine texte-image ont fait avec des modèles comme CLIP ou même Stable Diffusion. Ces modèles emploient un encodeur de texte et un encodeur d’images qui apprennent à encoder les deux types d’entrées sous une même forme de représentation. Ils peuvent ainsi comparer une scène à un prompt textuel semblable après avoir été entraînés sur des millions d’exemples associant une image à une légende. Encoder le texte et les images dans un espace semblable est puissant, car cela prend beaucoup moins de place pour effectuer les calculs et nous permet de les comparer facilement. Autrement dit, le modèle ne comprend toujours pas une image ni même une simple phrase, mais il peut déterminer si les deux sont semblables ou non. Nous sommes encore loin de l’intelligence, mais c’est très utile et suffisant dans la plupart des cas.
Passons maintenant au plus grand défi : les vidéos. Pour le relever, nous utiliserons l’approche de Bolin Ni et de ses collègues dans leur récent article scientifique intitulé « Expanding Language-Image Pretrained Models for General Video Recognition ».
Vue d’ensemble du modèle. Image tirée de l’article scientifique.
Les vidéos sont beaucoup plus complexes que les images en raison de l’information temporelle, c’est-à-dire des nombreuses trames et du fait que chacune est reliée à la précédente et à la suivante par des mouvements et des actions cohérents. Le modèle doit voir ce qui s’est produit avant, pendant et après chaque trame pour bien comprendre la scène.
C’est exactement comme sur YouTube. Dans une courte vidéo, vous ne pouvez pas vraiment avancer de 5 secondes, puisque vous manqueriez de l’information importante.
Dans ce cas-ci, ils prennent chaque trame et l’envoient dans le même encodeur d’images dont nous venons de parler. Celui-ci utilise une architecture fondée sur un Transformer de vision pour les traiter dans un espace condensé à l’aide de l’attention.
Si vous ne connaissez pas les Transformers de vision ou le mécanisme d’attention, je vous invite à regarder la vidéo que j’ai faite pour les présenter.
Une fois la représentation de chaque trame obtenue, vous pouvez employer un processus similaire fondé sur l’attention pour faire communiquer toutes les trames. Le modèle peut ainsi échanger de l’information entre elles et créer une représentation finale de la vidéo. Cet échange d’information entre les trames au moyen de l’attention agit comme une sorte de mémoire qui permet au modèle de comprendre la vidéo dans son ensemble plutôt que comme un groupe d’images aléatoires réunies.
Enfin, nous utilisons un autre module d’attention pour fusionner les encodages textuels des trames avec notre représentation condensée de la vidéo.
Exemple de résultat tiré de l’article scientifique.
Et voilà !
Voici une façon pour une IA de comprendre une vidéo. Bien sûr, il ne s’agissait que d’un survol de cet excellent article de Microsoft Research qui sert d’introduction à la reconnaissance vidéo. Je vous invite à lire l’article scientifique pour mieux comprendre leur approche.
Merci d’avoir lu l’article en entier. On se revoit la semaine prochaine avec un autre article scientifique incroyable !
Louis
Références
►Lisez l’article complet : /fr/general-video-recognition/
►Ni, B., Peng, H., Chen, M., Zhang, S., Meng, G., Fu, J., Xiang, S. and Ling, H., 2022. Expanding Language-Image Pretrained Models for General Video Recognition. arXiv preprint arXiv:2208.02816.
►Code : https://github.com/microsoft/VideoX/tree/master/X-CLIP
►Mon infolettre (une nouvelle application de l’IA expliquée chaque semaine dans vos emails !) : /fr/newsletter/
FAQ
Qu’est-ce que la reconnaissance vidéo générale ?
Elle reconnaît le contenu visuel et l’activité temporelle de toute une vidéo au lieu de classer une seule image fixe.
Pourquoi une vidéo est-elle plus difficile à comprendre qu’une image ?
Une vidéo ajoute le mouvement, l’ordre, la durée et les relations entre les images au contenu spatial de chacune d’elles.
Que doit d’abord apprendre un modèle vidéo ?
Il doit apprendre des caractéristiques utiles pour représenter les objets et les scènes montrés dans chaque image.
Associer du texte et une vidéo signifie-t-il que le modèle les comprend comme une personne ?
Non. La similarité est une relation apprise utile, mais elle ne démontre pas une compréhension semblable à celle d’un humain.
Pourquoi combiner des caractéristiques spatiales et temporelles ?
Les caractéristiques spatiales décrivent ce qui apparaît, tandis que les caractéristiques temporelles décrivent son évolution et l’action qui se déroule.