Voici les 3 articles scientifiques les plus intéressants du mois, au cas où l’un d’eux vous aurait échappé. Cette liste organisée présente les plus récentes percées en IA et en science des données, par date de publication, avec une explication claire en vidéo, un lien vers un article plus détaillé et le code (s’il est disponible). Bonne lecture, et dites-moi dans les commentaires si j’ai oublié un article important, ou écrivez-moi directement sur LinkedIn !
Si vous souhaitez aussi lire davantage d’articles scientifiques, je vous recommande mon article, dans lequel je partage mes meilleurs conseils pour en trouver et en lire davantage.
Article no 1 :
Styleclip: Text-driven manipulation of StyleGAN imagery [1]
L’IA pouvait déjà générer des images. Ensuite, avec beaucoup de réflexion, d’essais et d’erreurs, les chercheurs pouvaient contrôler les résultats selon des styles précis. Avec ce nouveau modèle, vous pouvez maintenant le faire uniquement avec du texte !
Regardez la vidéo
Une version courte à lire
[
Modifiez de vraies images avec du texte : une IA pour les artistes créatifs ! StyleCLIP expliqué
L’IA pouvait déjà générer des images. Ensuite, avec beaucoup de réflexion, d’essais et d’erreurs, les chercheurs pouvaient contrôler les résultats selon des styles précis. Maintenant, vous pouvez le faire uniquement avec du texte !
](/fr/styleclip/)
Code (à utiliser avec une interface graphique locale ou un notebook Colab) : https://github.com/orpatashnik/StyleCLIP
Démonstration : https://colab.research.google.com/github/orpatashnik/StyleCLIP/blob/main/notebooks/StyleCLIP_global.ipynb
Article no 2 :
TimeLens: Event-based Video Frame Interpolation [2]
TimeLens peut comprendre le mouvement des particules entre les trames d’une vidéo afin de reconstruire ce qui s’est réellement produit à une vitesse que même nos yeux ne peuvent pas percevoir. En fait, il obtient des résultats que nos téléphones intelligents et aucun autre modèle ne pouvaient atteindre auparavant !
Regardez la vidéo
Une version courte à lire
[
Comment créer des vidéos au ralenti avec l’IA !
TimeLens peut comprendre le mouvement des particules entre les trames d’une vidéo afin de reconstruire ce qui s’est réellement produit à une vitesse que même nos yeux ne peuvent pas percevoir. En fait, il obtient des résultats que nos téléphones intelligents et aucun autre modèle ne pouvaient atteindre auparavant.
](/fr/timelens/)
Code officiel : https://github.com/uzh-rpg/rpg_timelens
Article no 3 :
Diverse Generation from a Single Video Made Possible [3]
Avez-vous déjà voulu modifier une vidéo ?
Retirer ou ajouter une personne, changer l’arrière-plan, la faire durer un peu plus longtemps ou modifier sa résolution afin qu’elle respecte un ratio d’aspect précis sans la compresser ni l’étirer. Si vous avez déjà mené des campagnes publicitaires, vous avez certainement voulu créer plusieurs versions de vos vidéos pour faire des tests A/B et découvrir ce qui fonctionne le mieux. Eh bien, cette nouvelle recherche de Niv Haim et de ses collègues peut vous aider à faire tout cela à partir d’une seule vidéo, et en HD !
En effet, à partir d’une simple vidéo, vous pouvez effectuer n’importe laquelle des tâches que je viens de mentionner en quelques secondes, ou en quelques minutes pour des vidéos de grande qualité. Vous pouvez essentiellement l’utiliser pour toute application de manipulation ou de génération vidéo que vous avez en tête. La méthode surpasse même les GANs à tous les niveaux, sans recourir à une recherche sophistiquée en apprentissage profond ni exiger un jeu de données énorme et peu pratique ! Et surtout, cette technique passe à l’échelle pour les vidéos en haute résolution.
Regardez la vidéo
Une version courte à lire
[
Générez des variantes vidéo : aucun jeu de données ni apprentissage profond requis !
Ce modèle peut prendre en charge toutes les applications de manipulation ou de génération vidéo que vous avez en tête !
](/fr/vgpnn-generate-video-variations/)
Code (bientôt disponible) : https://nivha.github.io/vgpnn/
En prime pour les professionnels de l’IA
8 outils que toute personne en IA devrait connaître
Il y a deux ans, j’ai vu mon tout premier article scientifique. Je me souviens de son apparence vieillotte et de la quantité décourageante de mathématiques qu’il contenait. On aurait vraiment dit le genre de document sur lequel travaillent les chercheurs dans les films. Pour être juste, l’article datait des années 1950, mais les choses n’ont pas beaucoup changé depuis. Avançons jusqu’à aujourd’hui. J’ai acquis beaucoup d’expérience après avoir lu quelques centaines d’articles au cours de la dernière année pour ma chaîne YouTube, où j’essaie de les expliquer simplement. Malgré tout, je sais à quel point une première lecture peut être intimidante, surtout lorsqu’il s’agit de votre tout premier article scientifique. C’est pourquoi j’ai voulu partager mes meilleurs conseils et les outils pratiques que j’utilise tous les jours pour me simplifier la vie et travailler plus efficacement lorsque je cherche des articles scientifiques intéressants et que je les lis.
Voici les outils les plus utiles que j’utilise chaque jour comme chercheur pour trouver et lire des articles scientifiques en IA… Lire la suite.
Si vous aimez mon travail et voulez rester au courant des nouveautés en IA, vous devriez vraiment me suivre sur mes autres réseaux sociaux (LinkedIn, Twitter) et vous abonner à mon infolettre hebdomadaire sur l’IA !
Pour me soutenir :
- La meilleure façon de me soutenir est de me suivre ici ou sur Medium, ou de vous abonner à ma chaîne YouTube si vous aimez le format vidéo.
- Soutenez mon travail sur Patreon.
- Rejoignez notre communauté Discord : Learn AI Together et partagez vos projets, vos articles scientifiques et les meilleures formations, trouvez des coéquipiers pour Kaggle et bien plus encore !
Références
[1] Patashnik, Or, et al., (2021), « Styleclip: Text-driven manipulation of StyleGAN imagery. », https://arxiv.org/abs/2103.17249
[2] Stepan Tulyakov*, Daniel Gehrig*, Stamatios Georgoulis, Julius Erbach, Mathias Gehrig, Yuanyou Li, Davide Scaramuzza, TimeLens: Event-based Video Frame Interpolation, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Nashville, 2021, https://rpg.ifi.uzh.ch/docs/CVPR21_Gehrig.pdf
[3] Haim, N., Feinstein, B., Granot, N., Shocher, A., Bagon, S., Dekel, T., & Irani, M. (2021). Diverse Generation from a Single Video Made Possible, https://arxiv.org/abs/2109.08591.
FAQ
Quels articles retrouve-t-on dans le bilan IA de septembre 2021 ?
La sélection porte sur la retouche de StyleGAN guidée par le texte, l’interpolation vidéo fondée sur les événements avec TimeLens et la génération diversifiée apprise à partir d’une seule vidéo.
Que permet de modifier StyleCLIP ?
StyleCLIP relie des instructions textuelles à la retouche avec StyleGAN, ce qui permet de modifier des attributs visuels avec des mots plutôt qu’en explorant manuellement l’espace latent.
Quel problème TimeLens résout-il ?
TimeLens estime le mouvement entre les trames enregistrées et reconstruit les instants intermédiaires qu’une caméra ordinaire pourrait ne pas avoir captés.
Que peut apprendre un modèle à partir d’une seule vidéo source ?
La méthode présentée apprend suffisamment de structure à partir d’une seule vidéo pour créer différentes manipulations en haute définition ou de nouvelles séquences générées.
Quelles ressources accompagnent chaque sélection mensuelle ?
Le bilan offre une explication concise ainsi que des liens vers les démonstrations, les articles, le code lorsqu’il est disponible et la publication scientifique originale.