Pendant que le monde se remet encore, la recherche n’a pas ralenti son rythme effréné, particulièrement dans le domaine de l’intelligence artificielle. De plus, plusieurs aspects importants ont été mis en évidence cette année, notamment l’éthique, les biais importants, la gouvernance, la transparence et bien plus encore. L’intelligence artificielle, notre compréhension du cerveau humain et son lien avec l’IA évoluent constamment, en montrant des applications prometteuses qui pourraient améliorer notre qualité de vie dans un avenir proche. Nous devons tout de même choisir avec prudence les technologies que nous décidons d’appliquer.
« La science ne peut pas nous dire ce que nous devons faire, seulement ce que nous pouvons faire. » - Jean-Paul Sartre, L’Être et le Néant
Voici mon top 10 des articles scientifiques les plus intéressants de l’année en vision par ordinateur, au cas où vous en auriez manqué. En gros, il s’agit d’une liste soigneusement sélectionnée des plus récentes percées en IA et en vision par ordinateur, accompagnées d’une explication vidéo claire, d’un lien vers un article plus approfondi et du code lorsqu’il est disponible. Bonne lecture! Dites-moi si j’ai oublié un article important dans les commentaires ou en communiquant directement avec moi sur LinkedIn!
La référence complète de chaque article scientifique se trouve à la fin de cet article.
Abonnez-vous à mon infolettre : les plus récentes avancées en IA expliquées chaque semaine. N’hésitez pas à m’écrire pour me signaler un article intéressant que j’aurais oublié!
Identifiez-moi sur Twitter @Whats_AI ou LinkedIn @Louis (What’s AI) Bouchard si vous partagez la liste!
Vous avez raté l’année dernière? Jetez un coup d’œil à ceci : 2020 : une année remplie d’articles incroyables sur l’IA, une rétrospective
👀 Si vous souhaitez soutenir mon travail et utiliser W&B gratuitement pour suivre vos expériences de ML, rendre votre travail reproductible ou collaborer avec une équipe, vous pouvez l’essayer en suivant ce guide! Puisque la plupart du code ici utilise PyTorch, nous avons pensé qu’un guide de démarrage rapide sur W&B avec PyTorch serait le contenu le plus intéressant à partager.
👉Suivez ce guide rapide, utilisez les mêmes lignes W&B dans votre code ou dans n’importe lequel des dépôts ci-dessous, puis suivez automatiquement toutes vos expériences dans votre compte W&B! La configuration ne prend pas plus de 5 minutes et changera votre vie comme elle a changé la mienne! Voici un guide plus avancé pour utiliser les balayages d’hyperparamètres si cela vous intéresse :)
🙌 Merci à Weights & Biases de commanditer ce dépôt et le travail que j’accomplis, et merci à tous ceux qui utilisent ce lien et essaient W&B!
Accédez à la liste complète dans un dépôt GitHub
Regardez la rétrospective 2021 de la vision par ordinateur
Table des matières
- DALL·E : génération d’images zero-shot à partir de texte par OpenAI [1]
- Apprivoiser les transformers pour la synthèse d’images en haute résolution [2]
- Swin Transformer : transformer hiérarchique de vision avec fenêtres décalées [3]
- Réseaux profonds : qu’ont-ils vraiment apporté à la vision? [bonus]
- Infinite Nature : génération perpétuelle de vues de scènes naturelles à partir d’une seule image [4]
- Total Relighting : apprendre à rééclairer des portraits pour remplacer l’arrière-plan [5]
- Animer des images avec des champs de mouvement eulériens [6]
- Prix du meilleur article de CVPR 2021 : GIRAFFE, la génération d’images contrôlable [7]
- TimeLens : interpolation d’images vidéo basée sur les événements [8]
- (Style)CLIPDraw : combiner le contenu et le style dans la synthèse de dessins à partir de texte [9]
- CityNeRF : construire NeRF à l’échelle d’une ville [10]
- Références des articles scientifiques
DALL·E: Zero-Shot Text-to-Image Generation from OpenAI [1]
OpenAI a entraîné avec succès un réseau capable de générer des images à partir de descriptions textuelles. Il ressemble beaucoup à GPT-3 et à Image GPT, et produit des résultats extraordinaires.
Courte explication vidéo
Courte lecture
[
DALL·E d’OpenAI : la génération d’images à partir de texte expliquée
OpenAI vient de publier l’article scientifique qui explique le fonctionnement de DALL-E! Il s’intitule « Zero-Shot Text-to-Image Generation ».
](/fr/openais-dall-e-text-to-image-generation-explained/)
- Article scientifique : Zero-Shot Text-to-Image Generation
- Code : code et plus d’information sur le VAE discret utilisé pour DALL·E
Taming Transformers for High-Resolution Image Synthesis [2]
En bref : les chercheurs ont combiné l’efficacité des GANs et des approches convolutives avec l’expressivité des transformers pour produire une méthode puissante et rapide de synthèse d’images de haute qualité guidée par la sémantique.
Courte explication vidéo
Courte lecture
[
Combiner l’expressivité des transformers avec l’efficacité des CNNs pour la synthèse d’images en haute résolution…
En bref : les chercheurs ont combiné l’efficacité des GANs et des approches convolutives avec l’expressivité des transformers pour produire une méthode puissante et…
- Article scientifique : Taming Transformers for High-Resolution Image Synthesis
- Code : Taming Transformers
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows [3]
Les transformers remplaceront-ils les CNNs en vision par ordinateur? En moins de 5 minutes, vous saurez comment l’architecture des transformers peut être appliquée à la vision par ordinateur grâce à un nouvel article appelé Swin Transformer.
Courte explication vidéo
Courte lecture
[
Les transformers remplaceront-ils les CNNs en vision par ordinateur?
En quelques minutes, vous saurez comment l’architecture des transformers peut être appliquée à la vision par ordinateur grâce à un nouvel article appelé Swin…
](https://pub.towardsai.net/will-transformers-replace-cnns-in-computer-vision-55657a196833)
- Article scientifique : Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
- Cliquez ici pour le code
Deep nets: What have they ever done for vision? [bonus]
« Je vais partager ouvertement tout ce qui concerne les réseaux profonds pour les applications de vision, leurs réussites et les limites auxquelles nous devons nous attaquer. »
Courte explication vidéo
Courte lecture
[
Quel est l’état de l’IA en vision par ordinateur?
Je vais partager ouvertement tout ce qui concerne les réseaux profonds pour les applications de vision, leurs réussites et les limites auxquelles nous devons nous attaquer.
](/fr/ai-in-computer-vision/)
- Article scientifique : Deep nets: What have they ever done for vision?
Infinite Nature: Perpetual View Generation of Natural Scenes from a Single Image [4]
La prochaine étape de la synthèse de vues : la génération perpétuelle de vues, dont l’objectif consiste à plonger dans une image et à explorer le paysage!
Courte explication vidéo :
Courte lecture
[
Infinite Nature : plongez dans une image et explorez le paysage
La prochaine étape de la synthèse de vues : la génération perpétuelle de vues, dont l’objectif consiste à plonger dans une image et à explorer le paysage!
](/fr/infinite-nature/)
- Article scientifique : Infinite Nature: Perpetual View Generation of Natural Scenes from a Single Image
- Cliquez ici pour le code
- Démonstration Colab
Total Relighting: Learning to Relight Portraits for Background Replacement [5]
Rééclairez correctement n’importe quel portrait selon l’éclairage du nouvel arrière-plan que vous ajoutez. Avez-vous déjà voulu changer l’arrière-plan d’une photo tout en gardant un résultat réaliste? Si vous avez déjà essayé, vous savez que ce n’est pas simple. Vous ne pouvez pas simplement prendre une photo de vous à la maison et remplacer l’arrière-plan par une plage. Le résultat semble mauvais et irréaliste. N’importe qui dira immédiatement : « C’est du Photoshop. » Pour les films et les vidéos professionnelles, il faut un éclairage parfait et des artistes capables de reproduire une image de haute qualité, ce qui coûte très cher. Il n’y a aucune façon d’accomplir cela avec vos propres photos. Vraiment?
Courte explication vidéo
Courte lecture
[
Un éclairage réaliste sur différents arrière-plans
Rééclairez correctement n’importe quel portrait selon l’éclairage du nouvel arrière-plan que vous ajoutez.
](/fr/backgrounds-with-lighting/)
- Article scientifique : Total Relighting: Learning to Relight Portraits for Background Replacement
Si vous souhaitez vous aussi lire davantage d’articles scientifiques, je vous recommande mon article, où je partage mes meilleurs conseils pour trouver et lire plus d’articles.
Animating Pictures with Eulerian Motion Fields [6]
Ce modèle reçoit une image, comprend quelles particules sont censées bouger et les anime de façon réaliste dans une boucle infinie, tout en gardant le reste de l’image parfaitement immobile. Il crée ainsi des vidéos extraordinaires comme celle-ci…
Courte explication vidéo
Courte lecture
[
Créez des vidéos animées réalistes en boucle à partir d’images
Ce modèle reçoit une image, comprend quelles particules sont censées bouger et les anime de façon réaliste dans une boucle infinie, tout en gardant le reste de l’image parfaitement immobile. Il crée ainsi des vidéos extraordinaires comme celle-ci.
](/fr/animate-pictures/)
- Article scientifique : Animating Pictures with Eulerian Motion Fields
- Cliquez ici pour le code
Prix du meilleur article de CVPR 2021 : GIRAFFE, la génération d’images contrôlable [7]
Grâce à une architecture de GAN modifiée, les chercheurs peuvent déplacer des objets dans une image sans modifier l’arrière-plan ni les autres objets!
Courte explication vidéo
Courte lecture
[
Prix du meilleur article de CVPR 2021 : GIRAFFE, la génération d’images contrôlable
Grâce à une architecture de GAN modifiée, les chercheurs peuvent déplacer des objets dans une image sans modifier l’arrière-plan ni les autres objets!
](/fr/cvpr-2021-best-paper/)
- Article scientifique : GIRAFFE: Representing Scenes as Compositional Generative Neural Feature Fields
- Cliquez ici pour le code
TimeLens: Event-based Video Frame Interpolation [8]
TimeLens peut comprendre le mouvement des particules entre les images d’une vidéo pour reconstruire ce qui s’est vraiment produit à une vitesse que même nos yeux ne peuvent pas percevoir. En fait, il obtient des résultats que nos téléphones intelligents et aucun autre modèle n’arrivaient à atteindre auparavant!
Courte explication vidéo
Courte lecture
[
Comment créer des vidéos au ralenti avec l’IA!
TimeLens peut comprendre le mouvement des particules entre les images d’une vidéo pour reconstruire ce qui s’est vraiment produit à une vitesse que même nos yeux ne peuvent pas percevoir. En fait, il obtient des résultats que nos téléphones intelligents et aucun autre modèle n’arrivaient à atteindre auparavant.
](/fr/timelens/)
- Article scientifique : TimeLens: Event-based Video Frame Interpolation
- Cliquez ici pour le code
Abonnez-vous à mon infolettre hebdomadaire pour rester à jour sur les nouvelles publications en IA de 2022!
(Style)CLIPDraw: Coupling Content and Style in Text-to-Drawing Synthesis [9]
Avez-vous déjà rêvé de prendre le style d’une image, comme ce style de dessin TikTok assez cool à gauche, et de l’appliquer à une nouvelle image de votre choix? Eh bien, moi oui, et cela n’a jamais été aussi facile. En fait, vous pouvez même y arriver uniquement avec du texte et essayer immédiatement cette nouvelle méthode grâce à leur carnet Google Colab accessible à tous, dont le lien se trouve dans les références. Prenez simplement une image du style que vous voulez copier, entrez le texte à générer et cet algorithme produira une nouvelle image à partir de celui-ci! Regardez encore les résultats ci-dessus, quelle avancée! Ils sont extrêmement impressionnants, surtout si vous considérez qu’ils ont été créés à partir d’une seule ligne de texte!
Courte explication vidéo
Courte lecture
[
Synthèse de dessins à partir de texte avec contrôle artistique | CLIPDraw et StyleCLIPDraw
Prenez une image du style que vous souhaitez copier, entrez le texte et l’algorithme générera une nouvelle image à partir de celui-ci!
](/fr/clipdraw/)
- Article scientifique (CLIPDraw) : CLIPDraw: exploring text-to-drawing synthesis through language-image encoders
- Article scientifique (StyleCLIPDraw) : StyleCLIPDraw: Coupling Content and Style in Text-to-Drawing Synthesis
- Démonstration Colab de CLIPDraw
- Démonstration Colab de StyleCLIPDraw
CityNeRF: Building NeRF at City Scale [10]
Le modèle s’appelle CityNeRF et découle de NeRF, dont j’ai déjà parlé sur ma chaîne. NeRF est l’un des premiers modèles à utiliser des champs de radiance et l’apprentissage automatique pour construire des modèles 3D à partir d’images. Mais NeRF n’est pas très efficace et fonctionne à une seule échelle. Ici, CityNeRF est appliqué simultanément à des images satellites et à des images prises au niveau du sol afin de produire des modèles 3D à différentes échelles, peu importe le point de vue. En termes simples, les chercheurs font passer NeRF à l’échelle d’une ville. Mais comment?
Courte explication vidéo
Courte lecture
[
CityNeRF : la modélisation 3D à l’échelle d’une ville!
Générez des scènes 3D à l’échelle d’une ville avec des détails de haute qualité à n’importe quelle échelle!
](/fr/citynerf/)
- Article scientifique : CityNeRF: Building NeRF at City Scale
- Cliquez ici pour le code, qui sera bientôt publié
Si vous souhaitez lire plus d’articles scientifiques et obtenir une vue d’ensemble plus large, voici un autre excellent dépôt qui couvre 2020 : 2020 : une année remplie d’articles incroyables sur l’IA, une rétrospective. N’hésitez pas à vous abonner à mon infolettre hebdomadaire pour rester à jour sur les nouvelles publications en IA de 2022!
Identifiez-moi sur Twitter @Whats_AI ou LinkedIn @Louis (What’s AI) Bouchard si vous partagez la liste!
Références des articles scientifiques
[1] A. Ramesh et al., Zero-shot text-to-image generation, 2021. arXiv:2102.12092
[2] Taming Transformers for High-Resolution Image Synthesis, Esser et al., 2020.
[3] Liu, Z. et al., 2021, “Swin Transformer: Hierarchical Vision Transformer using Shifted Windows”, arXiv preprint https://arxiv.org/abs/2103.14030v1
[bonus] Yuille, A.L., and Liu, C., 2021. Deep nets: What have they ever done for vision?. International Journal of Computer Vision, 129(3), pp.781–802, https://arxiv.org/abs/1805.04025.
[5] Pandey et al., 2021, Total Relighting: Learning to Relight Portraits for Background Replacement, doi: 10.1145/3450626.3459872, https://augmentedperception.github.io/total_relighting/total_relighting_paper.pdf.
[6] Holynski, Aleksander, et al. “Animating Pictures with Eulerian Motion Fields.” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.
[7] Michael Niemeyer and Andreas Geiger, (2021), “GIRAFFE: Representing Scenes as Compositional Generative Neural Feature Fields”, Published in CVPR 2021.
[8] Stepan Tulyakov*, Daniel Gehrig*, Stamatios Georgoulis, Julius Erbach, Mathias Gehrig, Yuanyou Li, Davide Scaramuzza, TimeLens: Event-based Video Frame Interpolation, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Nashville, 2021, https://rpg.ifi.uzh.ch/docs/CVPR21_Gehrig.pdf
[9] a) CLIPDraw : explorer la synthèse de dessins à partir de texte avec des encodeurs langage-image
b) StyleCLIPDraw : Schaldenbrand, P., Liu, Z. and Oh, J., 2021. StyleCLIPDraw : combiner le contenu et le style dans la synthèse de dessins à partir de texte.
[10] Xiangli, Y., Xu, L., Pan, X., Zhao, N., Rao, A., Theobalt, C., Dai, B. and Lin, D., 2021. CityNeRF: Building NeRF at City Scale.
FAQ
Que contient cette liste de vision par ordinateur de 2021?
Elle rassemble dix articles influents avec des explications vidéo, des articles plus approfondis, du code lorsqu’il est disponible et les références originales.
Quels grands thèmes de recherche y trouve-t-on?
La liste couvre la génération d’images à partir de texte, la synthèse en haute résolution, les transformers de vision, la restauration, l’édition, la vision 3D et la reconnaissance.
Pourquoi DALL-E a-t-il été important pour la vision par ordinateur?
Il a démontré une génération d’images zero-shot flexible à partir de descriptions en langage naturel grâce à une vaste approche basée sur les transformers.
Qu’a changé Swin Transformer?
Ses fenêtres locales décalées ont rendu les caractéristiques hiérarchiques des transformers plus efficaces pour les tâches de vision en haute résolution.
Comment les lecteurs devraient-ils utiliser une liste des meilleurs articles?
Utilisez-la pour trouver des idées pertinentes, puis vérifiez les affirmations et les détails de l’implémentation dans l’article scientifique et le code.
Quel problème Total Relighting résout-il?
Il ajuste l’éclairage d’un portrait pour qu’il corresponde à un nouvel arrière-plan, ce qui rend le montage plus réaliste.