Pendant que le monde se remet encore, la recherche n’a pas ralenti son rythme effréné, particulièrement dans le domaine de l’intelligence artificielle. De plus, plusieurs aspects importants ont été mis en évidence cette année, notamment l’éthique, les biais importants, la gouvernance, la transparence et bien plus encore. L’intelligence artificielle, notre compréhension du cerveau humain et son lien avec l’IA évoluent constamment, en montrant des applications prometteuses qui pourraient améliorer notre qualité de vie dans un avenir proche. Nous devons tout de même choisir avec prudence les technologies que nous décidons d’appliquer.
« La science ne peut pas nous dire ce que nous devons faire, seulement ce que nous pouvons faire. » - Jean-Paul Sartre, L’Être et le Néant
Voici les articles scientifiques les plus intéressants de l’année, au cas où vous en auriez manqué. En gros, il s’agit d’une liste soigneusement sélectionnée des plus récentes percées en IA et en science des données, classées par date de publication, avec une explication claire, un lien vers un article plus approfondi et du code lorsqu’il est disponible. Bonne lecture!
La référence complète de chaque article scientifique se trouve à la fin de ce dépôt.
Abonnez-vous à mon infolettre : les plus récentes avancées en IA expliquées chaque semaine.
N’hésitez pas à m’écrire pour me signaler un article intéressant que j’aurais oublié d’ajouter à ce dépôt.
Identifiez-moi sur Twitter @Whats_AI ou LinkedIn @Louis (What’s AI) Bouchard si vous partagez la liste!
Vous avez raté l’année dernière? Jetez un coup d’œil à ceci : 2020 : une année remplie d’articles incroyables sur l’IA, une rétrospective
👀 Si vous souhaitez soutenir mon travail et utiliser W&B gratuitement pour suivre vos expériences de ML, rendre votre travail reproductible ou collaborer avec une équipe, vous pouvez l’essayer en suivant ce guide! Puisque la plupart du code ici utilise PyTorch, nous avons pensé qu’un guide de démarrage rapide sur W&B avec PyTorch serait le contenu le plus intéressant à partager.
👉Suivez ce guide rapide, utilisez les mêmes lignes W&B dans votre code ou dans n’importe lequel des dépôts ci-dessous, puis suivez automatiquement toutes vos expériences dans votre compte W&B! La configuration ne prend pas plus de 5 minutes et changera votre vie comme elle a changé la mienne! Voici un guide plus avancé pour utiliser les balayages d’hyperparamètres si cela vous intéresse :)
🙌 Merci à Weights & Biases de commanditer ce dépôt et le travail que j’accomplis, et merci à tous ceux qui utilisent ce lien et essaient W&B!
Accédez à la liste complète dans un dépôt GitHub
Table des matières
- DALL·E : génération d’images zero-shot à partir de texte par OpenAI [1]
- VOGUE : essayage par optimisation de l’interpolation de StyleGAN [2]
- Apprivoiser les transformers pour la synthèse d’images en haute résolution [3]
- Penser vite et lentement en IA [4]
- Détection et quantification automatiques des macrodéchets marins flottants dans des images aériennes [5]
- ShaRF : champs de rayonnement conditionnés par la forme à partir d’une seule vue [6]
- Transformers génératifs adverses [7]
- Nous avons demandé à l’intelligence artificielle de créer des profils de rencontre. Glisseriez-vous vers la droite? [8]
- Swin Transformer : transformer hiérarchique de vision avec fenêtres décalées [9]
- Les GANs d’images rencontrent le rendu différentiable pour la vision inversée et le rendu neuronal 3D interprétable [10]
- Réseaux profonds : qu’ont-ils vraiment apporté à la vision? [11]
- Infinite Nature : génération perpétuelle de vues de scènes naturelles à partir d’une seule image [12]
- Main neuroprothétique portable et autonome avec contrôle des doigts basé sur l’apprentissage profond [13]
- Total Relighting : apprendre à rééclairer des portraits pour remplacer l’arrière-plan [14]
- LASR : apprendre la reconstruction de formes articulées à partir d’une vidéo monoculaire [15]
- Améliorer le photoréalisme [16]
- DefakeHop : un détecteur de deepfakes léger et très performant [17]
- Traduction photoréaliste d’images en haute résolution et en temps réel avec un réseau de traduction pyramidal laplacien [18]
- Barbershop : composition d’images basée sur les GANs à l’aide de masques de segmentation [19]
- TextStyleBrush : transférer l’esthétique d’un texte à partir d’un seul exemple [20]
- Animer des images avec des champs de mouvement eulériens [21]
- Prix du meilleur article de CVPR 2021 : GIRAFFE, la génération d’images contrôlable [22]
- GitHub Copilot et Codex : évaluer de grands modèles de langage entraînés sur du code [23]
- Apple : reconnaître des personnes dans des photos grâce à l’apprentissage automatique privé sur l’appareil [24]
- Synthèse et édition d’images avec des équations différentielles stochastiques [25]
- Esquissez votre propre GAN [26]
- Le pilote automatique de Tesla expliqué [27]
- StyleCLIP : manipulation d’images StyleGAN guidée par le texte [28]
- TimeLens : interpolation d’images vidéo basée sur les événements [29]
- Génération diversifiée à partir d’une seule vidéo [30]
- Prévision immédiate habile des précipitations avec des modèles génératifs profonds de radar [31]
- Le problème de la fourchette à cocktail : séparer trois pistes audio de bandes sonores réelles [32]
- ADOP : rendu différentiable approximatif de points d’un pixel [33]
- (Style)CLIPDraw : combiner le contenu et le style dans la synthèse de dessins à partir de texte [34]
- SwinIR : restauration d’images à l’aide d’un Swin Transformer [35]
- EditGAN : édition sémantique d’images de haute précision [36]
- CityNeRF : construire NeRF à l’échelle d’une ville [37]
- ClipCap : préfixe CLIP pour la génération de légendes d’images [38]
- Références des articles scientifiques
DALL·E: Zero-Shot Text-to-Image Generation from OpenAI [1]
OpenAI a entraîné avec succès un réseau capable de générer des images à partir de descriptions textuelles. Il ressemble beaucoup à GPT-3 et à Image GPT, et produit des résultats extraordinaires.
Courte lecture :
[
DALL·E d’OpenAI : la génération d’images à partir de texte expliquée
OpenAI vient de publier l’article scientifique qui explique le fonctionnement de DALL-E! Il s’intitule « Zero-Shot Text-to-Image Generation ».
](/fr/openais-dall-e-text-to-image-generation-explained/)
- Article scientifique : Zero-Shot Text-to-Image Generation
- Code : code et plus d’information sur le VAE discret utilisé pour DALL·E
VOGUE: Try-On by StyleGAN Interpolation Optimization [2]
Google a utilisé une architecture StyleGAN2 modifiée pour créer une cabine d’essayage en ligne où vous pouvez essayer automatiquement le pantalon ou le chandail de votre choix à partir d’une simple image de vous.
Courte lecture :
[
La cabine d’essayage en ligne propulsée par l’IA : VOGUE
Google a utilisé une architecture StyleGAN2 modifiée pour créer une cabine d’essayage en ligne où vous pouvez essayer automatiquement le pantalon ou le chandail de votre choix…
- Article scientifique : VOGUE: Try-On by StyleGAN Interpolation Optimization
Taming Transformers for High-Resolution Image Synthesis [3]
En bref : les chercheurs ont combiné l’efficacité des GANs et des approches convolutives avec l’expressivité des transformers pour produire une méthode puissante et rapide de synthèse d’images de haute qualité guidée par la sémantique.
Courte lecture :
[
Combiner l’expressivité des transformers avec l’efficacité des CNNs pour la synthèse d’images en haute résolution…
En bref : les chercheurs ont combiné l’efficacité des GANs et des approches convolutives avec l’expressivité des transformers pour produire une méthode puissante et…
- Article scientifique : Taming Transformers for High-Resolution Image Synthesis
- Code : Taming Transformers
Thinking Fast And Slow in AI [4]
Inspiré de « Human Capabilities Towards a More General and Trustworthy AI » et de « 10 Questions for the AI Research Community ».
Courte lecture :
[
Troisième vague de l’IA | Penser vite et lentement
Inspiré de « Human Capabilities Towards a More General and Trustworthy AI » et de « 10 Questions for the AI Research Community ».
](/fr/third-wave-of-ai-thinking-fast-and-slow/)
- Article scientifique : Thinking Fast And Slow in AI
Automatic detection and quantification of floating marine macro-litter in aerial images [5]
Odei Garcia-Garin et ses collègues de l’Université de Barcelone ont développé un algorithme basé sur l’apprentissage profond capable de détecter et de quantifier les déchets flottants dans des images aériennes. Ils ont aussi créé une application Web qui permet aux utilisateurs de repérer ces déchets, appelés macrodéchets marins flottants ou FMML, dans des images de la surface de la mer.
Courte lecture :
[
Un logiciel d’IA capable de détecter et de compter les déchets de plastique dans l’océan
Il est à la fois très ingénieux et simple, et vous pourriez utiliser ce même modèle pour de nombreuses applications de classification d’images.
- Article scientifique : Automatic detection and quantification of floating marine macro-litter in aerial images: Introducing a novel deep learning approach connected to a web application in R, Environmental Pollution
- Cliquez ici pour le code
ShaRF: Shape-conditioned Radiance Fields from a Single View [6]
Imaginez à quel point ce serait génial de simplement photographier un objet, de l’obtenir en 3D, puis de l’insérer dans le film ou le jeu vidéo que vous créez, ou dans une scène 3D pour une illustration.
- Courte lecture :
[
ShaRF : photographiez un objet réel et créez-en un modèle 3D
Imaginez à quel point ce serait génial de simplement photographier un objet, de l’obtenir en 3D, puis de l’insérer dans le film ou le jeu vidéo que vous créez…
- Article scientifique : ShaRF: Shape-conditioned Radiance Fields from a Single View
- Lisez l’article scientifique et accédez au code
Generative Adversarial Transformers [7]
En gros, les chercheurs exploitent le mécanisme d’attention des transformers dans la puissante architecture StyleGAN2 pour la rendre encore plus performante!
- Courte lecture :
[
Transformers génératifs adverses : les GANsformers expliqués
En gros, les chercheurs exploitent le mécanisme d’attention des transformers dans la puissante architecture StyleGAN2 pour la rendre encore plus performante!
](https://whats-ai.medium.com/generative-adversarial-transformers-gansformers-explained-bf1fa76ef58d)
- Article scientifique : Generative Adversarial Transformers
- Cliquez ici pour le code
Abonnez-vous à mon infolettre hebdomadaire pour rester à jour sur les nouvelles publications en IA de 2022!
We Asked Artificial Intelligence to Create Dating Profiles. Would You Swipe Right? [8]
Glisseriez-vous vers la droite sur un profil créé par une IA? Pouvez-vous distinguer un véritable humain d’une machine? C’est ce que cette étude révèle à l’aide de personnes inventées par l’IA sur des applications de rencontre.
- Courte lecture :
[
Glisseriez-vous vers la droite sur un profil créé par une IA?
Pouvez-vous distinguer un véritable humain d’une machine? C’est ce que cette étude révèle à l’aide de personnes inventées par l’IA sur des applications de rencontre
](https://pub.towardsai.net/would-you-swipe-right-on-an-ai-profile-98dc8a4451ec)
- Article scientifique : We Asked Artificial Intelligence to Create Dating Profiles. Would You Swipe Right?
- Cliquez ici pour le code
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows [9]
Les transformers remplaceront-ils les CNNs en vision par ordinateur? En moins de 5 minutes, vous saurez comment l’architecture des transformers peut être appliquée à la vision par ordinateur grâce à un nouvel article appelé Swin Transformer.
- Courte lecture :
[
Les transformers remplaceront-ils les CNNs en vision par ordinateur?
En quelques minutes, vous saurez comment l’architecture des transformers peut être appliquée à la vision par ordinateur grâce à un nouvel article appelé Swin…
](https://pub.towardsai.net/will-transformers-replace-cnns-in-computer-vision-55657a196833)
- Article scientifique : Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
- Cliquez ici pour le code
IMAGE GANS MEET DIFFERENTIABLE RENDERING FOR INVERSE GRAPHICS AND INTERPRETABLE 3D NEURAL RENDERING [10]
Ce modèle prometteur appelé GANverse3D n’a besoin que d’une image pour créer une figure 3D qui peut être personnalisée et animée!
- Courte lecture :
[
Créez des modèles 3D à partir d’images! GANverse3D et NVIDIA Omniverse
Ce modèle prometteur appelé GANverse3D n’a besoin que d’une image pour créer une figure 3D qui peut être personnalisée et animée!
](/fr/ganverse3d/)
- Article scientifique : IMAGE GANS MEET DIFFERENTIABLE RENDERING FOR INVERSE GRAPHICS AND INTERPRETABLE 3D NEURAL RENDERING
Deep nets: What have they ever done for vision? [11]
« Je vais partager ouvertement tout ce qui concerne les réseaux profonds pour les applications de vision, leurs réussites et les limites auxquelles nous devons nous attaquer. »
- Courte lecture :
[
Quel est l’état de l’IA en vision par ordinateur?
Je vais partager ouvertement tout ce qui concerne les réseaux profonds pour les applications de vision, leurs réussites et les limites auxquelles nous devons nous attaquer.
](/fr/ai-in-computer-vision/)
- Article scientifique : Deep nets: What have they ever done for vision?
Infinite Nature: Perpetual View Generation of Natural Scenes from a Single Image [12]
La prochaine étape de la synthèse de vues : la génération perpétuelle de vues, dont l’objectif consiste à plonger dans une image et à explorer le paysage!
- Courte lecture :
[
Infinite Nature : plongez dans une image et explorez le paysage
La prochaine étape de la synthèse de vues : la génération perpétuelle de vues, dont l’objectif consiste à plonger dans une image et à explorer le paysage!
](/fr/infinite-nature/)
- Article scientifique : Infinite Nature: Perpetual View Generation of Natural Scenes from a Single Image
- Cliquez ici pour le code
- Démonstration Colab
Portable, Self-Contained Neuroprosthetic Hand with Deep Learning-Based Finger Control [13]
Grâce à cette interface nerveuse propulsée par l’IA, la personne amputée peut contrôler une main neuroprothétique avec une dextérité et une intuitivité proches de la réalité.
- Courte lecture :
[
Une personne amputée avec une main propulsée par l’IA! 🦾
Grâce à cette interface nerveuse propulsée par l’IA, la personne amputée peut contrôler une main neuroprothétique avec une dextérité et une intuitivité proches de la réalité.
](/fr/an-amputee-with-an-ai-powered-hand/)
- Article scientifique : Portable, Self-Contained Neuroprosthetic Hand with Deep Learning-Based Finger Control
Total Relighting: Learning to Relight Portraits for Background Replacement [14]
Rééclairez correctement n’importe quel portrait selon l’éclairage du nouvel arrière-plan que vous ajoutez. Avez-vous déjà voulu changer l’arrière-plan d’une photo tout en gardant un résultat réaliste? Si vous avez déjà essayé, vous savez que ce n’est pas simple. Vous ne pouvez pas simplement prendre une photo de vous à la maison et remplacer l’arrière-plan par une plage. Le résultat semble mauvais et irréaliste. N’importe qui dira immédiatement : « C’est du Photoshop. » Pour les films et les vidéos professionnelles, il faut un éclairage parfait et des artistes capables de reproduire une image de haute qualité, ce qui coûte très cher. Il n’y a aucune façon d’accomplir cela avec vos propres photos. Vraiment?
- Courte lecture :
[
Un éclairage réaliste sur différents arrière-plans
Rééclairez correctement n’importe quel portrait selon l’éclairage du nouvel arrière-plan que vous ajoutez.
](/fr/backgrounds-with-lighting/)
- Article scientifique : Total Relighting: Learning to Relight Portraits for Background Replacement
LASR: Learning Articulated Shape Reconstruction from a Monocular Video [15]
Générez des modèles 3D d’humains ou d’animaux en mouvement à partir d’une seule courte vidéo en entrée. Cette nouvelle méthode génère des modèles 3D d’humains ou d’animaux en mouvement à partir d’une simple courte vidéo. En fait, elle comprend qu’il s’agit d’une forme inhabituelle, qu’elle peut bouger, mais qu’elle doit tout de même rester attachée puisqu’il s’agit toujours d’un seul « objet » et non d’un simple assemblage de plusieurs objets…
- Courte lecture :
[
Reconstruction 3D articulée à partir de vidéos
Générez des modèles 3D d’humains ou d’animaux en mouvement à partir d’une seule courte vidéo en entrée.
](/fr/3d-reconstruction-from-videos/)
- Article scientifique : LASR: Learning Articulated Shape Reconstruction from a Monocular Video
- Cliquez ici pour le code
Enhancing Photorealism Enhancement [16]
Cette IA peut être appliquée en direct à un jeu vidéo et transformer chaque image pour lui donner une apparence beaucoup plus naturelle. Les chercheurs d’Intel Labs viennent de publier cet article intitulé « Enhancing Photorealism Enhancement ». Et si vous pensez qu’il ne s’agit que d’un autre GAN qui reçoit une image du jeu vidéo en entrée et la modifie selon le style du monde réel, laissez-moi vous faire changer d’avis. Ils ont travaillé sur ce modèle pendant deux ans pour le rendre extrêmement robuste. Il peut être appliqué en direct au jeu vidéo et transformer chaque image pour lui donner une apparence beaucoup plus naturelle. Imaginez les possibilités : vous pourriez consacrer beaucoup moins d’efforts aux graphismes du jeu, le rendre très stable et complet, puis améliorer son style avec ce modèle…
- Courte lecture :
[
L’IA est-elle l’avenir de la conception de jeux vidéo? Enhancing Photorealism Enhancement
Cette IA peut être appliquée en direct à un jeu vidéo et transformer chaque image pour lui donner une apparence beaucoup plus naturelle.
](/fr/the-future-of-video-game/)
- Article scientifique : Enhancing Photorealism Enhancement
- Cliquez ici pour le code
DefakeHop: A Light-Weight High-Performance Deepfake Detector [17]
Comment repérer un deepfake en 2021. Une technologie révolutionnaire de l’armée américaine utilise l’intelligence artificielle pour détecter les deepfakes.
Même s’ils semblent exister depuis toujours, le tout premier deepfake réaliste n’est apparu qu’en 2017. Nous sommes passés des premières fausses images ressemblantes générées automatiquement aux copies aujourd’hui identiques d’une personne dans des vidéos, avec le son.
La réalité, c’est que nous ne pouvons plus voir la différence entre une vraie vidéo ou photo et un deepfake. Comment distinguer ce qui est réel de ce qui ne l’est pas? Comment des fichiers audio ou vidéo peuvent-ils servir de preuve devant un tribunal si une IA peut les générer entièrement? Ce nouvel article pourrait bien répondre à ces questions. Et la réponse pourrait encore une fois être l’intelligence artificielle. L’expression « Je le croirai quand je le verrai » pourrait bientôt devenir « Je le croirai quand l’IA me dira d’y croire… »
- Courte lecture :
[
Comment repérer un deepfake. Une technologie révolutionnaire de l’armée américaine (2021)
Comment repérer un deepfake en 2021. Une technologie révolutionnaire de l’armée américaine utilise l’intelligence artificielle pour détecter les deepfakes.
](/fr/spot-deepfakes/)
- Article scientifique : DefakeHop: A Light-Weight High-Performance Deepfake Detector
High-Resolution Photorealistic Image Translation in Real-Time: A Laplacian Pyramid Translation Network [18]
Appliquez n’importe quel style à votre image 4K en temps réel grâce à cette nouvelle approche basée sur l’apprentissage automatique!
- Courte lecture :
[
Traduction photoréaliste d’images en haute résolution et en temps réel
Appliquez n’importe quel style à votre image 4K en temps réel grâce à cette nouvelle approche basée sur l’apprentissage automatique!
](/fr/4k-image-translation-in-real-time/)
- Article scientifique : High-Resolution Photorealistic Image Translation in Real-Time: A Laplacian Pyramid Translation Network
- Cliquez ici pour le code
Barbershop: GAN-based Image Compositing using Segmentation Masks [19]
Cet article ne porte pas sur une nouvelle technologie en soi. Il présente plutôt une nouvelle application fascinante des GANs. Oui, vous avez bien lu le titre, et ce n’était pas du clickbait. Cette IA peut transférer vos cheveux pour vous montrer le résultat avant que vous décidiez de faire le changement…
- Courte lecture :
[
Barbershop : essayez différentes coiffures et couleurs de cheveux à partir de photos (GANs)
Cette IA peut transférer vos cheveux pour vous montrer le résultat avant que vous décidiez de faire le changement.
](/fr/barbershop/)
- Article scientifique : Barbershop: GAN-based Image Compositing using Segmentation Masks
- Cliquez ici pour le code
TextStyleBrush: Transfer of text aesthetics from a single example [20]
Ce nouveau modèle d’IA de Facebook peut traduire ou modifier du texte directement dans une image, dans votre propre langue et en conservant le même style!
Imaginez que vous êtes en vacances dans un autre pays dont vous ne parlez pas la langue. Vous voulez essayer un restaurant local, mais son menu est écrit dans cette langue que vous ne comprenez pas. Ce ne sera probablement pas difficile à imaginer, puisque la plupart d’entre nous ont déjà vécu cette situation devant un menu ou des indications impossibles à comprendre. En 2020, vous auriez sorti votre téléphone pour traduire ce que vous voyez avec Google Traduction. En 2021, vous n’avez même plus besoin d’ouvrir Google Traduction et de retranscrire chaque élément un par un. Vous pouvez simplement utiliser ce nouveau modèle de Facebook AI pour traduire chaque texte de l’image dans votre propre langue…
- Courte lecture :
[
Traduisez ou modifiez le texte d’images en reproduisant son style : TextStyleBrush
Ce nouveau modèle d’IA de Facebook peut traduire ou modifier chaque texte d’une image dans votre propre langue, tout en conservant le même style!
](/fr/textstylebrush/)
- Article scientifique : TextStyleBrush: Transfer of text aesthetics from a single example
- Cliquez ici pour le code
Si vous souhaitez vous aussi lire davantage d’articles scientifiques, je vous recommande mon article, où je partage mes meilleurs conseils pour trouver et lire plus d’articles.
Animating Pictures with Eulerian Motion Fields [21]
Ce modèle reçoit une image, comprend quelles particules sont censées bouger et les anime de façon réaliste dans une boucle infinie, tout en gardant le reste de l’image parfaitement immobile. Il crée ainsi des vidéos extraordinaires comme celle-ci…
- Courte lecture :
[
Créez des vidéos animées réalistes en boucle à partir d’images
Ce modèle reçoit une image, comprend quelles particules sont censées bouger et les anime de façon réaliste dans une boucle infinie, tout en gardant le reste de l’image parfaitement immobile. Il crée ainsi des vidéos extraordinaires comme celle-ci.
](/fr/animate-pictures/)
- Article scientifique : Animating Pictures with Eulerian Motion Fields
- Cliquez ici pour le code
CVPR 2021 Best Paper Award: GIRAFFE - Controllable Image Generation [22]
Grâce à une architecture de GAN modifiée, les chercheurs peuvent déplacer des objets dans une image sans modifier l’arrière-plan ni les autres objets!
- Courte lecture :
[
Prix du meilleur article de CVPR 2021 : GIRAFFE, la génération d’images contrôlable
Grâce à une architecture de GAN modifiée, les chercheurs peuvent déplacer des objets dans une image sans modifier l’arrière-plan ni les autres objets!
](/fr/cvpr-2021-best-paper/)
- Article scientifique : GIRAFFE: Representing Scenes as Compositional Generative Neural Feature Fields
- Cliquez ici pour le code
GitHub Copilot & Codex: Evaluating Large Language Models Trained on Code [23]
Découvrez comment ce nouveau modèle d’OpenAI génère du code à partir de mots!
- Courte lecture :
[
Le nouveau générateur de code d’OpenAI : GitHub Copilot (et Codex)
Découvrez comment cette IA génère du code à partir de mots
](/fr/github-copilot/)
- Article scientifique : Evaluating Large Language Models Trained on Code
- Cliquez ici pour le code
Apple: Recognizing People in Photos Through Private On-Device Machine Learning [24]
Grâce à plusieurs algorithmes basés sur l’apprentissage automatique qui s’exécutent de façon privée sur votre appareil, Apple vous permet de sélectionner et d’organiser précisément vos images et vidéos sur iOS 15.
- Courte lecture :
[
Comment Apple Photos reconnaît les personnes dans vos photos privées grâce à l’apprentissage automatique
Grâce à plusieurs algorithmes basés sur l’apprentissage automatique qui s’exécutent de façon privée sur votre appareil, Apple vous permet de sélectionner et d’organiser précisément vos images et vidéos sur iOS 15.
](/fr/how-apple-photos-recognizes-people/)
- Article scientifique : Recognizing People in Photos Through Private On-Device Machine Learning
Image Synthesis and Editing with Stochastic Differential Equations [25]
Dites adieu aux architectures complexes de GANs et de transformers pour la génération d’images! Cette nouvelle méthode de Chenling Meng et ses collègues de l’Université Stanford et de l’Université Carnegie Mellon peut générer de nouvelles images à partir de n’importe quel input fourni par l’utilisateur. Même les gens comme moi qui n’ont aucun talent artistique peuvent maintenant créer de belles images ou les modifier à partir de simples esquisses…
- Courte lecture :
[
Synthèse et édition d’images à partir d’esquisses : SDEdit. Plus besoin d’un entraînement laborieux!
Dites adieu aux architectures complexes de GANs et de transformers pour la génération d’images. Cette nouvelle méthode peut générer de nouvelles images à partir de n’importe quel input fourni par l’utilisateur.
](/fr/image-synthesis-from-sketches/)
- Article scientifique : Image Synthesis and Editing with Stochastic Differential Equations
- Cliquez ici pour le code
- Démo Colab
Sketch Your Own GAN [26]
Facilitez l’entraînement des GANs pour tout le monde en générant des images à partir d’une esquisse! Avec cette nouvelle méthode, vous pouvez contrôler les outputs de votre GAN à l’aide du type d’information le plus simple que vous puissiez lui fournir : des esquisses dessinées à la main.
- Courte lecture :
[
Facilitez l’entraînement des GANs pour tout le monde : générez des images à partir d’une esquisse
Contrôlez les outputs des GANs à l’aide du type d’information le plus simple que vous puissiez fournir : des esquisses dessinées à la main.
](/fr/make-gans-training-easier/)
- Article scientifique : Sketch Your Own GAN
- Cliquez ici pour le code
Tesla’s Autopilot Explained [27]
Si vous vous demandez comment une Tesla peut non seulement voir, mais aussi circuler sur les routes parmi d’autres véhicules, voici la vidéo que vous attendiez. Il y a quelques jours avait lieu la toute première journée Tesla AI, où Andrej Karpathy, directeur de l’IA chez Tesla, et d’autres intervenants ont présenté le fonctionnement du pilote automatique de Tesla, de l’acquisition des images par ses huit caméras jusqu’au processus de navigation sur les routes.
- Courte lecture :
[
Le pilote automatique de Tesla expliqué! La journée Tesla AI en 10 minutes
La présentation d’Andrej Karpathy sur le pilote automatique de Tesla, expliquée clairement en moins de 10 minutes
](/fr/tesla-autopilot-explained-tesla-ai-day/)
Styleclip: Text-driven manipulation of StyleGAN imagery [28]
L’IA pouvait déjà générer des images. Ensuite, avec beaucoup de réflexion, d’essais et d’erreurs, les chercheurs pouvaient contrôler les résultats selon des styles précis. Maintenant, grâce à ce nouveau modèle, vous pouvez le faire avec du texte seulement!
- Courte lecture :
[
Modifiez de vraies images avec du texte : une IA pour les artistes créatifs! StyleCLIP expliqué
L’IA pouvait déjà générer des images. Ensuite, avec beaucoup de réflexion, d’essais et d’erreurs, les chercheurs pouvaient contrôler les résultats selon des styles précis. Maintenant, vous pouvez le faire avec du texte seulement!
](/fr/styleclip/)
- Article scientifique : Styleclip: Text-driven manipulation of StyleGAN imagery.
- Cliquez ici pour le code
- Démo Colab
TimeLens: Event-based Video Frame Interpolation [29]
TimeLens peut comprendre le mouvement des particules entre les images d’une vidéo pour reconstruire ce qui s’est vraiment produit à une vitesse que même nos yeux ne peuvent pas percevoir. En fait, il obtient des résultats que nos téléphones intelligents et aucun autre modèle n’arrivaient à atteindre auparavant!
- Courte lecture :
[
Comment créer des vidéos au ralenti avec l’IA!
TimeLens peut comprendre le mouvement des particules entre les images d’une vidéo pour reconstruire ce qui s’est vraiment produit à une vitesse que même nos yeux ne peuvent pas percevoir. En fait, il obtient des résultats que nos téléphones intelligents et aucun autre modèle n’arrivaient à atteindre auparavant.
](/fr/timelens/)
- Article scientifique : TimeLens: Event-based Video Frame Interpolation
- Cliquez ici pour le code
Abonnez-vous à mon infolettre hebdomadaire pour rester à jour sur les nouvelles publications en IA de 2022!
Diverse Generation from a Single Video Made Possible [30]
Avez-vous déjà voulu modifier une vidéo? Retirer ou ajouter une personne, changer l’arrière-plan, la faire durer un peu plus longtemps ou modifier sa résolution pour respecter un ratio précis sans la compresser ni l’étirer. Si vous avez déjà mené des campagnes publicitaires, vous avez certainement voulu créer plusieurs variantes de vos vidéos pour faire des tests A/B et voir ce qui fonctionne le mieux. Cette nouvelle recherche de Niv Haim et ses collègues peut vous aider à accomplir tout cela à partir d’une seule vidéo, et en HD!
En effet, à partir d’une simple vidéo, vous pouvez accomplir toutes les tâches que je viens de mentionner en quelques secondes, ou en quelques minutes pour des vidéos de haute qualité. En gros, vous pouvez l’utiliser pour n’importe quelle application de manipulation ou de génération vidéo que vous avez en tête. La méthode surpasse même les GANs à tous les niveaux, sans recherche sophistiquée en apprentissage profond ni dataset immense et peu pratique! Et surtout, cette technique peut passer à l’échelle pour les vidéos en haute résolution.
- Courte lecture :
[
Générez des variantes vidéo : aucun dataset ni apprentissage profond requis!
Ce modèle peut réaliser n’importe quelle application de manipulation ou de génération vidéo que vous avez en tête!
](/fr/vgpnn-generate-video-variations/)
- Article scientifique : Diverse Generation from a Single Video Made Possible
- Cliquez ici pour le code
Skillful Precipitation Nowcasting using Deep Generative Models of Radar [31]
DeepMind vient de publier un modèle génératif capable de surpasser les méthodes de prévision immédiate largement utilisées dans 89 % des situations pour sa précision et son utilité, selon l’évaluation de plus de 50 météorologues experts! Leur modèle se concentre sur la prévision des précipitations dans les 2 prochaines heures et y arrive étonnamment bien. Il s’agit d’un modèle génératif, ce qui signifie qu’il génère les prévisions au lieu de simplement les prédire. En gros, il utilise les données radar du passé pour créer les données radar futures. En combinant les composantes temporelles et spatiales du passé, les chercheurs peuvent donc générer ce à quoi la situation ressemblera dans un avenir rapproché.
Vous pouvez comparer cela aux filtres Snapchat, qui prennent votre visage et en génèrent un nouveau avec certaines modifications. Pour entraîner un tel modèle génératif, vous avez besoin d’une grande quantité de données sur des visages humains et sur le type de visage que vous voulez générer. Ensuite, avec un modèle très similaire entraîné pendant de nombreuses heures, vous obtenez un puissant modèle génératif. Ce type de modèle utilise souvent des architectures de GANs pour l’entraînement, puis emploie le générateur de façon indépendante.
- Courte lecture :
[
DeepMind utilise l’IA pour produire des prévisions météorologiques plus précises
Plus de 50 météorologues experts ont évalué le nouveau modèle de DeepMind, qui surpasse les méthodes actuelles de prévision immédiate dans 89 % des situations pour sa précision et son utilité
](/fr/deepmind-rain-nowcasting/)
- Article scientifique : Skillful Precipitation Nowcasting using Deep Generative Models of Radar
- Cliquez ici pour le code
The Cocktail Fork Problem: Three-Stem Audio Separation for Real-World Soundtracks [32]
Avez-vous déjà regardé une vidéo ou une émission de télévision où les acteurs étaient complètement inaudibles ou la musique beaucoup trop forte? Ce problème, aussi appelé le problème du cocktail, pourrait ne plus jamais se produire. Mitsubishi et l’Université de l’Indiana viennent de publier un nouveau modèle ainsi qu’un nouveau dataset qui s’attaquent à cette tâche d’identification de la bonne piste sonore. Par exemple, si nous reprenons le même extrait audio avec une musique beaucoup trop forte, vous pouvez simplement augmenter ou diminuer la piste de votre choix pour donner plus d’importance aux voix qu’à la musique.
Le problème consiste à isoler chaque source sonore indépendante d’une scène acoustique complexe, comme une scène de film ou une vidéo YouTube où certains sons sont mal équilibrés. Parfois, vous n’entendez tout simplement pas certains acteurs à cause de la musique, des explosions ou d’autres sons ambiants en arrière-plan. Si vous réussissez à isoler les différentes catégories d’une bande sonore, vous pouvez aussi augmenter ou diminuer une seule d’entre elles, par exemple baisser un peu la musique pour entendre correctement tous les acteurs. C’est exactement ce que les chercheurs ont accompli.
- Courte lecture :
[
Isolez les voix, la musique et les effets sonores avec l’IA
Si la musique d’un extrait audio est beaucoup trop forte, vous pouvez simplement augmenter les voix et baisser la musique!
](/fr/isolate-voice-music-and-sound-effects-with-ai/)
- Article scientifique : The Cocktail Fork Problem: Three-Stem Audio Separation for Real-World Soundtracks
- Cliquez ici pour le code
ADOP: Approximate Differentiable One-Pixel Point Rendering [33]
Imaginez que vous voulez générer un modèle 3D ou simplement une vidéo fluide à partir d’un ensemble de photos que vous avez prises. C’est maintenant possible! Je ne veux pas trop en révéler, mais les résultats sont tout simplement extraordinaires et vous devez les voir par vous-même!
- Courte lecture :
[
L’IA synthétise des vidéos fluides à partir de quelques images!
Construisons des modèles 3D à partir de quelques photos…
](/fr/ai-synthesizes-smooth-videos-from-a-couple-of-images/)
- Article scientifique : ADOP: Approximate Differentiable One-Pixel Point Rendering
- Cliquez ici pour le code
(Style)CLIPDraw: Coupling Content and Style in Text-to-Drawing Synthesis [34]
Avez-vous déjà rêvé de prendre le style d’une image, comme ce style de dessin TikTok assez cool à gauche, et de l’appliquer à une nouvelle image de votre choix? Eh bien, moi oui, et cela n’a jamais été aussi facile. En fait, vous pouvez même y arriver uniquement avec du texte et essayer immédiatement cette nouvelle méthode grâce à leur carnet Google Colab accessible à tous, dont le lien se trouve dans les références. Prenez simplement une image du style que vous voulez copier, entrez le texte à générer et cet algorithme produira une nouvelle image à partir de celui-ci! Regardez encore les résultats ci-dessus, quelle avancée! Ils sont extrêmement impressionnants, surtout si vous considérez qu’ils ont été créés à partir d’une seule ligne de texte!
- Courte lecture :
[
Synthèse de dessins à partir de texte avec contrôle artistique | CLIPDraw et StyleCLIPDraw
Prenez une image du style que vous souhaitez copier, entrez le texte et l’algorithme générera une nouvelle image à partir de celui-ci!
](/fr/clipdraw/)
- Article scientifique (CLIPDraw) : CLIPDraw: exploring text-to-drawing synthesis through language-image encoders
- Article scientifique (StyleCLIPDraw) : StyleCLIPDraw: Coupling Content and Style in Text-to-Drawing Synthesis
- Démonstration Colab de CLIPDraw
- Démonstration Colab de StyleCLIPDraw
SwinIR: Image restoration using swin transformer [35]
Avez-vous déjà adoré une image, mais réussi à n’en trouver qu’une petite version qui ressemblait à celle de gauche ci-dessous? Imaginez si vous pouviez prendre cette image et lui donner une apparence deux fois meilleure. C’est déjà bien, mais si vous pouviez même la rendre quatre ou huit fois plus définie? Là, on parle. Regardez-moi ça.
Ici, nous avons multiplié la résolution de l’image par quatre, ce qui signifie que sa hauteur et sa largeur contiennent quatre fois plus de pixels pour afficher davantage de détails et donner un résultat beaucoup plus fluide. Mieux encore, tout se fait automatiquement en quelques secondes et fonctionne avec pratiquement n’importe quelle image. Ah oui, vous pouvez même l’essayer grâce à la démo mise à votre disposition…
- Courte lecture :
[
Cette IA rend les visages flous 8 fois plus nets! SwinIR : suréchantillonnage de photos
Transformez vos petites images de 512 pixels en 4K avec l’IA!
](/fr/swinir/)
- Article scientifique : SwinIR: Image restoration using swin transformer
- Cliquez ici pour le code
- Démo
EditGAN: High-Precision Semantic Image Editing [36]
Contrôlez n’importe quelle caractéristique à partir d’esquisses rapides. Le modèle modifiera seulement ce que vous voulez et gardera le reste de l’image intact! Un modèle d’édition d’images à partir d’esquisses à l’état de l’art, basé sur les GANs et créé par NVIDIA, le MIT et l’Université de Toronto.
- Courte lecture :
[
NVIDIA EditGAN : édition d’images entièrement contrôlée à partir d’esquisses
Contrôlez n’importe quelle caractéristique à partir d’esquisses rapides. Le modèle modifiera seulement ce que vous voulez et gardera le reste de l’image intact! Un modèle d’édition d’images à partir d’esquisses à l’état de l’art par NVIDIA, le MIT et l’Université de Toronto.
](/fr/editgan/)
- Article scientifique : EditGAN: High-Precision Semantic Image Editing
- Cliquez ici pour le code (à venir)
CityNeRF: Building NeRF at City Scale [37]
Le modèle s’appelle CityNeRF et découle de NeRF, dont j’ai déjà parlé sur ma chaîne. NeRF est l’un des premiers modèles à utiliser des champs de radiance et l’apprentissage automatique pour construire des modèles 3D à partir d’images. Mais NeRF n’est pas très efficace et fonctionne à une seule échelle. Ici, CityNeRF est appliqué simultanément à des images satellites et à des images prises au niveau du sol afin de produire des modèles 3D à différentes échelles, peu importe le point de vue. En termes simples, les chercheurs font passer NeRF à l’échelle d’une ville. Mais comment?
- Courte lecture :
[
CityNeRF : la modélisation 3D à l’échelle d’une ville!
Générez des scènes 3D à l’échelle d’une ville avec des détails de haute qualité à n’importe quelle échelle!
](/fr/citynerf/)
- Article scientifique : CityNeRF: Building NeRF at City Scale
- Cliquez ici pour le code, qui sera bientôt publié
ClipCap: CLIP Prefix for Image Captioning [38]
Nous avons vu l’IA générer des images à partir d’autres images avec des GANs. Puis, certains modèles ont réussi à générer des images discutables à partir de texte. Au début de 2021, DALL-E a été publié et a surpassé toutes les tentatives précédentes de génération d’images à partir de texte grâce à CLIP, un modèle qui relie les images au texte pour servir de guide. Une tâche très semblable appelée génération de légendes d’images peut sembler vraiment simple, mais elle est en fait tout aussi complexe. Il s’agit de la capacité d’une machine à produire une description naturelle d’une image. Il est facile d’étiqueter les objets que vous voyez, mais comprendre ce qui se passe dans une seule image en deux dimensions représente un tout autre défi. Et ce nouveau modèle y arrive extrêmement bien…
- Courte lecture :
[
Nouvel état de l’art pour la génération de légendes d’images : ClipCap
Générez facilement des descriptions textuelles d’images à l’aide des modèles CLIP et GPT!
](/fr/clipcap/)
- Article scientifique : ClipCap: CLIP Prefix for Image Captioning
- Cliquez ici pour le code
- Cliquez ici pour la démo Colab
Si vous souhaitez lire plus d’articles scientifiques et obtenir une vue d’ensemble plus large, voici un autre excellent dépôt qui couvre 2020 : 2020 : une année remplie d’articles incroyables sur l’IA, une rétrospective. N’hésitez pas à vous abonner à mon infolettre hebdomadaire pour rester à jour sur les nouvelles publications en IA de 2022!
Identifiez-moi sur Twitter @Whats_AI ou LinkedIn @Louis (What’s AI) Bouchard si vous partagez la liste!
Références des articles scientifiques
[1] A. Ramesh et al., Zero-shot text-to-image generation, 2021. arXiv:2102.12092
[2] Lewis, Kathleen M et al., (2021), VOGUE: Try-On by StyleGAN Interpolation Optimization.
[3] Taming Transformers for High-Resolution Image Synthesis, Esser et al., 2020.
[4] Thinking Fast And Slow in AI, Booch et al., (2020), https://arxiv.org/abs/2010.06002.
[5] Odei Garcia-Garin et al., Automatic detection and quantification of floating marine macro-litter in aerial images: Introducing a novel deep learning approach connected to a web application in R, Environmental Pollution, https://doi.org/10.1016/j.envpol.2021.116490.
[6] Rematas, K., Martin-Brualla, R., and Ferrari, V., “ShaRF: Shape-conditioned Radiance Fields from a Single View”, (2021), https://arxiv.org/abs/2102.08860
[7] Drew A. Hudson and C. Lawrence Zitnick, Generative Adversarial Transformers, (2021)
[8] Sandra Bryant et al., “We Asked Artificial Intelligence to Create Dating Profiles. Would You Swipe Right?”, (2021), UNSW Sydney blog.
[9] Liu, Z. et al., 2021, “Swin Transformer: Hierarchical Vision Transformer using Shifted Windows”, arXiv preprint https://arxiv.org/abs/2103.14030v1
[10] Zhang, Y., Chen, W., Ling, H., Gao, J., Zhang, Y., Torralba, A. and Fidler, S., 2020. Image gans meet differentiable rendering for inverse graphics and interpretable 3d neural rendering. arXiv preprint arXiv:2010.09125.
[11] Yuille, A.L., and Liu, C., 2021. Deep nets: What have they ever done for vision?. International Journal of Computer Vision, 129(3), pp.781–802, https://arxiv.org/abs/1805.04025.
[13] Nguyen & Drealan et al. (2021) A Portable, Self-Contained Neuroprosthetic Hand with Deep Learning-Based Finger Control: https://arxiv.org/abs/2103.13452
[14] Pandey et al., 2021, Total Relighting: Learning to Relight Portraits for Background Replacement, doi: 10.1145/3450626.3459872, https://augmentedperception.github.io/total_relighting/total_relighting_paper.pdf.
[15] Gengshan Yang et al., (2021), LASR: Learning Articulated Shape Reconstruction from a Monocular Video, CVPR, https://lasr-google.github.io/.
[16] Richter, Abu AlHaija, Koltun, (2021), “Enhancing Photorealism Enhancement”, https://isl-org.github.io/PhotorealismEnhancement/.
[17] DeepFakeHop: Chen, Hong-Shuo, et al., (2021), “DefakeHop: A Light-Weight High-Performance Deepfake Detector.” ArXiv abs/2103.06929.
[18] Liang, Jie and Zeng, Hui and Zhang, Lei, (2021), “High-Resolution Photorealistic Image Translation in Real-Time: A Laplacian Pyramid Translation Network”, https://export.arxiv.org/pdf/2105.09188.pdf.
[19] Peihao Zhu et al., (2021), Barbershop, https://arxiv.org/pdf/2106.01505.pdf.
[20] Praveen Krishnan, Rama Kovvuri, Guan Pang, Boris Vassilev, and Tal Hassner, Facebook AI, (2021), ”TextStyleBrush: Transfer of text aesthetics from a single example”.
[21] Holynski, Aleksander, et al. “Animating Pictures with Eulerian Motion Fields.” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.
[22] Michael Niemeyer and Andreas Geiger, (2021), “GIRAFFE: Representing Scenes as Compositional Generative Neural Feature Fields”, Published in CVPR 2021.
[23] Chen, M., Tworek, J., Jun, H., Yuan, Q., Pinto, H.P.D.O., Kaplan, J., Edwards, H., Burda, Y., Joseph, N., Brockman, G. and Ray, A., 2021. Evaluating large language models trained on code. arXiv preprint arXiv:2107.03374.
[24] Apple, “Recognizing People in Photos Through Private On-Device Machine Learning”, (2021), https://machinelearning.apple.com/research/recognizing-people-photos
[25] Meng, C., Song, Y., Song, J., Wu, J., Zhu, J.Y. and Ermon, S., 2021. Sdedit: Image synthesis and editing with stochastic differential equations. arXiv preprint arXiv:2108.01073.
[26] Wang, S.Y., Bau, D. and Zhu, J.Y., 2021. Sketch Your Own GAN. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 14050-14060).
[27] “Tesla AI Day”, Tesla, August 19th 2021, https://youtu.be/j0z4FweCy4M
[28] Patashnik, Or, et al., (2021), “Styleclip: Text-driven manipulation of StyleGAN imagery.”, https://arxiv.org/abs/2103.17249
[29] Stepan Tulyakov*, Daniel Gehrig*, Stamatios Georgoulis, Julius Erbach, Mathias Gehrig, Yuanyou Li, Davide Scaramuzza, TimeLens: Event-based Video Frame Interpolation, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Nashville, 2021, https://rpg.ifi.uzh.ch/docs/CVPR21_Gehrig.pdf
[30] Haim, N., Feinstein, B., Granot, N., Shocher, A., Bagon, S., Dekel, T., & Irani, M. (2021). Diverse Generation from a Single Video Made Possible, https://arxiv.org/abs/2109.08591.
[31] Ravuri, S., Lenc, K., Willson, M., Kangin, D., Lam, R., Mirowski, P., Fitzsimons, M., Athanassiadou, M., Kashem, S., Madge, S. and Prudden, R., 2021. Skillful Precipitation Nowcasting using Deep Generative Models of Radar, https://www.nature.com/articles/s41586-021-03854-z
[32] Petermann, D., Wichern, G., Wang, Z., & Roux, J.L. (2021). The Cocktail Fork Problem: Three-Stem Audio Separation for Real-World Soundtracks. https://arxiv.org/pdf/2110.09958.pdf.
[33] Rückert, D., Franke, L. and Stamminger, M., 2021. ADOP: Approximate Differentiable One-Pixel Point Rendering, https://arxiv.org/pdf/2110.06635.pdf.
[34] a) CLIPDraw : explorer la synthèse de dessins à partir de texte avec des encodeurs langage-image
b) StyleCLIPDraw : Schaldenbrand, P., Liu, Z. and Oh, J., 2021. StyleCLIPDraw : combiner le contenu et le style dans la synthèse de dessins à partir de texte.
[35] Liang, J., Cao, J., Sun, G., Zhang, K., Van Gool, L. and Timofte, R., 2021. SwinIR: Image restoration using swin transformer. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 1833–1844).
[36] Ling, H., Kreis, K., Li, D., Kim, S.W., Torralba, A. and Fidler, S., 2021, May. EditGAN: High-Precision Semantic Image Editing. In Thirty-Fifth Conference on Neural Information Processing Systems.
[37] Xiangli, Y., Xu, L., Pan, X., Zhao, N., Rao, A., Theobalt, C., Dai, B. and Lin, D., 2021. CityNeRF: Building NeRF at City Scale.
[38] Mokady, R., Hertz, A. and Bermano, A.H., 2021. ClipCap: CLIP Prefix for Image Captioning. https://arxiv.org/abs/2111.09734
FAQ
Que contient la rétrospective des articles sur l’IA de 2021?
Elle organise les articles importants mois par mois et relie chacun à une courte explication, un article, du code et la référence originale lorsqu’elle est disponible.
Pourquoi DALL-E a-t-il été un article important pour la génération d’images à partir de texte?
Il a montré qu’un modèle pouvait générer de nouvelles images à partir de descriptions en langage naturel, en réunissant la compréhension du texte et des images dans un même système pratique.
Quel problème VOGUE a-t-il exploré?
VOGUE a exploré l’essayage virtuel de vêtements par optimisation dans StyleGAN, offrant aux chercheurs une autre façon de modifier une personne générée tout en préservant la qualité visuelle.
La rétrospective porte-t-elle seulement sur la génération d’images?
Non. Elle couvre aussi le raisonnement avec les transformers, la détection de déchets marins, la reconstruction 3D à partir d’une seule vue et d’autres applications au-delà des images génératives.
Quelle est la meilleure façon d’explorer les articles de cette liste?
Utilisez la structure mensuelle pour parcourir le domaine, puis consultez l’explication et la source originale des méthodes les plus proches de votre propre travail.
Comment Swin Transformer a-t-il adapté l’attention à la vision par ordinateur?
Il a construit une hiérarchie de caractéristiques visuelles à l’aide de fenêtres locales décalées, rendant l’attention des transformers pratique pour les tâches d’image à différentes échelles.
Qu’est-ce que TimeLens a reconstruit entre les images d’une vidéo?
Il a utilisé les informations d’une caméra événementielle pour estimer le mouvement entre les images enregistrées et produire des ralentis de changements que les caméras ordinaires peuvent manquer.
Comment CityNeRF a-t-il étendu les champs de rayonnement neuronaux?
Il a combiné des images satellites et prises au sol pour générer des scènes 3D à l’échelle d’une ville pouvant être observées à plusieurs échelles.