Voici les 3 articles scientifiques les plus intéressants du mois, au cas où vous en auriez manqué un. Il s’agit d’une liste organisée des plus récentes avancées en IA et en science des données, classées par date de parution, avec une explication vidéo claire, un lien vers un article plus détaillé et le code, s’il y a lieu. Bonne lecture ! Dites-moi dans les commentaires si j’ai oublié des articles importants, ou communiquez directement avec moi sur LinkedIn !
Si vous voulez aussi lire plus d’articles scientifiques, je vous recommande mon article, dans lequel je partage mes meilleurs conseils pour en trouver et en lire davantage.
Suivez-moi ici ou sur Medium pour voir ce top 3 mensuel de l’IA !
Article no 1 :
EditGAN : retouche sémantique d’images de haute précision [1]
Contrôlez n’importe quelle caractéristique à partir de croquis rapides. Le modèle modifiera uniquement ce que vous voulez tout en conservant le reste de l’image ! Un modèle de retouche d’images à la fine pointe, fondé sur les GAN et créé par NVIDIA, le MIT et l’Université de Toronto.
Regardez la vidéo
Une version courte à lire
[
EditGAN de NVIDIA : retouchez des images en contrôlant tout à partir de croquis
Contrôlez n’importe quelle caractéristique à partir de croquis rapides. Le modèle modifiera uniquement ce que vous voulez tout en conservant le reste de l’image ! Un modèle de retouche d’images à la fine pointe créé par NVIDIA, le MIT et l’Université de Toronto.
](/fr/editgan/)
Article no 2 :
CityNeRF : bâtir NeRF à l’échelle d’une ville [2]
Le modèle s’appelle CityNeRF et découle de NeRF, que j’ai déjà présenté sur ma chaîne. NeRF est l’un des premiers modèles à utiliser les champs de radiance et l’apprentissage automatique pour construire des modèles 3D à partir d’images. Mais NeRF n’est pas très efficace et fonctionne à une seule échelle. Ici, CityNeRF est appliqué simultanément à des images satellites et à des images prises au niveau du sol afin de produire des modèles 3D à différentes échelles, peu importe le point de vue. En termes simples, les chercheurs amènent NeRF à l’échelle d’une ville. Mais comment ?
Regardez la vidéo
Une version courte à lire
[
CityNeRF : la modélisation 3D à l’échelle d’une ville !
Générez des scènes 3D à l’échelle d’une ville, avec des détails de grande qualité à n’importe quelle échelle !
](/fr/citynerf/)
Article no 3 :
ClipCap : un préfixe CLIP pour la génération de légendes d’images [3]
Nous avons vu l’IA générer des images à partir d’autres images avec les GAN. Ensuite sont apparus des modèles capables de produire des images plutôt discutables à partir de texte. Au début de 2021, DALL-E a été publié et a surpassé toutes les tentatives précédentes de génération d’images à partir de texte grâce à CLIP, un modèle qui relie les images au texte utilisé comme guide. Une tâche très semblable appelée génération de légendes d’images peut sembler très simple, mais elle est en réalité tout aussi complexe. Elle consiste à permettre à une machine de produire une description naturelle d’une image.
Il est facile d’étiqueter simplement les objets visibles dans une image. Comprendre ce qui se passe dans une seule image 2D est toutefois un tout autre défi, et ce nouveau modèle y arrive extrêmement bien !
Regardez la vidéo
Une version courte à lire
[
Nouveau modèle SOTA de génération de légendes d’images : ClipCap
Générez facilement des descriptions textuelles d’images à l’aide des modèles CLIP et GPT !
](/fr/clipcap/)
Si vous aimez mon travail et voulez rester au courant des nouveautés en IA, vous devriez vraiment me suivre sur mes autres réseaux sociaux, comme LinkedIn et Twitter, et vous abonner à mon infolettre hebdomadaire sur l’IA !
Pour me soutenir :
- La meilleure façon de me soutenir est de me suivre ici sur Medium ou de vous abonner à ma chaîne YouTube si vous aimez le format vidéo.
- Soutenez mon travail sur Patreon.
- Joignez-vous à notre communauté Discord : Learn AI Together et partagez vos projets, vos articles scientifiques et les meilleures formations, trouvez des coéquipiers pour Kaggle et bien plus encore !
- Voici les outils les plus utiles que j’emploie chaque jour comme chercheur pour trouver et lire des articles scientifiques sur l’IA… Lire la suite.
Références
[1] Ling, H., Kreis, K., Li, D., Kim, S.W., Torralba, A. et Fidler, S., mai 2021. EditGAN: High-Precision Semantic Image Editing. In Thirty-Fifth Conference on Neural Information Processing Systems.
[2] Xiangli, Y., Xu, L., Pan, X., Zhao, N., Rao, A., Theobalt, C., Dai, B. et Lin, D., 2021. CityNeRF: Building NeRF at City Scale.
[3] Mokady, R., Hertz, A. et Bermano, A.H., 2021. ClipCap: CLIP Prefix for Image Captioning. https://arxiv.org/abs/2111.09734
FAQ
Quels articles figurent dans le résumé de décembre 2021 ?
La liste présente EditGAN, CityNeRF et ClipCap dans les domaines de la retouche d’images, du rendu 3D à l’échelle d’une ville et de la génération de légendes d’images.
Que permet de contrôler EditGAN ?
Il permet de modifier les régions sémantiques d’une image en retouchant une carte de segmentation, tout en préservant le contenu qui n’est pas visé.
À quelle échelle CityNeRF fonctionne-t-il ?
Il représente des scènes urbaines depuis des vues lointaines semblables à celles d’un satellite jusqu’aux points de vue détaillés au niveau du sol.
Comment ClipCap génère-t-il des légendes ?
Il projette les caractéristiques visuelles de CLIP dans un modèle de langage qui compose une description en langage naturel.
Pourquoi réunir ces articles dans un même résumé ?
Ensemble, ils montrent les progrès du mois en génération contrôlable, en mise à l’échelle des scènes 3D et en compréhension visuelle et linguistique.