Voici les 3 articles scientifiques les plus intéressants du mois, au cas où vous en auriez manqué un. Il s’agit d’une liste organisée des plus récentes avancées en IA et en science des données, classées par date de publication, avec une explication vidéo claire, un lien vers un article plus détaillé et du code, le cas échéant. Bonne lecture, et dites-moi si j’ai oublié des articles importants dans les commentaires ou en me contactant directement sur LinkedIn !
Si vous souhaitez également lire davantage d’articles scientifiques, je vous recommande de consulter mon article, dans lequel je partage mes meilleurs conseils pour trouver et lire plus d’articles scientifiques.
Suivez-moi sur Medium pour voir ce top 3 mensuel sur l’IA !
Article no 1 :
StyleCLIPDraw: Coupling Content and Style in Text-to-Drawing Synthesis [1, 2]
Avez-vous déjà rêvé de prendre le style d’une image, comme ce style de dessin TikTok cool à gauche, et de l’appliquer à une nouvelle image de votre choix ? Moi oui, et cela n’a jamais été aussi simple. En fait, vous pouvez même y arriver à partir de texte seulement et essayer cette nouvelle méthode dès maintenant grâce à leur notebook Google Colab, accessible à tout le monde (voir les références). Prenez simplement une image du style que vous voulez copier, entrez le texte que vous souhaitez générer, et cet algorithme produira une nouvelle image à partir de ces éléments ! Regardez encore les résultats ci-dessus. Quel grand pas en avant ! Les résultats sont extrêmement impressionnants, surtout lorsqu’on considère qu’ils ont été créés à partir d’une seule ligne de texte !
Une version courte à lire
[
Synthèse de dessins à partir de texte avec contrôle artistique | CLIPDraw et StyleCLIPDraw
Prenez une image du style que vous voulez copier, entrez le texte, et l’algorithme générera une nouvelle image à partir de ces éléments !
](/fr/clipdraw/)
- Code de CLIPDraw : https://colab.research.google.com/github/kvfrans/clipdraw/blob/main/clipdraw.ipynb
- Code de StyleCLIPDraw : https://github.com/pschaldenbrand/StyleCLIPDraw
- Colab de StyleCLIPDraw : https://colab.research.google.com/github/pschaldenbrand/StyleCLIPDraw/blob/master/Style_ClipDraw.ipynb
Article no 2 :
SwinIR: Image restoration using swin transformer [3]
Avez-vous déjà trouvé une image que vous aimiez beaucoup, mais seulement dans une petite version qui ressemblait à l’image de gauche ci-dessus ? Ce serait vraiment cool de pouvoir prendre cette image et lui donner une apparence deux fois meilleure, non ? C’est déjà excellent, mais que diriez-vous de la rendre quatre ou même huit fois plus haute définition ? Là, ça devient sérieux. Regardez ce résultat.
Ici, nous avons augmenté la résolution de l’image par un facteur de quatre. Elle compte donc quatre fois plus de pixels en hauteur et en largeur pour offrir davantage de détails et une apparence beaucoup plus lisse. Le meilleur, c’est que cette opération s’effectue en quelques secondes, de façon entièrement automatique, et fonctionne avec pratiquement n’importe quelle image. Oh, et vous pouvez même l’utiliser vous-même grâce à une démo rendue publique…
Une version courte à lire
[
Cette IA rend les visages flous 8 fois plus nets ! SwinIR : suréchantillonnage de photos
Transformez vos petites images de 512 pixels en images 4K avec l’IA !
](/fr/swinir/)
Article no 3 :
EditGAN: High-Precision Semantic Image Editing [3]
Contrôlez n’importe quelle caractéristique à partir d’ébauches rapides. Le modèle modifiera uniquement ce que vous voulez et conservera le reste de l’image intact ! Un modèle SOTA de retouche d’images à partir de croquis, fondé sur les GAN et créé par NVIDIA, le MIT et l’UofT…
Une version courte à lire
[
NVIDIA EditGAN : retouche d’images avec un contrôle complet à partir de croquis
Contrôlez n’importe quelle caractéristique à partir d’ébauches rapides. Le modèle modifiera uniquement ce que vous voulez et conservera le reste de l’image intact ! Un modèle SOTA de retouche d’images à partir de croquis par NVIDIA, le MIT et l’UofT.
](/fr/editgan/)
Code bientôt disponible : https://nv-tlabs.github.io/editGAN/
Si vous aimez mon travail et souhaitez rester au courant des nouveautés en IA, vous devriez vraiment me suivre sur mes autres réseaux sociaux (LinkedIn, Twitter) et vous abonner à mon infolettre hebdomadaire sur l’IA !
Pour me soutenir :
- La meilleure façon de me soutenir est de me suivre ici ou sur Medium, ou de vous abonner à ma chaîne YouTube si vous aimez le format vidéo.
- Soutenez mon travail sur Patreon.
- Rejoignez notre communauté Discord : Learn AI Together et partagez vos projets, vos articles scientifiques et les meilleures formations, trouvez des coéquipiers pour Kaggle et bien plus encore !
- Voici les outils les plus utiles que j’utilise chaque jour comme chercheur pour trouver et lire des articles scientifiques sur l’IA… Lire la suite.
Références
[1] CLIPDraw: Frans, K., Soros, L.B. and Witkowski, O., 2021. CLIPDraw: exploring text-to-drawing synthesis through language-image encoders. https://arxiv.org/abs/2106.14843
[2] StyleCLIPDraw: Schaldenbrand, P., Liu, Z. and Oh, J., 2021. StyleCLIPDraw: Coupling Content and Style in Text-to-Drawing Synthesis. https://arxiv.org/abs/2111.03133
[3] Liang, J., Cao, J., Sun, G., Zhang, K., Van Gool, L. and Timofte, R., 2021. SwinIR: Image restoration using swin transformer. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 1833–1844).
[4] Ling, H., Kreis, K., Li, D., Kim, S.W., Torralba, A. and Fidler, S., 2021, May. EditGAN: High-Precision Semantic Image Editing. In Thirty-Fifth Conference on Neural Information Processing Systems.
FAQ
Quels articles figurent dans la rétrospective de novembre 2021 ?
La sélection couvre StyleCLIPDraw, la restauration d’images avec SwinIR et l’édition sémantique d’images avec EditGAN.
Que combine StyleCLIPDraw ?
Il combine une description textuelle et un style de référence pour synthétiser un nouveau dessin contrôlable.
Qu’améliore SwinIR ?
Il utilise l’attention par fenêtres décalées pour la superrésolution, le débruitage et d’autres tâches de restauration d’images.
Comment EditGAN localise-t-il les modifications ?
L’utilisateur modifie une carte de segmentation sémantique qui indique au générateur quelle région de l’image il doit changer.
Quel thème commun relie ces sélections ?
Les trois font évoluer l’IA visuelle vers une restauration plus utile ou une retouche contrôlée par les créateurs plutôt que vers une génération aléatoire.