Voici les 3 articles scientifiques les plus intéressants du mois, au cas où vous en auriez manqué un. Il s’agit d’une liste organisée des plus récentes avancées en IA et en science des données, classées par date de publication, avec une explication vidéo claire, un lien vers un article plus détaillé et du code, le cas échéant. Bonne lecture, et dites-moi si j’ai oublié des articles importants dans les commentaires ou en me contactant directement sur LinkedIn !
Article no 1 :
Total Relighting: Learning to Relight Portraits for Background Replacement [1]
Rééclairez correctement n’importe quel portrait selon l’éclairage du nouvel arrière-plan que vous ajoutez. Avez-vous déjà voulu changer l’arrière-plan d’une photo tout en conservant un résultat réaliste ? Si vous avez déjà essayé, vous savez que ce n’est pas simple. Vous ne pouvez pas simplement prendre une photo de vous à la maison et remplacer l’arrière-plan par une plage. Le résultat paraît mauvais et irréaliste. N’importe qui dira en une seconde que « c’est photoshoppé ». Pour les films et les vidéos professionnelles, il faut un éclairage parfait et des artistes capables de reproduire une image de haute qualité, ce qui coûte super cher. Impossible de faire cela avec vos propres photos. Vraiment ?… Lire la suite.
Une version courte à lire
[
Un éclairage réaliste sur différents arrière-plans
Rééclairez correctement n’importe quel portrait selon l’éclairage du nouvel arrière-plan que vous ajoutez.
](/fr/backgrounds-with-lighting/)
Article no 2 :
LASR: Learning Articulated Shape Reconstruction from a Monocular Video [2]
Générez des modèles 3D d’humains ou d’animaux en mouvement à partir d’une seule courte vidéo comme input. Il s’agit d’une nouvelle méthode pour générer des modèles 3D d’humains ou d’animaux en mouvement à partir d’une seule courte vidéo comme input. En effet, elle comprend réellement qu’il s’agit d’une forme étrange, qu’elle peut bouger, mais qu’elle doit tout de même rester attachée puisqu’il s’agit encore d’un seul « objet », pas simplement de plusieurs objets réunis… Lire la suite.
Une version courte à lire
[
Reconstruction 3D articulée à partir de vidéos
Générez des modèles 3D d’humains ou d’animaux en mouvement à partir d’une seule courte vidéo comme input.
](/fr/3d-reconstruction-from-videos/)
Code bientôt disponible : https://lasr-google.github.io/
Article no 3 :
Enhancing Photorealism Enhancement [3]
Cette IA peut être appliquée en direct au jeu vidéo et transformer chaque image pour lui donner un aspect beaucoup plus naturel. Les chercheurs d’Intel Labs viennent de publier cet article intitulé Enhancing Photorealism Enhancement. Et si vous pensez qu’il s’agit peut-être « simplement d’un autre GAN » qui prend une image du jeu vidéo comme input et la modifie selon le style du monde réel, laissez-moi vous faire changer d’idée. Ils ont travaillé sur ce modèle pendant deux ans pour le rendre extrêmement robuste. Il peut être appliqué en direct au jeu vidéo et transformer chaque image pour lui donner un aspect beaucoup plus naturel. Imaginez les possibilités : vous pouvez consacrer beaucoup moins d’efforts aux graphismes du jeu, le rendre super stable et complet, puis améliorer son style avec ce modèle… Lire la suite.
Une version courte à lire
[
L’IA est-elle l’avenir de la conception de jeux vidéo ? Enhancing Photorealism Enhancement
Cette IA peut être appliquée en direct au jeu vidéo et transformer chaque image pour lui donner un aspect beaucoup plus naturel.
](/fr/the-future-of-video-game/)
Code et datasets : https://github.com/intel-isl/PhotorealismEnhancement
Article en bonus :
High-Resolution Photorealistic Image Translation in Real-Time [Bonus]
Appliquez n’importe quel style à votre image 4K en temps réel avec cette nouvelle approche fondée sur l’apprentissage automatique !
Une version courte à lire
[
Traduction d’images photoréalistes haute résolution en temps réel
Appliquez n’importe quel style à votre image 4K en temps réel avec cette nouvelle approche fondée sur l’apprentissage automatique !
](/fr/4k-image-translation-in-real-time/)
Code : https://github.com/csjliang/LPTN
Venez discuter avec nous dans notre communauté Discord : Learn AI Together et partagez vos projets, vos articles scientifiques et les meilleures formations, trouvez des coéquipiers pour Kaggle et bien plus encore !
Si vous aimez mon travail et souhaitez rester au courant des nouveautés en IA, vous devriez vraiment me suivre sur mes autres réseaux sociaux (LinkedIn, Twitter) et vous abonner à mon infolettre hebdomadaire sur l’IA !
Pour me soutenir :
- La meilleure façon de me soutenir est de devenir membre de ce site ou de vous abonner à ma chaîne YouTube si vous aimez le format vidéo.
- Soutenez financièrement mon travail sur Patreon
Références
[1] Pandey et al., 2021, Total Relighting: Learning to Relight Portraits for Background Replacement, doi: 10.1145/3450626.3459872, https://augmentedperception.github.io/total_relighting/total_relighting_paper.pdf.
[2] Gengshan Yang et al., (2021), LASR: Learning Articulated Shape Reconstruction from a Monocular Video, CVPR, https://lasr-google.github.io/.
[3] Richter, Abu AlHaija, Koltun, (2021), “Enhancing Photorealism Enhancement”, https://isl-org.github.io/PhotorealismEnhancement/.
[Bonus] Liang, Jie and Zeng, Hui and Zhang, Lei, (2021), “High-Resolution Photorealistic Image Translation in Real-Time: A Laplacian Pyramid Translation Network”, https://export.arxiv.org/pdf/2105.09188.pdf.
FAQ
Quels articles figurent dans la rétrospective de mai 2021 ?
La liste couvre le rééclairage de portraits, la reconstruction 3D articulée à partir d’une vidéo et l’amélioration du photoréalisme des images de jeux vidéo.
Quel problème Total Relighting résout-il ?
Il ajuste un portrait à l’éclairage d’un arrière-plan de remplacement afin de créer un montage plus convaincant.
Que reconstruit LASR ?
LASR construit une représentation 3D articulée d’un humain ou d’un animal en mouvement à partir d’une seule courte vidéo.
Comment l’amélioration du photoréalisme aide-t-elle les graphismes de jeux
Elle utilise des buffers supplémentaires du jeu et une apparence apprise du monde réel pour transformer les images rendues de façon plus cohérente.
Quel lien unit ces trois articles ?
Chacun transforme un input visuel limité en une représentation plus modifiable, tenant compte de la structure spatiale ou réaliste.