Louis-François Bouchardalias What's AI
Infolettre
Actualités et analyses de l'IAGrands modèles de langageVision par ordinateurIA générativeActualités et analyses de l'IA
Actualités et analyses de l'IAGrands modèles de langageVision par ordinateurIA générative37 min de lecture

Rétrospective de l’IA en 2022 : bilan 🚀

Une rétrospective mois par mois des recherches et lancements en IA qui ont marqué 2022, de la génération d’images et de vidéos aux modèles de langage et aux systèmes 3D.

Mis à jour le 31 déc. 2022
Rétrospective de l’IA en 2022 : bilan 🚀
Sommaire

À retenir

  • En 2022, les progrès rapides en génération d’images, en modèles de langage, en vidéo, en audio et en 3D ont propulsé l’IA générative sous les yeux du grand public.
  • Les démos les plus solides provenaient de différentes familles de modèles. Comparez donc la façon dont chaque système a été entraîné, contrôlé et évalué.
  • Une rétrospective annuelle est une carte, pas un classement. Consultez les articles scientifiques et le code liés lorsqu’un résultat compte pour votre propre travail.

Une liste organisée des plus récentes avancées en IA par date de publication, avec une explication vidéo claire, un article plus détaillé et le code.

Alors que le monde se remet encore, la recherche n’a pas ralenti son rythme effréné, surtout dans le domaine de l’intelligence artificielle. De plus, plusieurs aspects importants ont été mis en lumière cette année, comme les questions éthiques, les biais importants, la gouvernance, la transparence et bien plus encore. L’intelligence artificielle, notre compréhension du cerveau humain et son lien avec l’IA évoluent constamment, ouvrant la voie à des applications prometteuses qui pourraient améliorer notre qualité de vie dans un avenir proche. Cela dit, nous devons rester prudents quant aux technologies que nous choisissons d’appliquer.

« La science ne peut pas nous dire ce que nous devons faire, seulement ce que nous pouvons faire. »
- Jean-Paul Sartre, L’Être et le Néant

Voici une liste organisée des plus récentes avancées en IA et en science des données par date de publication, avec une explication vidéo claire, un article plus détaillé et le code, lorsque disponible. Bonne lecture !

La référence complète de chaque article scientifique se trouve à la fin de cet article.

Twitter

Abonnez-vous à mon infolettre. Les dernières nouvelles en IA expliquées chaque semaine.

N’hésitez pas à m’écrire si j’ai oublié un article scientifique intéressant à ajouter à cette liste.

Identifiez-moi sur Twitter @Whats_AI ou LinkedIn @Louis (What’s AI) Bouchard si vous partagez la liste ! Et venez discuter avec nous dans notre communauté Discord Learn AI Together !

👀 Si vous souhaitez soutenir mon travail, vous pouvez consulter mon Patreon. Vous pouvez aussi me soutenir en suivant une excellente infolettre quotidienne sur l’IA pour recevoir des nouvelles fréquentes sur de nouveaux articles scientifiques comme ceux-ci !

Regardez une rétrospective complète de 2022 en 8 minutes

La liste complète

  • Titre : Resolution-robust Large Mask Inpainting with Fourier Convolutions [1]
  • Titre : Stitch it in Time: GAN-Based Facial Editing of Real Videos [2]
  • Titre : NeROIC: Neural Rendering of Objects from Online Image Collections [3]
  • Titre : SpeechPainter: Text-conditioned Speech Inpainting [4]
  • Titre : Towards real-world blind face restoration with generative facial prior [5]
  • Titre : 4D-Net for Learned Multi-Modal Alignment [6]
  • Titre : Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [7]
  • Titre : Hierarchical Text-Conditional Image Generation with CLIP Latents [8]
  • Titre : MyStyle: A Personalized Generative Prior [9]
  • Titre : OPT: Open Pre-trained Transformer Language Models [10]
  • Titre : BlobGAN: Spatially Disentangled Scene Representations [11]
  • Titre : A Generalist Agent [12]
  • Titre : Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding [13]
  • Titre : Dalle mini [14]
  • Titre : No Language Left Behind: Scaling Human-Centered Machine Translation [15]
  • Titre : Dual-Shutter Optical Vibration Sensing [16]
  • Titre : Make-a-scene: Scene-based text-to-image generation with human priors [17]
  • Titre : BANMo: Building Animatable 3D Neural Models from Many Casual Videos [18]
  • Titre : High-resolution image synthesis with latent diffusion models [19]
  • Titre : Panoptic Scene Graph Generation [20]
  • Titre : An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion [21]
  • Titre : Expanding Language-Image Pretrained Models for General Video Recognition [22]
  • Titre : MAKE-A-VIDEO: TEXT-TO-VIDEO GENERATION WITHOUT TEXT-VIDEO DATA [23]
  • Titre : Robust Speech Recognition via Large-Scale Weak Supervision [24]
  • Titre : DreamFusion: Text-to-3D using 2D Diffusion [25]
  • Titre : Imagic: Text-Based Real Image Editing with Diffusion Models [26]
  • Titre : eDiffi: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers [27]
  • Titre : InfiniteNature-Zero: Learning Perpetual View Generation of Natural Scenes from Single Images [28]
  • Titre : Galactica: A Large Language Model for Science [29]
  • Titre : Real-time Neural Radiance Talking Portrait Synthesis via Audio-spatial Decomposition [30]
  • Titre : ChatGPT: Optimizing Language Models for Dialogue [31]
  • Titre : Production-Ready Face Re-Aging for Visual Effects [32]
  • Références des articles scientifiques

Resolution-robust Large Mask Inpainting with Fourier Convolutions [1]

Vous avez très certainement déjà vécu cette situation : vous prenez une superbe photo avec un ami et quelqu’un s’incruste derrière vous, ruinant votre future publication Instagram. Eh bien, ce n’est plus un problème. Qu’il s’agisse d’une personne ou d’une poubelle que vous avez oubliée de retirer avant de prendre votre selfie, cet élément gâche votre photo. Cette IA supprimera tout simplement et automatiquement l’objet ou la personne indésirable de l’image pour sauver votre publication. C’est comme avoir un professionnel de Photoshop dans votre poche, à portée d’un simple clic !

Cette tâche, qui consiste à supprimer une partie d’une image et à la remplacer par ce qui devrait apparaître derrière, préoccupe les chercheurs en IA depuis longtemps. On l’appelle l’inpainting d’image et elle est extrêmement complexe…

  • Courte explication vidéo :

Stitch it in Time: GAN-Based Facial Editing of Real Videos [2]

Vous avez très certainement vu des films récents comme Captain Marvel ou Gemini Man, où Samuel L. Jackson et Will Smith semblaient beaucoup plus jeunes. Ce résultat demande des centaines, voire des milliers d’heures de travail à des professionnels qui modifient manuellement chaque scène où ils apparaissent. Vous pourriez plutôt utiliser une simple IA et accomplir le travail en quelques minutes. En effet, de nombreuses techniques permettent d’ajouter un sourire ou de vous faire paraître plus jeune ou plus vieux, le tout automatiquement avec des algorithmes fondés sur l’IA. On appelle cela la manipulation de visages par IA dans les vidéos, et voici l’état de l’art en 2022 !

  • Courte explication vidéo :

NeROIC: Neural Rendering of Objects from Online Image Collections [3]

Le rendu neuronal. Le rendu neuronal est la capacité de générer dans l’espace un modèle photoréaliste comme celui-ci à partir d’images de l’objet, de la personne ou de la scène qui nous intéresse. Dans notre exemple, vous disposez d’une poignée de photos de cette sculpture et demandez à la machine de comprendre l’apparence que devrait avoir cet objet dans l’espace. Vous demandez essentiellement à une machine de comprendre la physique et les formes à partir d’images. Cette tâche est assez facile pour nous, puisque nous connaissons seulement le monde réel et la profondeur, mais représente un tout autre défi pour une machine qui voit uniquement des pixels. C’est formidable qu’un modèle généré possède des formes réalistes et précises, mais comment s’intègre-t-il dans une nouvelle scène ? Et si les conditions d’éclairage variaient entre les photos et que le modèle semblait différent selon l’angle sous lequel vous le regardez ? Le résultat nous semblerait automatiquement étrange et irréaliste. Voilà les défis auxquels Snapchat et l’Université de Californie du Sud se sont attaqués dans ces nouveaux travaux de recherche.

  • Courte explication vidéo :

SpeechPainter: Text-conditioned Speech Inpainting [4]

Nous avons vu l’inpainting d’image, qui vise à retirer un objet indésirable d’une photo. Les techniques fondées sur l’apprentissage automatique ne se contentent pas de supprimer les objets. Elles comprennent aussi l’image et remplissent les parties manquantes avec l’apparence que devrait avoir l’arrière-plan. Les avancées récentes sont incroyables, tout comme les résultats, et cette tâche d’inpainting peut être très utile pour de nombreuses applications, comme les publicités ou l’amélioration de votre prochaine publication Instagram. Nous avons aussi couvert une tâche encore plus complexe : l’inpainting vidéo, où le même processus est appliqué à des vidéos pour retirer des objets ou des personnes.

Avec les vidéos, le défi est de rester cohérent d’une trame à l’autre sans produire d’artefacts indésirables. Mais que se passe-t-il maintenant si nous retirons correctement une personne d’un film alors que le son demeure là, inchangé ? Eh bien, on risque d’entendre un fantôme et de ruiner tout notre travail.

C’est ici qu’intervient une tâche que je n’avais encore jamais couverte sur ma chaîne : l’inpainting de la parole. Vous avez bien entendu. Des chercheurs de Google viennent de publier un article scientifique sur l’inpainting de la parole et, comme nous le verrons, les résultats sont assez impressionnants. Bon, on devrait peut-être écouter les résultats plutôt que les regarder, mais vous comprenez. Le modèle peut corriger votre grammaire, votre prononciation ou même retirer le bruit de fond. Tout ce sur quoi je dois clairement continuer de travailler, ou… simplement utiliser leur nouveau modèle… Écoutez les exemples dans ma vidéo !

  • Courte explication vidéo :

Towards real-world blind face restoration with generative facial prior [5]

Avez-vous aussi de vieilles photos de vous ou de vos proches qui ont mal vieilli, ou que vous ou vos parents avez prises avant que nous puissions produire des images de haute qualité ? Moi oui, et je pensais que ces souvenirs étaient abîmés pour toujours. Eh bien, j’avais vraiment tort !

Ce nouveau modèle d’IA entièrement gratuit peut réparer la plupart de vos vieilles photos en une fraction de seconde. Il fonctionne bien même avec des inputs de très faible ou de très haute qualité, ce qui représente généralement tout un défi.

L’article scientifique de cette semaine, intitulé Towards Real-World Blind Face Restoration with Generative Facial Prior, s’attaque à la restauration de photos avec des résultats exceptionnels. Ce qui est encore plus cool, c’est que vous pouvez l’essayer vous-même, de la façon qui vous convient. Les chercheurs ont publié leur code en open source et créé une démo ainsi que des applications en ligne que vous pouvez essayer dès maintenant. Si les résultats que vous avez vus plus haut ne vous convainquent pas assez, regardez simplement la vidéo et dites-moi ce que vous en pensez dans les commentaires. Je sais que ça va vous épater !

  • Courte explication vidéo :

4D-Net for Learned Multi-Modal Alignment [6]

Comment les véhicules autonomes voient-ils ?

Vous avez probablement entendu parler des capteurs LiDAR ou des autres caméras étranges qu’ils utilisent. Mais comment fonctionnent-ils, comment peuvent-ils voir le monde et que voient-ils exactement par rapport à nous ? Comprendre leur fonctionnement est essentiel si nous voulons les mettre sur nos routes, surtout si vous travaillez au gouvernement ou rédigez les prochaines réglementations. Mais aussi si vous utilisez ces services.

Nous avons déjà expliqué comment le pilote automatique de Tesla voit et fonctionne, mais ces voitures diffèrent des véhicules autonomes conventionnels. Tesla utilise seulement des caméras pour comprendre le monde, alors que la plupart des autres véhicules, comme ceux de Waymo, utilisent des caméras ordinaires et des capteurs LiDAR 3D. Ces capteurs LiDAR sont assez simples à comprendre : ils ne produisent pas des images comme des caméras ordinaires, mais des nuages de points 3D. Les caméras LiDAR mesurent la distance entre les objets en calculant le temps de parcours des impulsions laser qu’elles projettent vers ceux-ci.

Mais comment pouvons-nous combiner efficacement cette information pour que le véhicule la comprenne ? Et que finit-il par voir ? Seulement des points partout ? Est-ce suffisant pour conduire sur nos routes ? Nous allons étudier la question à l’aide d’un nouvel article scientifique de Waymo et de Google Research…

  • Courte explication vidéo :

Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [7]

Comme si prendre une photo n’était pas déjà une prouesse technologique assez complexe, nous faisons maintenant l’inverse : modéliser le monde à partir de photos. J’ai présenté des modèles fondés sur l’IA incroyables qui peuvent transformer des images en scènes de haute qualité. Une tâche difficile qui consiste à prendre quelques images dans le monde bidimensionnel des photos pour créer l’apparence qu’aurait l’objet ou la personne dans le monde réel.

Prenez quelques photos et obtenez instantanément un modèle réaliste à insérer dans votre produit. C’est cool, non ?!

Les résultats se sont grandement améliorés depuis le premier modèle que j’ai présenté en 2020, appelé NeRF. Et cette amélioration ne concerne pas seulement la qualité des résultats. NVIDIA a fait encore mieux.

Non seulement la qualité est comparable, sinon meilleure, mais le modèle est plus de 1 000 fois plus rapide après moins de deux ans de recherche.

  • Courte explication vidéo :

Hierarchical Text-Conditional Image Generation with CLIP Latents [8]

L’an dernier, j’ai présenté DALL·E, un modèle incroyable d’OpenAI capable de générer des images à partir d’un texte avec des résultats impressionnants. C’est maintenant au tour de son grand frère, DALL·E 2. Et vous n’allez pas croire les progrès réalisés en une seule année ! DALL·E 2 ne génère pas seulement de meilleures images photoréalistes à partir de texte. Les résultats ont une résolution quatre fois plus élevée !

Comme si ce n’était pas déjà assez impressionnant, le nouveau modèle a appris une nouvelle compétence : l’inpainting d’image.

DALL·E pouvait générer des images à partir de textes.

DALL·E 2 le fait mieux, mais ne s’arrête pas là. Il peut aussi modifier ces images et les rendre encore plus belles ! Ou simplement ajouter l’élément que vous voulez, comme des flamants roses à l’arrière-plan.

Ça vous intéresse ? Apprenez-en plus dans la vidéo ou poursuivez votre lecture ci-dessous !

  • Courte explication vidéo :

MyStyle: A Personalized Generative Prior [9]

Ce nouveau modèle de Google Research et de l’Université de Tel-Aviv est incroyable. Vous pouvez le voir comme un deepfake très, très puissant capable de tout faire.

Prenez une centaine de photos de n’importe quelle personne et vous aurez son identité encodée pour corriger, modifier ou créer n’importe quelle photo réaliste que vous voulez.

C’est à la fois incroyable et épeurant si vous voulez mon avis, surtout quand on regarde les résultats. Regardez la vidéo pour voir plus de résultats et comprendre comment le modèle fonctionne !

  • Courte explication vidéo :

OPT: Open Pre-trained Transformer Language Models [10]

Nous avons tous entendu parler de GPT-3 et avons une idée assez claire de ses capacités. Vous avez très certainement vu des applications qui existent uniquement grâce à ce modèle, dont certaines que j’ai présentées dans une vidéo précédente sur celui-ci. GPT-3 est un modèle développé par OpenAI auquel vous pouvez accéder par une API payante, mais vous n’avez pas accès au modèle lui-même.

Ce qui rend GPT-3 si puissant, ce sont à la fois son architecture et sa taille. Il compte 175 milliards de paramètres. Deux fois plus que le nombre de neurones dans notre cerveau ! Cet immense réseau a pratiquement été entraîné sur l’ensemble d’Internet pour comprendre comment nous écrivons, échangeons et interprétons du texte. Cette semaine, Meta a fait un grand pas en avant pour la communauté. L’entreprise vient de publier un modèle tout aussi puissant, sinon plus, et l’a entièrement rendu open source.

  • Courte explication vidéo :

BlobGAN: Spatially Disentangled Scene Representations [11]

BlobGAN permet des manipulations d’images incroyables en contrôlant très facilement de simples blobs. Chacun de ces petits blobs représente un objet. Vous pouvez le déplacer, l’agrandir, le réduire ou même le supprimer, et l’objet qu’il représente dans l’image subira la même transformation. C’est vraiment génial !

Comme les auteurs le montrent dans leurs résultats, vous pouvez même créer de nouvelles images en dupliquant des blobs pour produire des scènes jamais vues dans le jeu de données, comme une pièce avec deux ventilateurs au plafond ! Corrigez-moi si je me trompe, mais je crois qu’il s’agit de l’un des premiers articles scientifiques, sinon le premier, à rendre la retouche d’images aussi simple que le déplacement de blobs et à permettre des modifications qui n’existaient pas dans le jeu de données d’entraînement.

Et contrairement aux modèles de certaines entreprises que nous connaissons tous, vous pouvez vraiment jouer avec celui-ci ! Les chercheurs ont publié leur code et une démo Colab que vous pouvez essayer dès maintenant. Le fonctionnement de BlobGAN est encore plus intéressant. Apprenez-en plus dans la vidéo !

  • Courte explication vidéo :

A Generalist Agent [12]

Gato de DeepMind vient d’être publié ! Il s’agit d’un seul transformer capable de jouer à des jeux Atari, de décrire des images, de discuter avec des gens, de contrôler un véritable bras robotique et bien plus encore ! En effet, il est entraîné une seule fois et utilise les mêmes poids pour accomplir toutes ces tâches. Et selon DeepMind, ce n’est pas seulement un transformer, mais aussi un agent. Voilà ce qui arrive lorsqu’on combine les transformers aux progrès réalisés avec les agents d’apprentissage par renforcement multitâches.

Gato est un agent multimodal. Il peut donc créer des descriptions pour des images ou répondre à des questions comme un chatbot. Vous pourriez dire que GPT-3 le fait déjà, mais Gato peut en faire davantage… Sa multimodalité vient du fait qu’il peut aussi jouer à des jeux Atari au niveau d’un humain ou même accomplir des tâches dans le monde réel, comme contrôler des bras robotiques pour déplacer des objets avec précision. Il comprend les mots, les images et même la physique…

  • Courte explication vidéo :

Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding [13]

Si vous trouviez que DALL·E 2 obtenait d’excellents résultats, attendez de voir ce que ce nouveau modèle de Google Brain peut faire.

DALL·E est incroyable, mais manque souvent de réalisme. C’est exactement le problème auquel l’équipe s’est attaquée avec ce nouveau modèle appelé Imagen.

Les chercheurs présentent de nombreux résultats sur leur page de projet ainsi qu’un benchmark qu’ils ont créé pour comparer les modèles texte vers image. Ils y surpassent clairement DALL·E 2 et les approches précédentes de génération d’images. Apprenez-en plus dans la vidéo…

  • Courte explication vidéo :

Twitter

DALL·E Mini [14]

DALL·E mini est incroyable, et VOUS pouvez l’utiliser !

Je suis certain que vous avez vu des images comme celles-ci dans votre fil Twitter au cours des derniers jours. Si vous vous demandiez ce qu’elles étaient, ce sont des images générées par une IA appelée DALL·E mini. Si vous n’en avez jamais vu, vous devez regarder cette vidéo, parce que vous manquez quelque chose. Et si vous vous demandez comment c’est possible, eh bien, vous regardez la vidéo parfaite et vous aurez la réponse en moins de cinq minutes.

DALL·E mini est une IA gratuite et open source qui produit des images incroyables à partir d’inputs textuels.

  • Courte explication vidéo :

No Language Left Behind: Scaling Human-Centered Machine Translation [15]

Le plus récent modèle de Meta AI, appelé « No Language Left Behind », fait exactement cela : il traduit 200 langues différentes avec une qualité à la fine pointe de la technologie. Un seul modèle peut gérer 200 langues. C’est incroyable, non ?

Nous avons de la difficulté à obtenir d’excellents résultats seulement en anglais, tandis que Meta s’attaque à 200 langues différentes avec le même modèle. Certaines font même partie des langues les plus complexes et les moins représentées, avec lesquelles Google Traduction éprouve aussi des difficultés…

  • Courte explication vidéo :

Dual-Shutter Optical Vibration Sensing [16]

Les chercheurs reconstruisent le son à l’aide de caméras et d’un faisceau laser pointé sur n’importe quelle surface qui vibre. Ils peuvent ainsi isoler des instruments de musique, se concentrer sur un locuteur précis, retirer les bruits ambiants et réaliser bien d’autres applications incroyables.

  • Courte explication vidéo :

Make-a-scene: Scene-based text-to-image generation with human priors [17]

Make-A-Scene n’est pas « juste un autre DALL·E ». Le but de ce nouveau modèle n’est pas de permettre aux utilisateurs de générer des images aléatoires à partir d’un prompt textuel comme le fait DALL·E, ce qui est vraiment cool, mais limite le contrôle des utilisateurs sur les générations.

Meta voulait plutôt faire progresser l’expression créative en fusionnant cette tendance du texte vers l’image avec les modèles précédents de croquis vers image. Le résultat est « Make-A-Scene » : un mélange fantastique de génération d’images conditionnée à la fois par du texte et par un croquis.

  • Courte explication vidéo :

BANMo: Building Animatable 3D Neural Models from Many Casual Videos [18]

Créez des modèles 3D déformables à partir d’images avec BANMo !

  • Courte explication vidéo :

High-resolution image synthesis with latent diffusion models [19]

Qu’ont en commun tous les modèles d’images récents et ultrapuissants comme DALL·E, Imagen ou Midjourney ? Au-delà de leurs coûts de calcul élevés, de leur énorme temps d’entraînement et de tout le hype qu’ils partagent, ils reposent tous sur le même mécanisme : la diffusion. Les modèles de diffusion ont récemment obtenu des résultats à la fine pointe de la technologie pour la plupart des tâches liées aux images, dont le texte vers image avec DALL·E, mais aussi beaucoup d’autres tâches de génération d’images, comme l’inpainting, le transfert de style ou la super-résolution.

  • Courte explication vidéo :

👀 Si vous souhaitez soutenir mon travail, vous pouvez commanditer ce dépôt ou me soutenir sur Patreon.

Panoptic Scene Graph Generation [20]

La génération de graphes de scènes panoptiques, ou PSG, est une nouvelle tâche qui vise à produire une représentation plus complète sous forme de graphe d’une image ou d’une scène à partir de la segmentation panoptique plutôt que de boîtes englobantes. Elle peut servir à comprendre des images et à générer des phrases qui décrivent ce qui s’y passe. C’est peut-être la tâche la plus difficile pour une IA ! Apprenez-en plus ci-dessous…

  • Courte explication vidéo :

An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion [21]

Les modèles texte vers image comme DALL·E ou Stable Diffusion sont vraiment cool et nous permettent de générer des images fantastiques avec un simple input textuel. Mais ne serait-ce pas encore plus cool de leur donner une photo de vous et de leur demander de la transformer en peinture ? Imaginez pouvoir envoyer n’importe quelle image d’un objet, d’une personne ou même de votre chat, puis demander au modèle de la transformer dans un autre style, comme vous convertir en cyborg, vous appliquer votre style artistique préféré ou vous ajouter à une nouvelle scène.

En gros, ce serait vraiment cool d’avoir une version de DALL·E qui nous permette de faire du Photoshop avec nos propres images au lieu de produire des générations aléatoires. Un DALL·E personnalisé qui simplifie énormément le contrôle de la génération, puisque « une image vaut mille mots ». Ce serait comme avoir un modèle DALL·E aussi personnalisé et addictif que l’algorithme de TikTok.

C’est justement ce sur quoi des chercheurs de l’Université de Tel-Aviv et de NVIDIA ont travaillé. Ils ont développé une approche pour conditionner des modèles texte vers image, comme Stable Diffusion que j’ai présenté la semaine dernière, à l’aide de quelques images. Le système peut ainsi représenter n’importe quel objet ou concept par les mots que vous envoyez avec vos images. Il transforme ensuite l’objet de vos images d’entrée en tout ce que vous voulez !

  • Courte explication vidéo :

Expanding Language-Image Pretrained Models for General Video Recognition [22]

Nous avons vu l’IA générer du texte, puis des images et, plus récemment, même de courtes vidéos, bien qu’elles aient encore besoin d’être améliorées. Les résultats sont incroyables lorsqu’on pense que personne ne participe réellement au processus de création de ces contenus et que le modèle doit seulement être entraîné une fois avant d’être utilisé par des milliers de personnes, comme Stable Diffusion. Mais ces modèles comprennent-ils vraiment ce qu’ils font ? Savent-ils ce que représente réellement l’image ou la vidéo qu’ils viennent de produire ? Que comprend un tel modèle lorsqu’il voit une image comme celle-ci ou, encore plus complexe, une vidéo ?

  • Courte explication vidéo :

MAKE-A-VIDEO: TEXT-TO-VIDEO GENERATION WITHOUT TEXT-VIDEO DATA [23]

Le nouveau modèle Make-A-Video de Meta AI est sorti et, en une phrase : il génère des vidéos à partir de texte. Non seulement il peut générer des vidéos, mais il représente aussi la nouvelle méthode à la fine pointe de la technologie, produisant des vidéos de meilleure qualité et plus cohérentes que jamais !

  • Courte explication vidéo :

Robust Speech Recognition via Large-Scale Weak Supervision [24]

Avez-vous déjà rêvé d’un bon outil de transcription qui comprendrait précisément ce que vous dites et le mettrait par écrit ? Pas comme les outils de traduction automatique de YouTube… Je veux dire, ils sont bons, mais loin d’être parfaits. Essayez-les : activez la fonctionnalité pour la vidéo et vous verrez de quoi je parle.

Heureusement, OpenAI vient de publier en open source un modèle d’IA assez puissant conçu précisément pour cela : Whisper.

Il comprend des choses que je n’arrive même pas à saisir puisque l’anglais n’est pas ma langue maternelle, comme vous pouvez l’entendre dans la vidéo, et il fonctionne aussi pour la traduction entre langues !

  • Courte explication vidéo :

DreamFusion: Text-to-3D using 2D Diffusion [25]

Nous avons vu des modèles capables de prendre une phrase et de générer des images. Puis d’autres approches capables de manipuler les images générées en apprenant des concepts précis, comme un objet ou un style particulier.

La semaine dernière, Meta a publié le modèle Make-A-Video que j’ai présenté, qui vous permet lui aussi de générer une courte vidéo à partir d’une phrase. Les résultats ne sont pas encore parfaits, mais les progrès réalisés dans le domaine depuis l’an dernier sont tout simplement incroyables.

Cette semaine, nous faisons un autre pas en avant.

Voici DreamFusion, un nouveau modèle de Google Research capable de comprendre suffisamment une phrase pour en générer un modèle 3D. Vous pouvez le voir comme DALL·E ou Stable Diffusion, mais en 3D.

  • Courte explication vidéo :

Imagic: Text-Based Real Image Editing with Diffusion Models [26]

Si vous trouvez cool les récents modèles de génération d’images comme DALL·E ou Stable Diffusion, vous n’allez pas croire à quel point celui-ci est incroyable. « Celui-ci », c’est Imagic. Imagic prend un modèle fondé sur la diffusion capable de générer des images à partir de texte et l’adapte pour modifier des images. Vous pouvez générer une image, puis apprendre au modèle à la modifier comme vous le voulez.

  • Courte explication vidéo :

eDiffi: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers [27]

eDiffi, le plus récent modèle de NVIDIA, génère des images plus belles et plus précises que toutes les approches précédentes comme DALL·E 2 ou Stable Diffusion. eDiffi comprend mieux le texte que vous lui envoyez et offre davantage de personnalisation grâce à une fonctionnalité que nous avons vue dans un article scientifique précédent de NVIDIA : l’outil de peinture.

  • Courte explication vidéo :

InfiniteNature-Zero: Learning Perpetual View Generation of Natural Scenes from Single Images [28]

Générez une infinité de nouvelles trames comme si vous voliez à l’intérieur de votre image !

  • Courte explication vidéo :

Galactica: A Large Language Model for Science [29]

Galactica est un grand modèle de langage d’une taille comparable à GPT-3, mais spécialisé dans les connaissances scientifiques. Il peut rédiger des livres blancs, des revues, des pages Wikipédia et du code. Il sait citer ses sources et écrire des équations. C’est assez important pour l’IA et la science.

  • Courte explication vidéo :

Real-time Neural Radiance Talking Portrait Synthesis via Audio-spatial Decomposition [30]

À partir d’une seule vidéo, les chercheurs peuvent synthétiser en temps réel cette personne en train de prononcer pratiquement n’importe quel mot ou n’importe quelle phrase, avec une meilleure qualité. Vous pouvez animer un visage parlant en suivant n’importe quelle piste audio en temps réel.

  • Courte explication vidéo :

ChatGPT: Optimizing Language Models for Dialogue [31]

ChatGPT a envahi Twitter et pratiquement tout Internet grâce à sa puissance et au potentiel de mèmes qu’il offre. Nous savons tous que pouvoir générer des mèmes est la meilleure façon de conquérir Internet, et ça a donc fonctionné.

Puisque vous avez vu de nombreux exemples, vous savez peut-être déjà que ChatGPT est une IA récemment rendue publique par OpenAI avec laquelle vous pouvez discuter. On l’appelle aussi un chatbot, ce qui signifie que vous pouvez interagir avec elle sous forme de conversation, en imitant une discussion en tête-à-tête entre humains.

Ce que vous ignorez peut-être, c’est ce qu’elle est et comment elle fonctionne… Regardez la vidéo ou lisez l’article ou la publication de blogue ci-dessous pour en apprendre plus !

  • Courte explication vidéo :

Production-Ready Face Re-Aging for Visual Effects [32]

Que ce soit pour s’amuser avec un filtre Snapchat, pour un film ou même pour retirer quelques rides, nous avons tous en tête une utilisation possible du changement d’âge dans une photo.

Ce travail est habituellement réalisé par des artistes qualifiés qui utilisent Photoshop ou un outil semblable pour modifier vos photos. Pire encore, dans une vidéo, ils doivent faire ce genre de modification manuelle pour chaque trame ! Imaginez simplement la quantité de travail nécessaire. Eh bien, voici une solution et un nouveau problème pour cette situation… 👇

  • Courte explication vidéo :

Si vous souhaitez lire plus d’articles scientifiques et obtenir une vue d’ensemble plus large, voici un autre excellent dépôt qui couvre 2021 : 2021: A Year Full of Amazing AI papers- A Review. N’hésitez pas non plus à vous abonner à mon infolettre hebdomadaire pour rester au courant des nouvelles publications en IA en 2022 !

Identifiez-moi sur Twitter @Whats_AI ou LinkedIn @Louis (What’s AI) Bouchard si vous partagez la liste !

Références des articles scientifiques

[1] Suvorov, R., Logacheva, E., Mashikhin, A., Remizova, A., Ashukha, A., Silvestrov, A., Kong, N., Goka, H., Park, K. and Lempitsky, V., 2022. Resolution-robust Large Mask Inpainting with Fourier Convolutions. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (pp. 2149–2159)., https://arxiv.org/pdf/2109.07161.pdf

[2] Tzaban, R., Mokady, R., Gal, R., Bermano, A.H. and Cohen-Or, D., 2022. Stitch it in Time: GAN-Based Facial Editing of Real Videos. https://arxiv.org/abs/2201.08361

[3] Kuang, Z., Olszewski, K., Chai, M., Huang, Z., Achlioptas, P. and Tulyakov, S., 2022. NeROIC: Neural Rendering of Objects from Online Image Collections. https://arxiv.org/pdf/2201.02533.pdf

[4] Borsos, Z., Sharifi, M. and Tagliasacchi, M., 2022. SpeechPainter: Text-conditioned Speech Inpainting. https://arxiv.org/pdf/2202.07273.pdf

[5] Wang, X., Li, Y., Zhang, H. and Shan, Y., 2021. Towards real-world blind face restoration with generative facial prior. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 9168–9178), https://arxiv.org/pdf/2101.04061.pdf

[6] Piergiovanni, A.J., Casser, V., Ryoo, M.S. and Angelova, A., 2021. 4d-net for learned multi-modal alignment. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 15435–15445), https://openaccess.thecvf.com/content/ICCV2021/papers/Piergiovanni_4D-Net_for_Learned_Multi-Modal_Alignment_ICCV_2021_paper.pdf.

[7] Thomas Muller, Alex Evans, Christoph Schied and Alexander Keller, 2022, “Instant Neural Graphics Primitives with a Multiresolution Hash Encoding”, https://nvlabs.github.io/instant-ngp/assets/mueller2022instant.pdf

[8] A. Ramesh et al., 2022, “Hierarchical Text-Conditional Image Generation with CLIP Latents”, https://cdn.openai.com/papers/dall-e-2.pdf

[9] Nitzan, Y., Aberman, K., He, Q., Liba, O., Yarom, M., Gandelsman, Y., Mosseri, I., Pritch, Y. and Cohen-Or, D., 2022. MyStyle: A Personalized Generative Prior. arXiv preprint arXiv:2203.17272.

[10] Zhang, Susan et al. “OPT: Open Pre-trained Transformer Language Models.” https://arxiv.org/abs/2205.01068

[11] Epstein, D., Park, T., Zhang, R., Shechtman, E. and Efros, A.A., 2022. BlobGAN: Spatially Disentangled Scene Representations. arXiv preprint arXiv:2205.02837.

[12] Reed S. et al., 2022, Deemind: Gato - A generalist agent, https://storage.googleapis.com/deepmind-media/A%20Generalist%20Agent/Generalist%20Agent.pdf

[13] Saharia et al., 2022, Google Brain, Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding, https://gweb-research-imagen.appspot.com/paper.pdf

[14] Dayma, et al., 2021, DALL·E Mini, doi:10.5281/zenodo.5146400

[15] NLLB Team et al., 2022, No Language Left Behind: Scaling Human-Centered Machine Translation

[16] Sheinin, Mark and Chan, Dorian and O’Toole, Matthew and Narasimhan, Srinivasa G., 2022, Dual-Shutter Optical Vibration Sensing, Proc. IEEE CVPR.

[17] Gafni, O., Polyak, A., Ashual, O., Sheynin, S., Parikh, D. and Taigman, Y., 2022. Make-a-scene: Scene-based text-to-image generation with human priors. https://arxiv.org/pdf/2203.13131.pdf

[18] Yang, G., Vo, M., Neverova, N., Ramanan, D., Vedaldi, A. and Joo, H., 2022. Banmo: Building animatable 3d neural models from many casual videos. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 2863-2873).

[19] Rombach, R., Blattmann, A., Lorenz, D., Esser, P. and Ommer, B., 2022. High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 10684–10695), https://arxiv.org/pdf/2112.10752.pdf

[20] Yang, J., Ang, Y.Z., Guo, Z., Zhou, K., Zhang, W. and Liu, Z., 2022. Panoptic Scene Graph Generation. arXiv preprint arXiv:2207.11247.

[21] Gal, R., Alaluf, Y., Atzmon, Y., Patashnik, O., Bermano, A.H., Chechik, G. and Cohen-Or, D., 2022. An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion.

[22] Ni, B., Peng, H., Chen, M., Zhang, S., Meng, G., Fu, J., Xiang, S. and Ling, H., 2022. Expanding Language-Image Pretrained Models for General Video Recognition. arXiv preprint arXiv:2208.02816.

[23] Singer et al. (Meta AI), 2022, “MAKE-A-VIDEO: TEXT-TO-VIDEO GENERATION WITHOUT TEXT-VIDEO DATA”, https://makeavideo.studio/Make-A-Video.pdf

[24] Radford, A., Kim, J.W., Xu, T., Brockman, G., McLeavey, C. and Sutskever, I., article scientifique : Robust Speech Recognition via Large-Scale Weak Supervision.

[25] Poole, B., Jain, A., Barron, J.T. and Mildenhall, B., 2022. DreamFusion: Text-to-3D using 2D Diffusion. arXiv preprint arXiv:2209.14988.

[26] Kawar, B., Zada, S., Lang, O., Tov, O., Chang, H., Dekel, T., Mosseri, I. and Irani, M., 2022. Imagic: Text-Based Real Image Editing with Diffusion Models. arXiv preprint arXiv:2210.09276.

[27] Balaji, Y. et al., 2022, eDiffi: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers, https://arxiv.org/abs/2211.01324

[28] Li, Z., Wang, Q., Snavely, N. and Kanazawa, A., 2022. InfiniteNature-Zero: Learning Perpetual View Generation of Natural Scenes from Single Images. In European Conference on Computer Vision (pp. 515–534). Springer, Cham, https://arxiv.org/abs/2207.11148

[29] Taylor et al., 2022: Galactica: A Large Language Model for Science, https://arxiv.org/abs/2211.09085

[30] Tang, J., Wang, K., Zhou, H., Chen, X., He, D., Hu, T., Liu, J., Zeng, G. and Wang, J., 2022. Real-time Neural Radiance Talking Portrait Synthesis via Audio-spatial Decomposition. arXiv preprint arXiv:2211.12368.

[31] OpenAI, 2022: ChatGPT: Optimizing Language Models for Dialogue, https://openai.com/blog/chatgpt/

[32] Loss et al., DisneyResearch, 2022: FRAN, https://studios.disneyresearch.com/2022/11/30/production-ready-face-re-aging-for-visual-effects/

Discussion

Commentaires

Chargement

Aucun compte requis. Votre nom et votre commentaire seront publics, alors n'incluez pas de renseignements privés. Consultez la page de confidentialité pour les détails.

Continuez à apprendre

Vous voulez le côté pratique de l'IA, sans le brouillard marketing ?

Je partage ce qui est utile sur YouTube, Substack et dans mes guides d'ingénierie IA.

SubstackYouTubeCommencer à apprendre l'IABâtir une carrière en ingénierie IA

À lire ensuite

FAQ

Quelles avancées en IA ont défini 2022 ?

La génération d’images, les grands modèles de langage, la synthèse vidéo et audio, la génération 3D et des systèmes multimodaux plus puissants ont alimenté une grande partie des progrès de l’année.

Pourquoi l’IA générative a-t-elle progressé si rapidement en 2022 ?

De meilleures architectures de modèles, de plus grands datasets, davantage de compute et des outils publics ont rendu les résultats de recherche plus faciles à tester et à transformer en produits.

Quelle est la meilleure façon d’utiliser cette rétrospective de 2022 ?

Utilisez-la pour trouver les articles scientifiques, les explications, le code et les familles de modèles qui comptent encore pour votre travail, puis vérifiez les sources originales avant de prendre une décision technique.

Pourquoi l’inpainting par IA était-il important en 2022 ?

Les systèmes les plus puissants ne faisaient pas que supprimer un objet : ils déduisaient l’arrière-plan manquant et généraient un remplacement adapté à l’image environnante.

Qu’est-ce qui rend un objet 3D généré utile au-delà de son réalisme ?

Sa forme peut sembler convaincante à elle seule, mais un système pratique doit aussi placer et intégrer correctement cet objet dans une nouvelle scène.

Qu’est-ce qui rendait Whisper utile au-delà de la transcription de base ?

Le modèle open source gérait des paroles difficiles et pouvait traduire en anglais des paroles prononcées dans d’autres langues, ce qui le rendait utile au-delà de la transcription d’un anglais clair.

Qu’est-ce que DreamFusion a ajouté à la génération à partir de texte ?

Il a étendu le principe du texte vers l’image à la 3D, en générant un objet à partir d’une description écrite plutôt que de s’arrêter à une seule vue en deux dimensions.