Regardez la vidéo
Nous avons entendu parler des deepfakes, nous avons entendu parler des NeRFs, et nous avons vu ce genre d’applications qui permettent de recréer le visage d’une personne et de lui faire dire à peu près tout ce que nous voulons.
Ce que vous ne savez peut-être pas, c’est à quel point ces méthodes sont inefficaces et combien de calculs et de temps elles demandent. De plus, nous ne voyons que les meilleurs résultats. Gardez en tête que les résultats présentés en ligne sont associés aux visages pour lesquels nous pouvons trouver le plus d’exemples, donc essentiellement des personnalités d’Internet. Les modèles qui produisent ces résultats sont entraînés avec beaucoup de puissance de calcul, ce qui signifie des ressources coûteuses comme de nombreuses cartes graphiques. Malgré tout, les résultats sont vraiment impressionnants et ne font que s’améliorer.
Exemple de manipulation de portrait tiré de la page du projet.
Heureusement, des personnes comme Jiaxian Tang et ses collègues travaillent à rendre ces méthodes plus accessibles et efficaces avec un nouveau modèle appelé RAD-NeRF.
À partir d’une seule vidéo, ils peuvent synthétiser en temps réel une personne qui prononce à peu près n’importe quel mot ou n’importe quelle phrase, et ce, avec une meilleure qualité. Vous pouvez animer un visage parlant à partir de n’importe quelle piste audio en temps réel. C’est à la fois tellement génial et tellement inquiétant.
Comparaison de la qualité de différentes approches, leur méthode se trouvant dans la dernière colonne. Image tirée de l’article scientifique.
Imaginez seulement ce qui deviendrait possible si nous pouvions vous faire dire n’importe quoi. Au moins, les chercheurs ont encore besoin d’une vidéo où vous parlez devant la caméra pendant cinq minutes. Il est donc difficile d’y arriver sans que vous le sachiez. Malgré tout, dès que vous apparaissez en ligne, n’importe qui pourra utiliser un tel modèle et créer une infinité de vidéos où vous parlez de tout ce qu’il souhaite. Il est même possible d’animer des diffusions en direct avec cette méthode. C’est encore plus dangereux et il devient encore plus difficile de distinguer le vrai du faux. Quoi qu’il en soit, même si le sujet est intéressant et que j’aimerais lire votre opinion dans les commentaires pour poursuivre la discussion, je voulais présenter ici quelque chose d’entièrement positif et passionnant : la science. Plus précisément, comment les chercheurs ont-ils réussi à animer des visages parlants en temps réel à partir de n’importe quel audio en utilisant seulement une vidéo du visage…
Selon eux, leur modèle RAD-NeRF peut fonctionner 500 fois plus rapidement que les travaux précédents, tout en offrant une meilleure qualité de rendu et plus de contrôle. Vous vous demandez peut-être comment c’est possible ? Nous échangeons habituellement la qualité contre l’efficacité, mais ils parviennent ici à améliorer les deux de façon incroyable.
Ces immenses améliorations reposent sur trois éléments principaux.
Les deux premiers sont liés à l’architecture du modèle. Plus précisément, ils concernent la façon dont les chercheurs ont adapté l’approche NeRF pour la rendre plus efficace et améliorer les mouvements du torse et de la tête.
Vue d’ensemble de RAD-NeRF. Image tirée de l’article scientifique.
La première étape consiste à rendre les NeRFs plus efficaces, dans le rectangle jaune de la vue d’ensemble du modèle. Je n’entrerai pas dans le fonctionnement des NeRFs, puisque nous les avons présentés plusieurs fois. En gros, il s’agit d’une approche fondée sur les réseaux neuronaux qui reconstruit des scènes volumétriques 3D à partir d’un ensemble d’images 2D, donc d’images ordinaires. Voilà pourquoi le système reçoit une vidéo en input, puisqu’elle fournit essentiellement de nombreuses images d’une personne sous plusieurs angles.
Normalement, un réseau prédit les couleurs et les densités de tous les pixels depuis le point de vue de la caméra observé. Il recommence pour tous les points de vue que nous souhaitons afficher en tournant autour du sujet. Ce processus exige énormément de calculs, car le modèle prédit plusieurs paramètres pour chaque coordonnée de l’image chaque fois qu’il apprend à tous les prédire. De plus, il ne s’agit pas ici d’un simple NeRF qui produit une scène 3D. Il doit aussi correspondre à un input audio et synchroniser les lèvres, la bouche, les yeux et les mouvements avec les paroles de la personne.
Au lieu de prédire la densité et la couleur de tous les pixels qui correspondent à l’audio pour une trame précise, les chercheurs travaillent dans deux nouveaux espaces condensés et distincts appelés espaces de grille, ou NeRFs fondés sur une grille. Ils transforment leurs coordonnées dans un espace de grille 3D plus petit, convertissent l’audio dans un espace de grille 2D plus petit, puis les envoient au système qui produit le rendu de la tête. Ils ne fusionnent donc jamais les données audio et spatiales. Une telle fusion ferait croître la taille de façon exponentielle en ajoutant des inputs 2D à chaque coordonnée. C’est la réduction de la taille des caractéristiques audio, combinée à la séparation des caractéristiques audio et spatiales, qui rend l’approche beaucoup plus efficace.
Mais comment les résultats peuvent-ils être meilleurs si les espaces condensés contiennent moins d’information ? Les chercheurs ajoutent à leur NeRF en grille quelques caractéristiques contrôlables, comme le clignement des yeux. Le modèle peut ainsi apprendre des comportements oculaires plus réalistes que ceux des approches précédentes, ce qui est très important pour le réalisme.
Repères faciaux utilisés. Image tirée de l’article scientifique.
La deuxième amélioration, représentée par le rectangle vert dans la vue d’ensemble, consiste à modéliser le torse avec un autre NeRF qui utilise la même approche, plutôt que d’essayer de le modéliser avec le NeRF de la tête. Ce deuxième modèle demande beaucoup moins de paramètres et répond à des besoins différents, puisque l’objectif est d’animer des têtes en mouvement et non des corps entiers. Comme le torse demeure presque statique dans ces cas-ci, les chercheurs utilisent un module fondé sur les NeRFs beaucoup plus simple et efficace qui fonctionne uniquement en 2D. Il travaille directement dans l’espace de l’image plutôt qu’avec les rayons de la caméra habituellement utilisés par les NeRFs pour générer de nombreux angles, dont le torse n’a pas besoin. L’approche est donc beaucoup plus efficace parce qu’elle est adaptée à ce cas très précis, soit les vidéos avec un torse rigide et une tête en mouvement. Les chercheurs recomposent ensuite la tête et le torse afin de produire la vidéo finale.
Et voilà ! C’est ainsi que vous produisez efficacement des vidéos de visages parlants à partir de n’importe quel input audio !
Exemple de manipulation de portrait tiré de la page du projet.
Bien sûr, ce n’était qu’un aperçu de cette nouvelle publication scientifique passionnante. Les chercheurs apportent aussi d’autres modifications pendant l’entraînement de leur algorithme afin de le rendre plus efficace, ce qui correspond au troisième élément que j’ai mentionné au début de l’article. Je vous invite à lire leur article scientifique pour en apprendre davantage. Le lien se trouve dans les références ci-dessous.
Avant votre départ, je voulais simplement remercier les personnes qui ont récemment soutenu cette chaîne sur Patreon. Ce n’est pas nécessaire et sert uniquement à soutenir le travail que j’accomplis ici.
Un immense merci à Artem Vladykin, Leopoldo Altamirano, Jay Cole, Michael Carychao, Daniel Gimness et quelques généreux donateurs anonymes. Si vous souhaitez vous aussi soutenir financièrement mon travail sur Patreon et que vous pouvez vous le permettre, je vous en serais très reconnaissant. Sinon, ne vous inquiétez pas. Un feedback sincère sur cet article suffit à me rendre plus heureux !
J’espère que cet article vous a plu. Je vous retrouve la semaine prochaine avec un autre article scientifique incroyable !
Références
►Tang, J., Wang, K., Zhou, H., Chen, X., He, D., Hu, T., Liu, J., Zeng, G. and Wang, J., 2022. Real-time Neural Radiance Talking Portrait Synthesis via Audio-spatial Decomposition. arXiv preprint arXiv:2211.12368.
►Résultats et page du projet : https://me.kiui.moe/radnerf/
FAQ
Que génère RAD-NeRF ?
RAD-NeRF crée en temps réel une vidéo de visage parlant guidée par un nouvel audio, après avoir appris le visage et les mouvements de parole d’une personne.
De quel input d’entraînement a-t-il besoin ?
Le système a besoin d’environ cinq minutes de vidéo où la personne cible parle devant la caméra.
Comment l’audio peut-il animer un visage ?
Le modèle associe les caractéristiques de la parole aux mouvements faciaux et produit au fil du temps le rendu de la tête 3D neuronale correspondante.
Pourquoi le rendu en temps réel est-il important ?
Une inférence rapide permet de créer des avatars interactifs, des communications en direct, de la localisation et des assistants numériques réactifs.
Quel risque d’abus accompagne la synthèse de visages parlants ?
Un avatar convaincant peut usurper l’identité d’une personne. Le consentement, la divulgation, la provenance et les contrôles d’accès sont donc essentiels.