L’année dernière, nous avons assisté à l’essor de l’IA générative pour les images et le texte, plus récemment avec ChatGPT. Dès la première semaine de 2023, des chercheurs ont déjà créé un nouveau système pour les données audio appelé VALL-E.
VALL-E peut imiter la voix d’une personne à partir d’un enregistrement de seulement 3 secondes, avec une ressemblance et un naturel de la parole supérieurs à tout ce qui existait auparavant. ChatGPT peut imiter un auteur humain. VALL-E fait la même chose avec la voix.
Voyons comment les chercheurs ont réussi à cloner la voix d’une personne et écoutons quelques résultats. Vous pouvez aussi les entendre sur la page du projet VALL-E de Microsoft Research :
Je collabore aussi de nouveau avec le World’s AI Cannes Festival. J’organise un concours intéressant et je vous offre des rabais si vous souhaitez assister à l’événement qui aura lieu en février. J’y étais en personne l’an dernier et j’ai passé un excellent moment. Je vous recommande fortement d’y assister, surtout si vous êtes en Europe ou près de Cannes. Vous trouverez plus de détails à la fin de l’article !
Comme vous l’avez entendu, les résultats sont incroyables. Vous pouvez maintenant générer facilement du texte avec ChatGPT, puis lui donner une voix humaine avec VALL-E. Combinez le tout avec un deepfake et vous obtenez une personne entièrement fictive capable de produire automatiquement une quantité infinie de contenu ! Les choses deviennent de plus en plus folles, mais la façon dont ces avancées sont réalisées est encore plus intéressante…
Alors, comment pouvons-nous imiter la voix de quelqu’un ?
Vue d’ensemble de VALL-E. Image tirée de l’article scientifique.
Nous commençons par encoder un court exemple du message textuel que nous voulons générer avec la voix que nous souhaitons imiter. C’est ce que nous appelons nos prompts. Ces prompts sont envoyés à un autre modèle qui génère les codes de notre codec audio, puis les décode pour produire une nouvelle parole personnalisée.
Comme je l’ai mentionné, nous avons d’abord nos prompts textuel et audio, qui contiennent le texte de la parole à générer ainsi que la voix à imiter. Nous voulons ensuite les fournir à notre modèle principal afin qu’il génère le nouvel audio. Pour y arriver, nous devons les convertir en quelque chose que le modèle peut comprendre, souvent des matrices, des valeurs et des nombres plutôt que des mots ou des sons. Nous utilisons donc d’autres modèles appelés encodeurs pour transformer le texte et la voix en matrices et en nombres précis qui représentent le locuteur et l’information acoustique. Il s’agit de la même étape que celle utilisée par la plupart des modèles de langage pour comprendre et traiter les inputs linguistiques.
Nous devons ensuite prendre ces nouvelles matrices qui représentent la voix et le texte désiré, puis faire un peu de magie pour les combiner et créer une nouvelle piste audio avec la voix clonée et le texte demandé.
Vue d’ensemble du modèle de langage fondé sur un codec neuronal. Image tirée de l’article scientifique.
C’est ici qu’intervient notre modèle principal, le modèle de codec audio neuronal. Il reçoit les matrices que nous venons de produire et apprend à cloner la voix le plus fidèlement possible tout en respectant le nouveau texte. Le système utilise une architecture assez simple appelée encodeur-décodeur convolutionnel, semblable à celles que nous avons vues avec les GANs et d’autres approches de génération d’images dans plusieurs de mes vidéos précédentes. Ce réseau encodeur-décodeur apprend simplement à cloner la voix à partir de ses exemples d’entraînement. Il comprime l’information pour ne conserver que le contenu le plus pertinent, puis utilise cette version comprimée pour reconstruire le nouvel audio désiré. Il y arrive grâce aux milliers d’exemples vus pendant l’entraînement. C’est un peu comme un joueur de tennis professionnel qui sait déjà où la balle tombera de son côté du terrain dès que son adversaire la frappe. Grâce à ce qu’il a vu auparavant, il peut prédire où elle aboutira et comment elle rebondira en tenant compte uniquement du coup initial.
Maintenant que nous avons nos matrices transformées, il ne reste qu’à revenir au monde réel, c’est-à-dire à créer une piste audio à partir de celles-ci. Une architecture très semblable à celle de l’encodeur audio de la première étape s’en charge, mais dans le sens inverse. Elle a d’ailleurs été entraînée en même temps que lui pour partir de l’audio, l’encoder en matrices et en nombres, puis reconstruire exactement le même audio. Nous pouvons alors séparer ce modèle en deux. La première moitié sert à la première étape que nous avons vue, et la seconde est utilisée ici afin d’obtenir notre résultat final : une nouvelle parole personnalisée.
Comparaison entre VALL-E et les systèmes texte-parole en cascade actuels. Image tirée de l’article scientifique.
Pourquoi le système fonctionne-t-il aussi bien ? D’abord grâce à l’architecture que nous venons de décrire, qui traite la tâche comme un problème de modèle de langage avec des codes de codec audio plutôt qu’avec l’approche traditionnelle des spectrogrammes mel. Mais surtout, les chercheurs ont utilisé une énorme quantité de données semi-supervisées, plus précisément des centaines de fois plus que les systèmes existants, comme les récents grands modèles GPT-3 et ChatGPT. Comme toujours, les données sont la clé.
Et voilà ! C’est ainsi que vous pouvez copier la voix d’une personne et lui faire dire tout ce que vous voulez. C’est à la fois fascinant et incroyablement dangereux.
J’aimerais connaître votre opinion sur tous ces nouveaux outils génératifs, comme VALL-E et ChatGPT. Vous attendiez-vous à des progrès aussi rapides ? Selon vous, quelle sera la prochaine étape du contenu génératif ?
C’est maintenant l’heure de notre concours ! Le World’s AI Cannes Festival m’a envoyé cinq billets à offrir à ma communauté, en plus d’un rabais de 20 % pour tout le monde au moyen du premier lien dans ma description. Mais pourquoi devriez-vous y assister ? Pour plusieurs raisons. Personnellement, j’ai vraiment aimé discuter avec les différentes jeunes entreprises présentes et rencontrer de nombreuses personnes incroyablement talentueuses. Il y a aussi d’autres avantages intéressants, comme des conférences de professionnels tels que Yann LeCun ou Lila Ibrahim de DeepMind. C’est un excellent événement pour apprendre et créer des liens avec des entreprises européennes en IA. Voilà votre chance d’obtenir un billet gratuit si vous souhaitez visiter cette magnifique ville en février.
Il n’y a que deux étapes pour participer au concours. Rejoignez notre communauté Discord appelée Learn AI Together, où nous organisons et partageons nos événements préférés sur l’IA, puis envoyez-moi un message sur Discord (Louis B#1408) avec ce que vous avez le plus hâte de découvrir pendant l’événement et votre nom d’utilisateur Discord afin que je puisse vous joindre.
Je vous souhaite la meilleure des chances pour le concours et j’espère que cet article vous a plu. Je vous retrouve la prochaine fois avec un autre article scientifique incroyable !
Références
- Lien vers les extraits audio : projet VALL-E de Microsoft Research
- Wang et al., 2023 : VALL-E. https://arxiv.org/pdf/2301.02111.pdf
FAQ
Qu’est-ce que VALL-E de Microsoft ?
VALL-E est un modèle texte-parole qui peut synthétiser un discours dans une voix cible à partir d’un court prompt audio.
Comment le modèle représente-t-il la parole ?
Un codec audio convertit le son en tokens numériques discrets qu’un système semblable à un modèle de langage peut prédire.
Que fournit le prompt vocal ?
Il fournit l’identité du locuteur et les caractéristiques acoustiques qui conditionnent la façon dont le nouveau texte doit sonner.
VALL-E peut-il préserver l’environnement d’enregistrement ?
Le modèle présenté peut reproduire certains aspects de l’environnement acoustique du prompt en plus de la voix du locuteur.
Quels risques accompagnent le clonage de voix ?
L’usurpation d’identité, la fraude, l’utilisation sans consentement et les faux enregistrements exigent des contrôles d’accès, une divulgation claire et des preuves de provenance.