Nous avons récemment présenté un modèle capable d’imiter la voix d’une personne appelé VALL-E. Allons maintenant un peu plus loin du côté de la création avec cette nouvelle IA appelée MusicLM. MusicLM vous permet de générer de la musique à partir d’une description textuelle. Je vous invite à écouter les résultats sur leur site Web ou dans ma vidéo…
En supposant que vous ayez pris le temps d’écouter quelques-unes de ces chansons… À quel point est-ce cool ? Les morceaux que vous venez d’entendre ont été entièrement générés par une IA !
Encore plus intéressant que d’écouter quelques exemples supplémentaires : comprendre comment ça fonctionne. Voyons ce qu’est cette IA !
Alors, comment ont-ils fait ?
Eh bien, comme pour la plupart des modèles récents, ils ont combiné le meilleur de plusieurs approches.
Plus précisément, ils expliquent que leur approche ressemble beaucoup à DALLE 2, que j’ai déjà présenté sur ma chaîne, à une différence près : elle génère de la musique plutôt que des images et utilise des modèles fondés sur les Transformers plutôt que sur la diffusion.
Architecture de DALLE-2. Image tirée de l’article scientifique sur DALLE-2.
Revenons donc un peu en arrière…
Que devons-nous faire ici ?
1. Nous devons traiter le texte d’une façon que la machine peut comprendre.
2. Nous devons le comprendre.
3. Nous devons générer une nouvelle pièce musicale jamais entendue qui aurait essentiellement le même sens que ce texte fourni en entrée.
Ce sont essentiellement les mêmes étapes qu’avec DALLE et les autres modèles de génération d’images : nous prenons du texte, nous le comprenons, puis nous générons une image qui représente ce texte dans une autre modalité que les humains comprennent.
Parcourons ces étapes une à une…
Nous devons d’abord traiter le texte d’une façon que la machine peut comprendre.
Comment faisons-nous ça ?
Eh bien, nous utilisons un modèle entraîné sur un grand nombre de paires de textes et de sons, qui apprend à les représenter tous les deux de manière semblable dans son espace encodé. En gros, il apprend à transformer les deux en représentations similaires dans son propre langage. C’est la même chose qu’avec les modèles génératifs d’images, si vous avez vu mes vidéos sur le sujet, où nous voulons que notre texte devienne équivalent à l’image qui le représente. Pour y arriver, il faut un long processus d’entraînement avec énormément d’exemples. Dans notre cas, ce modèle précis s’appelle MuLan :
Image tirée de l’article scientifique sur MuLan.
Ensuite, comme je le disais, nous devons comprendre ce texte. Cela se fait de manière séquentielle en apprenant des transformations qui permettent de passer de notre texte à une représentation audio.
Vue d’ensemble de l’architecture d’entraînement avec nos trois modèles. Image tirée de l’article scientifique.
Nous utilisons d’abord un modèle entraîné sur nos exemples musicaux pour apprendre une façon de convertir nos encodages MuLan, que nous appelons des tokens, en tokens sémantiques. Cette étape ajoute simplement de l’information aux tokens en vue de la transformation audio, que nous pouvons maintenant effectuer.
Nous utilisons tout ce que nous avons : nos tokens MuLan transformés à partir du texte ainsi que nos nouveaux tokens sémantiques fondés sur les transformations apprises. Puis, nous utilisons un troisième modèle appelé SoundStream pour créer des tokens acoustiques, prêts à être interprétés par le modèle afin de générer le son.
Vue d’ensemble du modèle lors de l’inférence. Image tirée de l’article scientifique.
Une fois l’entraînement terminé, nous utilisons simplement nos modèles entraînés pour prendre le texte, le transformer en une représentation qui a du sens pour la machine, appliquer les transformations apprises, puis utiliser notre dernier sous-modèle pour générer la chanson souhaitée.
Et voilà !
Voici comment Google Research a réussi à créer un modèle qui génère de la musique avec d’aussi bons résultats à partir de simples descriptions textuelles !
Mais ne me croyez pas sur parole. Allez écouter quelques exemples sur leur site Web !
Ils publient aussi MusicCaps, un jeu de données composé de 5,5 k paires musique-texte accompagnées de riches descriptions textuelles rédigées par des experts humains, qui aidera certainement à améliorer les prochaines approches.
Bien sûr, ce n’était qu’un survol de ce nouveau modèle MusicLM. Je vous invite à lire leur article scientifique pour obtenir plus d’information.
J’espère que vous avez aimé cet article, et on se revoit la semaine prochaine avec un autre article scientifique incroyable !
Références
►Agostinelli et al., 2023 : MusicLM, https://arxiv.org/pdf/2301.11325.pdf
►Écoutez plus de résultats : https://google-research.github.io/seanet/musiclm/examples/
►Mon infolettre : /fr/newsletter/
►Soutenez-moi sur Patreon : https://www.patreon.com/whatsai
►Rejoignez notre communauté Discord, Learn AI Together : https://discord.gg/learnaitogether
FAQ
Que génère MusicLM ?
MusicLM crée de la musique à partir d’une description en langage naturel du style, des instruments, de l’ambiance ou d’autres caractéristiques musicales.
En quoi la génération de musique à partir de texte diffère-t-elle de la synthèse vocale ?
La génération musicale doit modéliser sur de longues séquences le rythme, l’harmonie, l’instrumentation et la structure, plutôt que le contenu d’un discours.
Le prompt peut-il contrôler le son généré ?
La description guide les grandes caractéristiques, même si le modèle ne respecte pas toujours avec précision chacun des détails musicaux demandés.
En quoi MusicLM diffère-t-il d’un modèle de clonage vocal comme VALL-E ?
MusicLM génère du contenu audio musical, tandis que VALL-E se concentre sur la synthèse de la parole dans une voix donnée.
Quels enjeux accompagnent la musique générée ?
Les droits liés aux données d’entraînement, l’imitation d’un style, l’attribution, le consentement des artistes et l’utilisation commerciale exigent un examen rigoureux des politiques et du cadre juridique.