Regardez la vidéo :
Saviez-vous que l’IA peut déjà créer de la musique incroyable ?
Oui, c’est bien vrai. Nous pouvons non seulement le faire dans un contexte de recherche, en programmant le tout nous-mêmes, mais aussi sur un site Web où il suffit d’entrer une courte description de ce que nous voulons pour obtenir un extrait musical ! Et surtout, nous pouvons l’essayer gratuitement jusqu’à 20 fois par mois ! En effet, l’équipe derrière Stable Diffusion vient de lancer Stable Audio. Conçu par Stability AI, Stable Audio fonctionne d’une façon très semblable à Stable Diffusion. Il peut comprendre un texte et transformer ces mots abstraits en une représentation musicale, exactement comme Stable Diffusion le fait avec les images. Et mieux encore que sa gratuité, l’équipe a expliqué ouvertement comment elle y est arrivée. Plongeons dans le sujet !
Comme vous l’avez vu souvent sur ma chaîne, la plupart des nouvelles approches génératives, surtout celles qui touchent aux images et à d’autres signaux complexes, reposent sur une approche que nous appelons les réseaux de diffusion. Stable Diffusion en est évidemment un exemple.
Pourquoi est-ce important ? Et pourquoi est-ce que je parle encore de Stable Diffusion ? Pour deux raisons. Premièrement, les modèles de diffusion sont de puissants réseaux capables de partir du bruit pour générer des outputs. Ils y arrivent en apprenant à ajouter du bruit de façon répétée jusqu’à pouvoir revenir vers une vraie image. C’est possible parce que nous entraînons le modèle dans le sens inverse. Nous partons d’images, nous les dégradons petit à petit et nous indiquons au modèle comment nous les dégradons. Après des millions d’essais et d’exemples, notre modèle apprend les motifs du bruit et devient capable de partir uniquement de ce bruit pour construire un input, comme une image.
Processus de diffusion appliqué à un transfert de style d’image à image (croquis en input, vraie image en output).
Mais nous parlons ici de son, alors en quoi est-ce pertinent ? En réalité, le son ressemble beaucoup aux images. Un son peut être converti en spectrogramme d’amplitude. Il s’agit d’une représentation visuelle de tout le contenu fréquentiel du son au fil du temps. L’axe des x montre le temps et celui des y, la fréquence. La couleur indique aussi l’amplitude de chaque composante fréquentielle.
Image de Vincent Belz, « Speech-enhancement with Deep learning », Towards Data Science.
Une fois le son représenté sous une forme semblable à une image, nous pouvons utiliser un réseau très similaire pour l’encoder dans une nouvelle représentation. Celle-ci contient essentiellement les caractéristiques les plus importantes du son extraites de l’input original. Un réseau appelé encodeur apprend à le faire grâce à des centaines de milliers d’exemples. Nous reprenons ensuite le même principe que pour le modèle d’image en partant de notre extrait audio initial et en y ajoutant du bruit. Grâce à l’information latente dont nous disposons, nous pouvons fournir des renseignements sur l’extrait audio initial et apprendre au modèle à reconstruire le son original, qui a été perdu avec l’ajout du bruit. Nous avons maintenant un modèle capable de reconstruire un son. Pourquoi est-ce utile ?
Schéma d’entraînement de l’autoencodeur de magnitude par diffusion (DMAE). Image tirée de l’article Moûsai.
Parce que ce modèle constitue la partie la plus importante du problème. Il nous permet de lui fournir de l’information, ici la représentation latente de l’audio initial, puis de reconstruire le son.
Ce qui est cool, c’est que nous pouvons transformer à peu près n’importe quel type d’information en une représentation latente semblable à l’aide de différents réseaux entraînés à cette fin. Dans ce cas-ci, ils utilisent l’encodeur de texte CLAP, qu’ils entraînent afin de transformer l’input textuel en une bonne représentation pour notre modèle génératif.
Ils utilisent aussi un décodeur VAE. C’est simplement parce que, comme avec le modèle de diffusion latente, ils travaillent dans une représentation comprimée des sons afin de rendre l’entraînement et l’inférence plus efficaces. Imaginez une image floue, ou encore la chanson que vous entendez depuis le téléphone trop fort du gars au fond de l’autobus. Toute l’information est là, mais le résultat sonne mal. Ils ajoutent donc un dernier modèle dont l’unique tâche consiste à améliorer le son. Comme lorsque nous augmentons la résolution d’une image, nous augmentons ici la qualité du son.
Et voilà ! Vous avez votre nouveau modèle entraîné à générer une chanson qui représente un texte. Ce texte a été transformé en représentation latente, donc en une forme comprimée qui ne garde que l’information la plus utile, puis fourni à notre réseau générateur, qui clarifie notre image de chanson pour produire une nouvelle chanson !
[
The What’s AI Weekly par Louis-François Bouchard | Substack
Mais. Une chanson n’est pas comme une image. Elle n’occupe pas un espace fixe. Une chanson n’est pas un carré. Elle a une durée, et cette durée varie. Comment pouvons-nous gérer une longueur d’output variable et générer n’importe quelle chanson ? Nous donnons simplement plus d’information au modèle ! Pendant l’entraînement, nous avons accès à toutes les données. Nous pouvons donc lui donner le texte qui décrit la chanson à générer, évidemment, mais aussi davantage d’information puisque la chanson qu’il doit créer existe déjà. Les chercheurs ont choisi de lui fournir des sections de chansons avec leur temps de départ et leur durée totale. Ces données permettent au modèle de comprendre la durée que devrait avoir la chanson générée, de gérer plusieurs durées et de savoir quoi générer ensuite. Il peut distinguer s’il doit créer un beau riff, la fin d’une chanson, et ainsi de suite.
Et voilà ! Avec ce modèle appelé Stable Audio, fondé sur le modèle de génération texte-musique Moûsai, semblable à Stable Diffusion mais adapté au son et accompagné de l’encodeur CLAP pour notre texte, vous pouvez rapidement générer la chanson de votre choix à partir de votre description !
Au fait, si vous vous demandiez à quoi ressemblent les résultats, vous pouvez les écouter tout au long de ma vidéo ! Toute la musique de cette vidéo a été générée avec Stable Audio. Aucun humain n’est donc intervenu, l’IA a tout produit ! N’est-ce pas cool ?! Vous pouvez aussi essayer la plateforme ou simplement écouter les résultats présentés dans leur article de blogue. Tous les liens se trouvent dans la description ci-dessous !
Dites-moi ce que vous pensez de l’article et des résultats de Stable Audio. Je vous retrouve la prochaine fois avec d’autres nouvelles recherches passionnantes en IA ! Partagez aussi vos créations avec nous sur Discord !
Références
►Lire l’article complet : /fr/stableaudio/
►Stable Audio : https://stableaudio.com/
►Article du blogue de recherche : https://stability.ai/research/stable-audio-efficient-timing-latent-diffusion
►Twitter : https://twitter.com/Whats_AI
►Mon infolettre (une nouvelle application de l’IA expliquée chaque semaine dans vos emails !) : /fr/newsletter/
►Soutenez-moi sur Patreon : https://www.patreon.com/whatsai
►Rejoignez notre Discord sur l’IA : https://discord.gg/learnaitogether
FAQ
Que génère Stable Audio ?
Stable Audio crée un extrait musical ou sonore à partir d’une description écrite et d’une durée demandée.
Comment le modèle contrôle-t-il la durée de l’audio ?
Des données temporelles conditionnent la génération afin que la représentation audio latente couvre le nombre de secondes demandé.
Pourquoi utiliser une représentation audio latente ?
Les caractéristiques compressées réduisent les calculs tout en conservant l’information dont le décodeur a besoin pour reconstruire le son.
Peut-on utiliser Stable Audio sans savoir programmer ?
Oui. L’interface publique reçoit une description textuelle et retourne un extrait audio généré.
Que faut-il vérifier dans une musique générée ?
Vérifiez le respect du prompt, la structure, les artéfacts, les boucles répétitives, les droits d’utilisation et toute imitation involontaire d’artistes.