Avez-vous déjà regardé une vidéo ou une émission de télévision dont le son ressemblait à ceci…
Les acteurs sont complètement inaudibles. Ou peut-être que le son ressemble plutôt à ceci…
La musique est beaucoup trop forte. Eh bien, ce problème, aussi appelé le problème du cocktail party, pourrait ne plus jamais se produire. Mitsubishi et l’Université de l’Indiana viennent de publier un nouveau modèle et un nouveau jeu de données qui s’attaquent à cette tâche consistant à isoler la bonne piste sonore. Par exemple, si nous reprenons l’extrait audio que nous venons d’écouter, dont la musique était beaucoup trop forte, vous pouvez simplement augmenter ou réduire la piste de votre choix pour donner plus d’importance à la parole qu’à la musique.
Le problème consiste ici à isoler chaque source sonore indépendante d’une scène acoustique complexe, comme une scène de film ou une vidéo YouTube dans laquelle certains sons sont mal équilibrés. Il arrive que vous ne puissiez tout simplement pas entendre certains acteurs à cause de la musique, des explosions ou d’autres sons ambiants en arrière-plan. Eh bien, si vous arrivez à isoler les différentes catégories d’une piste sonore, vous pouvez aussi augmenter ou réduire seulement l’une d’entre elles. Vous pourriez, comme nous venons de le faire, baisser un peu la musique afin d’entendre correctement tous les acteurs. Comme l’anglais n’est pas ma langue maternelle, cette technologie me serait incroyablement utile lorsque j’écoute des vidéos avec une forte musique d’ambiance et des acteurs ou des présentateurs dont je ne connais pas bien l’accent.
Séparation d’une piste sonore en musique, parole et effets sonores. Image de Petermann, D. et coll. (2021).
Imaginez simplement ces trois curseurs dans une vidéo YouTube pour pouvoir les ajuster manuellement. Ce serait tellement pratique! Cette technologie pourrait aussi être extrêmement utile pour la traduction ou les applications de conversion parole-à-parole, où il suffirait d’isoler la personne qui parle pour améliorer les résultats.
Ici, les chercheurs se sont concentrés sur la séparation d’une piste sonore en trois catégories: la musique, la parole et les effets sonores. Ce sont trois catégories que l’on retrouve souvent dans les films et les émissions de télévision. Ils ont appelé cette tâche le problème de la fourchette à cocktail, et vous pouvez clairement voir d’où vient ce nom. Je vais déjà vous dévoiler les résultats: ils sont plutôt impressionnants, comme nous allons l’entendre dans quelques secondes. Mais regardons d’abord comment le système reçoit la piste sonore d’un film et la transforme en trois pistes indépendantes.
Vue d’ensemble du modèle. Image de Petermann, D. et coll. (2021).
Voici l’architecture du modèle. Vous pouvez voir le mélange d’entrée y, qui correspond à la piste sonore complète en haut, puis nos trois sources de sortie x, en bas. Je le répète, il s’agit de la parole, de la musique et des autres effets sonores, maintenant séparés.
La première étape consiste à encoder la piste sonore à l’aide d’une transformée de Fourier appliquée à différentes résolutions, appelée STFT, ou transformée de Fourier à court terme. Cela signifie que l’entrée, qui est une piste sonore contenant des fréquences dans le temps, est d’abord divisée en segments plus courts. Ici, par exemple, elle est divisée à l’aide de fenêtres de 32, 64 ou 256 millisecondes.
Nous calculons ensuite la transformée de Fourier sur chacun de ces segments plus courts, en envoyant huit millisecondes à la fois pour chaque fenêtre ou segment. Nous obtenons ainsi le spectre de Fourier de chaque segment, analysé avec plusieurs tailles de segments pour la même piste. Cela permet d’avoir de l’information à court et à plus long terme sur le son. Une fréquence précise de l’entrée initiale sera, par exemple, davantage mise en évidence si elle apparaît souvent dans un segment plus long. Cette information, d’abord représentée en temps et en fréquence, est maintenant remplacée par les composantes de phase et d’amplitude de Fourier, ou le spectre de Fourier, que nous pouvons afficher dans un spectrogramme semblable à celui-ci.
Transformée de Fourier à court terme. Source: Wikipédia
Cette représentation transformée, qui contient simplement plus d’information sur la piste sonore, est ensuite envoyée dans un bloc entièrement connecté pour que toutes les branches aient les mêmes dimensions. Cette transformation fait partie des éléments appris pendant l’entraînement de l’algorithme. Nous faisons ensuite la moyenne des résultats, puisqu’il a été démontré que cela améliore la capacité du modèle à considérer ces multiples sources comme un tout plutôt que séparément. Ici, les multiples sources sont les versions de la piste sonore transformées avec des fenêtres de différentes tailles.
N’abandonnez pas maintenant, il ne nous reste que quelques étapes avant d’entendre les résultats finaux!
Cette information moyenne est envoyée dans un réseau à mémoire longue et courte durée bidirectionnel. Il s’agit d’un type de réseau de neurones récurrent qui permet au modèle de comprendre les entrées dans le temps, de la même façon qu’un réseau de neurones convolutif comprend les images dans l’espace. Si vous ne connaissez pas bien les réseaux de neurones récurrents, je vous invite à regarder ma vidéo d’introduction à leur sujet. Il s’agit du deuxième module appris pendant l’entraînement.
Nous faisons de nouveau la moyenne des résultats, puis nous les envoyons finalement vers chacune de nos trois branches, qui extrairont les sons correspondant à leur catégorie. Comme vous pouvez le voir à droite, le décodeur est encore une fois simplement constitué de couches entièrement connectées. Elles se chargeront d’extraire uniquement l’information recherchée à partir de notre représentation encodée. Bien sûr, il s’agit du troisième et dernier module qui apprend pendant l’entraînement afin d’y arriver. Et ces trois modules sont entraînés simultanément!
Enfin, il suffit d’inverser la première étape pour reconvertir les données du spectre en composantes de temps et de fréquence. Et voilà, notre piste sonore finale est divisée en trois catégories!
Comme je l’ai expliqué plus haut, cette recherche vous permet d’augmenter ou de réduire indépendamment le volume de chaque catégorie. Mais un exemple vaut toujours mieux qu’un long discours, les résultats sont présentés dans les références sur deux extraits différents…
Comme si ce n’était pas déjà assez intéressant, cette séparation vous permet aussi de modifier individuellement des pistes sonores précises pour ajouter des filtres audio ou de la réverbération…
Les chercheurs ont aussi publié un jeu de données pour cette nouvelle tâche en fusionnant trois jeux de données distincts: un pour la parole, un pour la musique et un autre pour les effets sonores. Ils ont ainsi créé des pistes dont ils possédaient déjà les véritables canaux audio séparés et ont pu entraîner leur modèle à reproduire cette séparation idéale. Bien sûr, la fusion ou le mixage n’était pas aussi simple qu’il en a l’air. Ils devaient rendre la piste finale aussi difficile à séparer qu’une véritable scène de film. Ils ont donc dû transformer les pistes audio indépendantes pour créer un mélange réaliste et ainsi pouvoir entraîner un modèle sur ce jeu de données, puis l’utiliser dans le monde réel.
Je vous invite à lire leur article pour obtenir plus de détails techniques sur leur mise en œuvre et sur le nouveau jeu de données qu’ils ont présenté, surtout si vous souhaitez vous attaquer vous aussi à cette tâche. Si vous le faites, dites-le-moi et envoyez-moi vos progrès. J’aimerais beaucoup voir cela! Ou plutôt, l’entendre! Vous trouverez les deux liens dans les références ci-dessous.
Directement tiré de mon infolettre: Le point de vue de l’éthique de l’IA: le filtre antipourriel 2.0
D’un point de vue philosophique, je pense que l’élément pertinent ici n’est ni le bruit ni la qualité du signal, mais plutôt la nature sélective de l’attention.
Pensez à tous les signaux audio que nous percevons chaque jour. Lorsque nous nous concentrons sur quelque chose, notre cerveau filtre ce qu’il considère comme sans importance, répétitif ou ennuyant. La voix de mon professeur de géographie, par exemple, ou littéralement tout ce qui se trouvait en dehors de mes rêveries quand j’étais une adolescente amoureuse.J’ai commencé à penser que notre cerveau agit comme un filtre antipourriel biologique. Grâce à l’adaptation et à l’évolution, nous avons ajusté ce processus afin de maximiser nos chances de survie. Par exemple, nous pouvons facilement reconnaître certains ensembles de fréquences comme le rugissement d’un prédateur ou les pleurs d’un bébé, et passer presque instantanément à un état d’alerte lorsque nous entendons un son fort et aigu qui ressemble à un cri. Jusqu’à quel point contrôlons-nous ces mesures antipourriel? Sont-elles précises? Pourrions-nous déjouer le processus afin de le rendre plus efficace pour notre époque, nos objectifs et notre santé?
Et si nous pouvions automatiser intelligemment ce processus antipourriel grâce à une interface cerveau-machine capable de:
- filtrer ou supprimer les signaux audio indésirables juste avant que les neurotransmetteurs ne les traitent,
- amplifier les signaux qui seraient autrement inaudibles?L’attention volontaire est profondément liée à la conscience et à la liberté. Être conscients de ce qui se passe autour de nous et en nous est essentiel à notre autonomie. Toutefois, rester concentrés longtemps afin de maîtriser un domaine par la pratique implique de cultiver une liberté plus profonde. De plus, prêter attention à quelqu’un démontre notre intérêt, notre respect, notre affection et notre engagement.
Alors, si nous voulions déjouer l’attention, qui pourrait décider de ce qui mérite notre attention et, plus important encore, de ce qui ne la mérite pas? Et comment?
Les géants technologiques et les spécialistes du marketing connaissent la valeur de l’attention. Ils utilisent déjà l’IA pour attirer et retenir notre regard sur l’écran, et les sons jouent un rôle important. Pensez aux ritournelles publicitaires et aux techniques audio.Si cette hypothèse devenait réalisable, l’espèce humaine évoluerait probablement vers autre chose. Serait-ce un premier pas vers le transhumanisme? Ou vers une « société Wall-E » sans aucune surprise, où nos attentes sont toujours satisfaites?
- Martina
Merci beaucoup à ceux d’entre vous qui sont encore là, et un immense merci à Anthony Manello, le plus récent membre YouTube à soutenir les vidéos que je crée!
Si vous aimez mon travail et souhaitez rester à jour avec l’IA, vous devriez absolument me suivre sur mes autres réseaux sociaux (LinkedIn, Twitter) et vous abonner à mon infolettre hebdomadaire sur l’IA!
Pour me soutenir:
- La meilleure façon de me soutenir est de devenir membre de ce site Web ou de vous abonner à ma chaîne YouTube si vous aimez le format vidéo.
- Soutenez financièrement mon travail sur Patreon.
- Suivez-moi ici, sur mon blogue, ou sur Medium.
- Vous souhaitez vous lancer en IA ou améliorer vos compétences? Lisez ceci!
- Apprenons l’IA ensemble: rejoignez notre communauté Discord, partagez vos projets, vos articles scientifiques et vos meilleurs cours, trouvez des coéquipiers pour des compétitions Kaggle, et bien plus encore!
Références
- Petermann, D., Wichern, G., Wang, Z. et Roux, J.L. (2021). The Cocktail Fork Problem: Three-Stem Audio Separation for Real-World Soundtracks. https://arxiv.org/pdf/2110.09958.pdf
- Page du projet: https://cocktail-fork.github.io/
- Jeu de données DnR: https://github.com/darius522/dnr-utils#overview
FAQ
À quoi sert la séparation des sources audio?
Elle divise une piste sonore mixée en composantes contrôlables comme la parole, la musique et les effets sonores.
Peut-on ajuster chaque piste séparée de façon indépendante?
Oui. Vous pouvez augmenter les dialogues, réduire la musique ou modifier les effets sans retoucher l'ensemble du mixage.
Pourquoi est-il difficile de créer les données d'entraînement nécessaires?
Le modèle a besoin de sources audio isolées qui sont ensuite combinées dans des mixages réalistes reproduisant de véritables conditions d'enregistrement.
Quel problème cette technologie résout-elle pour le public?
Elle peut rendre les dialogues trop faibles plus faciles à entendre lorsque la musique ou les effets dominent le mixage d'origine.
Les pistes séparées sont-elles toujours parfaitement propres?
Non. Le chevauchement des fréquences et les estimations imparfaites des sources peuvent laisser des artefacts ou des sons provenant d'une autre catégorie.
Quelles sont les trois sources audio séparées par le système Cocktail Fork?
Il divise une piste sonore en parole, musique et effets sonores afin que chaque piste puisse être ajustée ou modifiée indépendamment.