Cette année, j’ai eu la chance d’assister en personne à la CVPR et à l’incroyable remise du prix du meilleur article. Je devais absolument présenter sur ma chaîne cet article fantastique intitulé « Dual-Shutter Optical Vibration Sensing », de Mark Sheinin, Dorian Chan, Matthew O’Toole et Srinivasa Narasimhan.
En une phrase : les chercheurs reconstruisent le son avec des caméras et un faisceau laser dirigé sur n’importe quelle surface vibrante, ce qui leur permet d’isoler des instruments de musique, de se concentrer sur une personne précise, d’éliminer les bruits ambiants et de réaliser de nombreuses autres applications incroyables.
Voyons comment ils y arrivent et écoutons quelques résultats complètement fous.
Vous devriez regarder la vidéo pour entendre les résultats, ou visiter leur site Web et écouter les exemples…
Dans le premier exemple présenté dans la vidéo, vous pouviez clairement entendre chacune des deux guitares sur sa propre piste audio.
Ce résultat n’a pas été créé à partir du son enregistré, mais grâce à un laser et à deux caméras munies respectivement d’un capteur à obturateur déroulant et d’un capteur à obturateur global. Il semble qu’aborder cette tâche par la vision la rende beaucoup plus facile que de tenter de séparer les pistes audio après l’enregistrement. Encore mieux, nous pouvons enregistrer à travers une vitre et à partir de n’importe quel objet qui vibre. Ici, comme vous pouvez le voir dans la vidéo, les chercheurs ont appliqué leur méthode directement aux haut-parleurs pour isoler ceux de gauche et de droite. Un microphone, lui, enregistrerait automatiquement les deux et mélangerait les pistes audio.
Habituellement, ce genre de technologie d’espionnage, appelée vibrométrie visuelle, exige des conditions d’éclairage parfaites et des caméras à haute vitesse qui ressemblent à un tireur d’élite camouflé pour capter des vibrations rapides allant jusqu’à 63 kHz. Ici, les chercheurs obtiennent des résultats semblables avec des capteurs conçus pour seulement 60 et 130 Hz ! Et encore mieux : ils peuvent traiter plusieurs objets à la fois !
Il s’agit malgré tout d’une tâche très difficile qui exige énormément d’ingénierie et d’excellentes idées pour devenir possible. Ils ne se contentent pas d’enregistrer les instruments et d’envoyer la vidéo à un modèle qui crée et sépare automatiquement le son. Ils doivent d’abord comprendre le signal laser qu’ils reçoivent et le traiter correctement.
Ils dirigent un laser sur la surface qu’ils veulent écouter. Ce laser rebondit ensuite de la surface vers un plan focal. C’est dans ce plan focal que nous recueillons notre information, et non directement sur les instruments ou les objets. Nous analysons donc uniquement les minuscules vibrations des objets qui nous intéressent grâce à la réponse du laser, qui crée une représentation comme celle-ci :
« Schéma de notre système à double obturateur. Nous ajoutons une lentille cylindrique pour étaler le speckle en une colonne dans le plan image, qui est ensuite transmise à deux caméras munies d’obturateurs déroulant et global. » Image tirée de l’article scientifique.
Ce motif de réponse laser 2D capté par nos caméras, appelé speckle, est ensuite traité à la fois globalement et localement à l’aide de nos deux caméras. Notre caméra locale, ou caméra à obturateur déroulant, capte les trames à seulement 60 images par seconde. Elle prend donc plusieurs images et les déroule sur l’axe y pour obtenir une représentation à 63 kHz très bruitée et imprécise.
En rouge, le signal de la caméra à obturateur déroulant et, en bleu, les trames de référence de la caméra à obturateur global. Image tirée de l’article scientifique.
C’est ici que la caméra à obturateur global devient nécessaire, en raison du caractère aléatoire de l’image de speckle causé par la rugosité et les mouvements de la surface de l’objet. En gros, elle prend un instantané global de la même image de speckle utilisée avec notre première caméra, puis emploie cette nouvelle image comme trame de référence pour isoler uniquement les vibrations pertinentes des captures à obturateur déroulant. La caméra à obturateur déroulant échantillonne la scène ligne par ligne à haute fréquence, tandis que la caméra à obturateur global saisit toute la scène en même temps pour servir de référence. Nous répétons ensuite ce processus pendant toute la vidéo.
Et voilà !
Voici comment ils arrivent à séparer le son d’un enregistrement, à extraire un seul instrument, à éliminer le bruit ambiant et même à reconstruire la parole à partir des vibrations d’un sac de croustilles, comme dans la vidéo.
Bien sûr, il ne s’agit que d’un simple survol de cet excellent article scientifique, que je vous recommande fortement de lire pour obtenir plus d’information. Le lien se trouve ci-dessous. Félicitations aux auteurs pour la mention honorable. J’étais heureux d’assister à l’événement et de voir la présentation en direct. J’ai vraiment hâte de découvrir les futures publications que cet article inspirera.
Je vous invite aussi à revérifier tous les sacs de croustilles que vous laissez près d’une fenêtre. Sinon, quelqu’un pourrait écouter ce que vous dites !
Merci d’avoir lu l’article en entier. Dites-moi comment vous appliqueriez cette technologie et si vous voyez des risques potentiels ou des cas d’utilisation intéressants. J’aimerais beaucoup en discuter avec vous.
Et un merci tout spécial à la CVPR de m’avoir invité à l’événement. C’était vraiment génial d’être à La Nouvelle-Orléans avec tous les chercheurs et toutes les entreprises.
On se revoit la semaine prochaine avec un autre article scientifique incroyable !
Références
►Sheinin, Mark et Chan, Dorian et O’Toole, Matthew et Narasimhan, Srinivasa G., 2022, Dual-Shutter Optical Vibration Sensing, actes de la conférence IEEE CVPR.
►Page du projet : https://imaging.cs.cmu.edu/vibration/
►Mon infolettre (une nouvelle application de l’IA expliquée chaque semaine dans vos emails !) : /fr/newsletter/
FAQ
Comment une caméra peut-elle reconstruire un son ?
Elle mesure les minuscules vibrations d’une surface causées par le son, puis reconvertit ces changements visuels en signal audio.
Pourquoi utiliser à la fois une caméra à obturateur déroulant et une caméra à obturateur global ?
Leurs différentes mesures temporelles captent des renseignements complémentaires sur les vibrations rapides qu’une seule caméra manquerait.
Qu’apporte le laser ?
Le laser crée un motif de speckle dont le mouvement révèle de très petites vibrations sur la surface observée.
La méthode peut-elle isoler les différentes sources sonores ?
Oui. En dirigeant la mesure vers différents objets vibrants, elle peut récupérer chacun séparément plutôt que de mélanger toutes les sources comme le ferait un microphone.
Le système génère-t-il du son à partir du sens des images ?
Non. Il reconstruit des signaux physiques de vibration plutôt que de deviner le son à partir des objets visibles dans une vidéo ordinaire.