À retenir
- Whisper a montré à quel point la reconnaissance vocale peut devenir performante lorsqu’elle est entraînée sur des données audio variées, imparfaites et multilingues.
- La qualité d’une transcription dépend des accents, du bruit, des microphones, des langues, des termes propres au domaine et de l’importance des horodatages.
- La bonne approche consiste à traiter la conversion de la parole en texte comme un point de départ, puis à vérifier les noms, les chiffres, les citations et les détails sensibles.
Avez-vous déjà rêvé d’un bon outil de transcription qui comprendrait avec précision ce que vous dites et le mettrait par écrit? Pas comme les outils de traduction automatique de YouTube… Je veux dire, ils sont bons, mais loin d’être parfaits. Eh bien, OpenAI vient tout juste de publier en code source libre un modèle d’IA assez puissant conçu exactement pour ça : Whisper. Il comprend même des choses que je n’arrive pas moi-même à saisir puisque l’anglais n’est pas ma langue maternelle! Et il fonctionne aussi pour traduire d’une langue à l’autre!
Les résultats et la précision sont incroyables, mais ce qui est encore plus cool, c’est la façon dont il fonctionne. Voyons ça ensemble.
Vue d’ensemble de l’architecture encodeur-décodeur de Whisper. Image tirée de l’article scientifique.
Pour ce qui est du modèle lui-même, Whisper est plutôt classique. Il repose sur l’architecture Transformer, qui empile des blocs d’encodeur et de décodeur tandis que le mécanisme d’attention transmet l’information entre les deux.
Il prend l’enregistrement audio, le divise en segments de 30 secondes et les traite un à un. Pour chaque segment de 30 secondes, il encode l’audio à l’aide de l’encodeur, enregistre la position de chaque mot prononcé et exploite cette information encodée pour trouver ce qui a été dit à l’aide du décodeur.
Le décodeur prédit ensuite ce que nous appelons des tokens à partir de toute cette information. Il s’agit essentiellement de chacun des mots prononcés. Puis, il répète ce processus pour le mot suivant en utilisant la même information ainsi que le mot précédemment prédit, ce qui l’aide à deviner le prochain mot qui aurait le plus de sens.
L’architecture complète est un encodeur-décodeur classique que j’ai présenté dans plusieurs articles, semblable à GPT-3 et à d’autres modèles de langage. Je vous invite à les consulter pour obtenir plus de détails sur l’architecture.
Tout cela fonctionne parce que le modèle a été entraîné sur plus de 600 000 heures de données supervisées, multilingues et multitâches recueillies sur le Web. Autrement dit, ils ont entraîné leur modèle audio de façon semblable à GPT-3 avec des données accessibles sur Internet, pour en faire un grand modèle audio généraliste. Cela le rend aussi beaucoup plus robuste que les autres. Ils mentionnent d’ailleurs que Whisper se rapproche de la robustesse humaine parce qu’il a été entraîné sur un ensemble de données très diversifié comprenant des extraits, des conférences TED, des balados, des entrevues et plus encore. Toutes ces données ressemblent à de véritables situations du quotidien, et certaines ont même été transcrites par des modèles d’apprentissage automatique plutôt que par des humains.
Utiliser des données aussi imparfaites réduit certainement la précision possible, mais je dirais que cela améliore la robustesse lorsqu’elles sont utilisées avec parcimonie, comparativement à des jeux de données audio entièrement sélectionnés par des humains et accompagnés de transcriptions parfaites.
Un modèle aussi général n’est pas très puissant en soi, puisqu’il se fera battre dans la plupart des tâches par des modèles plus petits et plus spécialisés, adaptés à la tâche en question. Il offre toutefois d’autres avantages. Vous pouvez utiliser ce genre de modèles préentraînés et faire leur fine-tuning pour votre propre tâche. Autrement dit, vous prenez ce puissant modèle et vous en réentraînez une partie, ou la totalité, avec vos propres données. Cette technique produit généralement de bien meilleurs modèles que de commencer l’entraînement à partir de zéro avec vos données.
Ce qui est encore plus cool, c’est qu’OpenAI a publié son code et tout le reste en code source libre plutôt que de simplement offrir une API. Vous pouvez donc utiliser Whisper comme architecture fondamentale préentraînée sur laquelle bâtir afin de créer vous-même des modèles plus puissants.
Certaines personnes ont déjà publié des outils comme YouTube Whisperer, créé par jeffistyping sur Hugging Face, qui prend un lien YouTube et génère des transcriptions.
Ils ont aussi publié un bloc-notes Google Colab pour pouvoir l’essayer immédiatement.
Même si certaines personnes pensent que la concurrence est essentielle, je suis heureux qu’OpenAI rende une partie de son travail accessible au public, car je suis convaincu que ce type de collaboration représente la meilleure façon de faire avancer notre domaine. Dites-moi ce que vous en pensez : aimeriez-vous voir davantage de publications ouvertes d’OpenAI, ou préférez-vous les produits finaux qu’ils créent, comme DALLE ?
Comme toujours, vous trouverez plus d’information sur Whisper dans l’article scientifique et le code ci-dessous.
J’espère que vous avez aimé cet article, et on se revoit la semaine prochaine avec un autre article scientifique incroyable!
Références
► Radford, A., Kim, J.W., Xu, T., Brockman, G., McLeavey, C. and Sutskever, I., Robust Speech Recognition via Large-Scale Weak Supervision.
►Lien du projet : https://openai.com/blog/whisper/
►Code : https://github.com/openai/whisper
►Bloc-notes Google Colab : https://colab.research.google.com/github/openai/whisper/blob/master/notebooks/LibriSpeech.ipynb
►Application YouTube Whisperer : https://huggingface.co/spaces/jeffistyping/Youtube-Whisperer
►Mon infolettre (une nouvelle application de l’IA expliquée chaque semaine dans vos emails !) : /fr/newsletter/
FAQ
Qu’est-ce que Whisper?
Whisper est le modèle de reconnaissance vocale d’OpenAI conçu pour transcrire et traduire des données audio dans de nombreuses langues et conditions d’enregistrement.
Pourquoi Whisper était-il important?
Il a rendu une puissante technologie de conversion de la parole en texte plus accessible et montré la valeur d’un entraînement sur des données audio variées plutôt que sur de simples exemples propres enregistrés en studio.
À quoi peut servir Whisper?
Il peut servir à créer des sous-titres, des comptes rendus de réunions, des transcriptions de balados et de vidéos, des systèmes de recherche audio ainsi que des outils d’accessibilité et de transcription multilingue.
Que faut-il vérifier dans une transcription audio?
Vérifiez les noms, les chiffres, les termes techniques, les horodatages, les changements de locuteur, les accents, le bruit de fond et toute citation destinée à être publiée ou utilisée pour prendre une décision.
Quels enjeux de confidentialité faut-il considérer avec la reconnaissance vocale?
Les enregistrements audio contiennent souvent des renseignements personnels. Les équipes ont donc besoin d’un consentement clair, de règles de conservation, de contrôles d’accès et d’une configuration de modèle adaptée aux données.