Recevez mes articles et bien plus encore dans mon infolettre sur l’IA ainsi que des cadeaux gratuits, comme mes secrets de réussite sur YouTube !
Regardez la vidéo :
Comme vous le savez, nous pouvons déjà échanger très efficacement avec des IA par écrit, principalement grâce à ChatGPT, mais aussi à des solutions dont le code source est ouvert. L’étape suivante consiste à leur parler couramment avec notre voix. Si vous ne l’avez pas encore essayé, OpenAI possède une très bonne IA appelée Whisper, que n’importe qui peut payer pour utiliser et transcrire de la voix ou de l’audio en texte. Ce texte peut ensuite servir à n’importe quel modèle ou tâche en aval. Whisper est extrêmement puissant, mais sa complexité de calcul et le temps nécessaire pour traiter l’audio rendent son intégration difficile dans une application en temps réel.
Vous savez à quel point il est agaçant d’attendre un peu avant que votre message soit compris, par exemple avec des assistants comme Siri ou Google Assistant. Les transcripteurs d’IA devront devenir beaucoup plus efficaces avant que la voix dans une application basée sur l’IA soit un ajout fluide et utile plutôt qu’une fonction amusante qu’on essaie sans l’utiliser au quotidien. Heureusement, d’excellents chercheurs travaillent sur ce problème de transcription audio et ont récemment présenté Distil-Whisper. Ce modèle est 6 fois plus rapide que Whisper, 49% plus petit et conserve 99% de sa précision. Et la meilleure partie, c’est que son code source est entièrement ouvert et que vous pouvez l’utiliser dès maintenant.
Regardez la vidéo pour voir des exemples de résultats en direct !
Distil-Whisper améliore Whisper sur les plans de la taille et de la rapidité. Il n’obtient pas de meilleurs résultats, mais les égale, ce qui est déjà excellent si vous connaissez Whisper. Le modèle est plutôt impressionnant et comprend mieux que moi la parole humaine pour la plupart des accents.
Et oui, vous avez bien entendu. Ils l’ont rendu presque six fois plus rapide, 5.8 fois pour être exact. Ils rapportent également que le nouveau modèle produit moins d’erreurs d’hallucination sur les longs enregistrements ! Pour être clair, une hallucination est ici une transcription qui ne correspond pas à la piste audio enregistrée, comme nous le voyons souvent avec les sous-titres automatiques à la télévision. Comment y sont-ils arrivés ? Grâce à la distillation et au pseudo-étiquetage avec le modèle Whisper original.
Parcourons l’approche étape par étape.
Premièrement, la distillation, ou plus précisément la distillation de connaissances. Il s’agit d’une façon de comprimer un grand modèle dans un modèle plus petit. C’est essentiellement comme un enseignant avec un étudiant : vous partagez vos connaissances avec l’étudiant. Si vous avez fait du bon travail, celui-ci devrait avoir absorbé l’information la plus pertinente que vous possédez sur le sujet. Nous avons donc deux modèles : un étudiant, le nouveau Distil-Whisper, et un enseignant, le modèle Whisper original.
Figure 1 : architecture du modèle Distil-Whisper. L’encodeur (en vert) est entièrement copié de l’enseignant vers l’étudiant et gelé pendant l’entraînement. Le décodeur de l’étudiant ne contient que deux couches, initialisées à partir de la première et de la dernière couche du décodeur de l’enseignant (en rouge). Toutes les autres couches de décodeur de l’enseignant sont supprimées. Image et légende tirées de l’article de recherche.
Whisper est l’un des modèles les plus puissants pour la transcription audio. C’est un transformeur séquence à séquence préentraîné sur un immense jeu de données composé de 680,000 heures de parole bruitée recueillies sur Internet pour la reconnaissance vocale. C’est pratiquement le GPT-4 de l’audio. Il possède des blocs d’encodeur et de décodeur basés sur les transformeurs, très semblables à ceux des modèles GPT. Même si GPT et Whisper utilisent tous deux l’architecture Transformer, leur principale différence réside dans leur application et dans la façon dont ils traitent l’entrée. En gros, le son par rapport au texte. GPT est conçu pour comprendre et générer du texte, alors il travaille directement avec des mots écrits ou des caractères. Whisper doit d’abord interpréter des signaux audio. Il traite les ondes sonores de la parole et les décompose en caractéristiques que son encodeur peut comprendre avant de les convertir en texte. C’est un problème beaucoup plus complexe que le traitement du texte, puisqu’il faut aussi gérer les bruits de fond, les différents tons ou hauteurs et, évidemment, reconnaître les différents locuteurs. Cette étape supplémentaire d’interprétation de motifs audio complexes distingue Whisper et lui permet de gérer efficacement les tâches de reconnaissance vocale. Tout comme suivre ce blogue vous distingue dans le domaine de l’IA en vous aidant à comprendre rapidement les nouvelles approches et à rester au courant !
Au lieu d’entraîner un modèle comme d’habitude avec des données étiquetées, vous prenez d’abord les parties les plus importantes du modèle, que nous appelons ses poids, et les placez dans le modèle étudiant. C’est aussi ce qu’on appelle la phase de réduction. Vous donnez essentiellement une longueur d’avance à l’étudiant, comme lorsque vous apprenez un nouveau sujet avec un enseignant plutôt que de commencer vos recherches seul.
Vous utilisez ensuite l’enseignant une autre fois. Ici, nous pouvons employer ce que le modèle enseignant, Whisper, génère à partir de l’audio d’entrée. C’est la partie du pseudo-étiquetage. Au lieu d’étiquettes, nous utilisons la réponse générée par Whisper comme étiquette. Notre étudiant n’apprend pas seulement à reproduire les bonnes réponses, mais aussi le raisonnement qui les sous-tend chez l’enseignant. Autrement dit, l’étudiant tente de reproduire la compréhension de l’enseignant au lieu de simplement prédire le prochain mot correct à partir de l’audio, comme dans un entraînement ordinaire. En termes plus scientifiques, le modèle étudiant apprend à partir de la distribution prédite par l’enseignant, et non seulement de sa sortie finale. Cette distribution couvre tout l’espace des possibilités pour l’entrée, dans lequel nous choisissons ensuite le prochain mot. C’est pourquoi le plus petit modèle étudiant obtient d’aussi bons résultats comparativement à un petit modèle entraîné à partir de zéro pour deviner les prochains mots dans un schéma d’entraînement plus traditionnel.
Cette méthode évite aussi d’exiger des données annotées, puisque le modèle Whisper original les fournit à l’étudiant. Vous avez donc seulement besoin d’exemples audio pour entraîner ce nouveau modèle distillé. C’est parfait lorsque l’étiquetage des données de votre tâche est coûteux ou difficile !
Grâce à ce schéma d’entraînement par distillation de connaissances et pseudo-étiquetage, Distil-Whisper s’entraîne aussi beaucoup plus efficacement. Il a besoin d’environ 14 mille heures d’exemples de parole, comparativement à 680,000 heures pour le modèle Whisper original. Oui, l’étudiant utilise seulement 2% des données d’entraînement pour égaler les résultats !
Et voilà ! C’est pourquoi Distil-Whisper fonctionne bien avec les données hors distribution, c’est-à-dire celles qui se trouvent à l’extérieur de ses données d’entraînement (1% de différence). Il ne surpasse pas Whisper en précision, mais égale sa performance avec une taille considérablement réduite et une vitesse accrue. Pour moi, c’est beaucoup plus génial qu’une petite amélioration de la précision !
Bien sûr, j’ai omis certains détails techniques du schéma d’entraînement et du modèle pour simplifier ce survol. Je vous invite à lire l’article de recherche complet pour comprendre ce nouveau modèle en profondeur. Je vous recommande également fortement de l’essayer vous-même, surtout si vous utilisez déjà Whisper dans vos applications ou votre travail. Tous les liens se trouvent dans la description ci-dessous. De mon côté, j’ai vraiment hâte de voir les modèles audio devenir plus efficaces et de pouvoir bientôt les intégrer de façon fluide à n’importe quelle application. Ce sera vraiment génial.
Merci d’avoir lu l’article au complet. Si c’est le cas, n’oubliez pas de laisser un « J’aime », puisque cela aide énormément la chaîne !
Je vous retrouve dans le prochain article avec d’autres nouvelles sur l’IA expliquées ! Si vous ne voulez pas le manquer, abonnez-vous à mon infolettre, où je partage tous mes projets !
Louis-François Bouchard
Références
- Gandhi et al., HuggingFace, 2023: Distil-Whisper. https://arxiv.org/pdf/2311.00430.pdf
- Démo : https://huggingface.co/spaces/Xenova/distil-whisper-web
- Modèle : https://huggingface.co/distil-whisper/distil-large-v2
FAQ
Qu’est-ce que Distil-Whisper ?
Distil-Whisper est un plus petit modèle de reconnaissance vocale entraîné à préserver une grande partie des capacités de transcription de Whisper.
Pourquoi la transcription audio est-elle plus difficile que le traitement du texte ?
La parole comprend du bruit, des accents, différentes hauteurs, le rythme et des locuteurs qui se chevauchent, des éléments absents d’un texte propre.
Comment le modèle distillé est-il entraîné ?
Il apprend à partir d’exemples audio et de cibles produites ou sélectionnées par le plus grand modèle enseignant.
La distillation améliore-t-elle l’efficacité de l’inférence ?
Oui. Un plus petit modèle peut transcrire plus rapidement avec moins de ressources en échange d’un compromis limité sur la précision.
Comment gère-t-il les données hors de sa distribution d’entraînement ?
Les résultats publiés montrent seulement environ un pour cent de différence sur les données hors distribution, ce qui indique une robustesse utile.