Évaluations des LLMs

À retenir

Nous vérifions ensuite l’exactitude réelle de chaque groupe : pour les prédictions auxquelles le modèle attribue un niveau de confiance de 70 %, nous devons confirmer qu’environ 70 % d’entre elles sont réellement exactes.
Cela signifie qu’il nous faut un dataset contenant des questions et une façon de comparer les réponses (nos métriques).
Plus l’erreur de calibration attendue est faible, plus la confiance du modèle correspond à sa performance.

Regardez la vidéo !

On voit toujours des LLMs surpasser tous les benchmarks, comme le récent et mystérieux chatbot GPT-2, qui battait tous les modèles et qui était en fait GPT-4o. Vous avez peut-être entendu des affirmations similaires sur certains modèles qui en surpassent d’autres dans des benchmarks populaires, comme ceux du classement HuggingFace, où les modèles sont évalués sur différentes tâches. Mais comment déterminer précisément quel LLM est supérieur ? Est-ce qu’il ne fait pas que générer des mots et des idées ? Comment peut-on savoir qu’un modèle est meilleur qu’un autre ?

Répondons à ces questions. Je suis Louis-François, cofondateur de Towards AI, et aujourd’hui, nous plongeons dans la façon de quantifier et d’évaluer avec précision la performance de ces modèles, de comprendre les méthodologies actuellement utilisées et de voir pourquoi ce processus est essentiel.

C’est parti.

Pourquoi évaluer les LLMs ?

Évaluer les LLMs est crucial pour cerner les risques potentiels, analyser la façon dont ces modèles interagissent avec les humains, déterminer leurs capacités et leurs limites pour des tâches précises, puis s’assurer que leur entraînement progresse efficacement. Et surtout, c’est essentiel si vous voulez savoir si vous êtes le meilleur !

Très bien, l’évaluation est utile. Mais qu’évalue-t-on exactement dans un LLM ?

Lorsque nous utilisons un LLM, nous attendons deux choses du modèle :

Premièrement, il accomplit la tâche qui lui est confiée, qu’il s’agisse de résumé, d’analyse des sentiments, de réponse aux questions ou de toute autre chose que les LLMs peuvent faire.
Deuxièmement, le modèle doit être robuste et équitable. Cela comprend sa performance sur des inputs inattendus ou jamais vus, particulièrement ceux qui diffèrent beaucoup de ses données d’entraînement, ainsi que sur des inputs adversariaux conçus pour le tromper, comme l’injection de prompt, dont nous avons parlé dans un article précédent. Il est également essentiel de vérifier si ces LLMs entraînés de façon intensive comportent des biais inhérents, puis de confirmer leur fiabilité et leur équité.

Maintenant que nous comprenons ce que nous évaluons, voyons comment nous le faisons.

Comment évaluer les LLMs ?

Chaque tâche évaluée exige un benchmark adapté à cette tâche précise. Cela signifie qu’il nous faut un dataset contenant des questions et une façon de comparer les réponses (nos métriques), que nous calculons automatiquement, avec un autre modèle plus performant comme GPT-4 ou encore en payant des humains pour le faire.

Commençons par la méthode la plus utilisée et la plus abordable pour les benchmarks : les métriques et outils automatisés sans intervention humaine. Cette méthode s’appuie sur des métriques clés comme l’exactitude et la calibration.

L’exactitude mesure quelle proportion de la réponse est exacte. Au-delà de la simple exactitude, il existe des métriques traditionnelles comme les scores F1, qui équilibrent la précision (combien d’éléments sélectionnés sont pertinents) et le rappel (combien d’éléments pertinents ont été sélectionnés), utilisées dans des benchmarks comme SQuAD, HellaSwag et TruthfulQA. Par exemple, pour les tâches propres aux LLMs, nous utilisons :
ROUGE, ou Recall-Oriented Understudy for Gisting Evaluation : cette métrique sert aux tâches de résumé. Elle compare le nombre de mots ou de courtes phrases du résumé généré qui apparaissent dans les résumés de référence. Plus le chevauchement est grand, meilleur est le résumé.
Le ratio de similarité de Levenshtein : il mesure la similarité entre deux textes en calculant le nombre minimal de modifications d’un seul caractère (comme des insertions, des suppressions ou des substitutions) nécessaires pour transformer un mot en un autre.
Le score BLEU (Bilingual Evaluation Understudy) : couramment utilisé pour évaluer la traduction automatique, il calcule combien de mots ou de phrases dans le texte généré par la machine correspondent à ceux d’une traduction de référence.

Ensuite, nous avons la calibration.

La calibration évalue le niveau de confiance des outputs du modèle. Par exemple, l’erreur de calibration attendue classe les prédictions selon leur niveau de confiance. Voici comment :

Regrouper les prédictions par niveau de confiance : imaginez que le modèle effectue plusieurs prédictions et indique son niveau de confiance pour chacune d’elles (par exemple, 70 %, 80 %).
Nous vérifions ensuite l’exactitude réelle de chaque groupe : pour les prédictions auxquelles le modèle attribue un niveau de confiance de 70 %, nous devons confirmer qu’environ 70 % d’entre elles sont réellement exactes. Nous faisons de même pour les autres niveaux de confiance.
Enfin, nous comparons la confiance à l’exactitude réelle : si le modèle indique un niveau de confiance de 70 % et que 70 % de ses prédictions sont exactes, il est bien calibré. L’erreur de calibration attendue mesure à quel point la confiance du modèle se rapproche de l’exactitude réelle dans tous ces groupes. Plus l’erreur de calibration attendue est faible, plus la confiance du modèle correspond à sa performance.

Les benchmarks comme ceux utilisés dans les évaluations de HuggingFace comprennent souvent des métriques de calibration pour évaluer la performance des modèles, afin de s’assurer que ceux évalués sur le benchmark MMLU, par exemple, sont correctement calibrés. Le MMLU, qui est probablement le benchmark le plus populaire, évalue les modèles sur un ensemble diversifié de 57 matières, dont les mathématiques élémentaires, l’histoire des États-Unis, l’informatique et le droit. Il utilise des questions à choix multiples pour évaluer la capacité d’un modèle à comprendre et à raisonner dans ces différents domaines, puis calcule automatiquement les scores à partir des réponses enregistrées.

Même si les benchmarks automatisés offrent une approche de test efficace, directe et standardisée, ils peuvent négliger les nuances et les aspects qualitatifs des outputs que les évaluateurs humains remarqueraient. Idéalement, nous voulons aussi garder des humains dans la boucle. Mais comme le recours aux humains coûte assez cher, une autre option consiste à utiliser des modèles comme juges.

Il existe deux grandes approches pour noter : utiliser un modèle général très puissant comme GPT-4 ou de petits modèles spécialisés entraînés sur des données de préférence.

Les modèles comme GPT-4 produisent des résultats qui correspondent bien aux préférences humaines, mais ils sont souvent propriétaires, sujets aux changements d’API et peu interprétables, ce qui n’est pas idéal pour des évaluations cohérentes dans un benchmark.

De plus petits modèles spécialisés utilisés comme juges (comme les classificateurs de sentiments) peuvent réduire ce risque grâce à leur entraînement ciblé, qui peut rendre leurs évaluations plus cohérentes et interprétables, surtout parce que vous les possédez. Mais ils doivent eux-mêmes être testés de manière rigoureuse, puisqu’ils seront moins polyvalents et moins puissants qu’un grand modèle comme GPT-4.

Peu importe l’approche choisie ici, l’utilisation de modèles comme évaluateurs comporte des limites, notamment des notes incohérentes et une tendance des modèles à se favoriser eux-mêmes. Une nouvelle méthode appelée G-eval a récemment été présentée. Elle utilise les LLMs d’une façon particulière, en combinant le prompting par « chaîne de pensée » avec une technique de remplissage de formulaire.

Par exemple, supposons que nous voulions évaluer à quel point un modèle résume bien un texte. Au lieu de simplement comparer le résumé généré à un résumé de référence avec la métrique ROUGE, G-eval demanderait au modèle d’expliquer son raisonnement pour chaque partie du résumé qu’il a généré. Il pourrait par exemple lui demander : « Pourquoi avez-vous inclus ce détail précis ? » Le modèle fournirait alors son raisonnement. Ensuite, il remplirait un formulaire pour évaluer le résumé selon des critères prédéfinis. Cette double approche permet une évaluation plus nuancée et plus humaine.

Cette méthode gagne en popularité parce qu’elle se rapproche davantage du raisonnement humain. Elle offre une vue équilibrée qui combine l’exactitude mécanique des métriques automatisées et les insights qualitatifs des évaluations humaines. Et en parlant d’humains, il n’y a pratiquement rien de mieux.

Dans la dernière approche, où des humains jugent les LLMs, l’évaluation cherche à savoir comment les gens perçoivent la qualité et l’exactitude des résultats du modèle. Les évaluateurs examinent les outputs, puis évaluent leur clarté, leur pertinence et leur fluidité.

Cela peut fonctionner de différentes façons…

L’une d’elles est le Vibes-Check, où les membres de la communauté testent différents modèles en leur donnant des prompts précis pour voir comment ils répondent. Ils peuvent partager leurs impressions générales, réaliser une analyse plus poussée et détaillée, ou même publier leurs conclusions. Cependant, comme Clémentine Fourrier l’explique dans un excellent billet de blogue sur HuggingFace, cette approche est très vulnérable au biais de confirmation, où les évaluateurs ont tendance à trouver ce qu’ils cherchent.
Une autre méthode est celle des arènes communautaires, qui permettent aux gens de voter et de commenter différents modèles, offrant ainsi un large éventail d’opinions et d’insights. Les membres de la communauté discutent simplement avec les modèles jusqu’à ce qu’ils trouvent que l’un est meilleur que les autres. C’est très subjectif. Les votes sont ensuite compilés dynamiquement pour créer le classement et un système de classement Elo. C’est là que le récent GPT-4o, sous le nom secret GPT-2 Chatbot, a fait beaucoup de bruit dans l’arène de chatbots LMSYS.
Enfin, nous avons la méthode la plus évidente, appelée annotations systématiques. Elle fait appel à des réviseurs, habituellement payés, qui suivent des règles strictes afin d’éviter les biais et de garder leurs évaluations cohérentes. Cette approche peut être très rigoureuse, mais aussi assez coûteuse. De grandes entreprises comme ScaleAI le font, par exemple.

Mais mieux encore, vous pouvez combiner les deux approches. Des outils comme Dynabench utilisent des réviseurs humains et des modèles d’IA. Ils améliorent continuellement les données utilisées pour tester les modèles afin qu’elles restent pertinentes et difficiles, et produisent habituellement des benchmarks de très haute qualité.

Les évaluateurs humains sont essentiels parce qu’ils offrent une perspective unique que les vérifications automatiques ne peuvent pas reproduire. Ils ne regardent pas seulement si la réponse est exacte : ils vérifient aussi si elle a du sens dans son contexte, si elle se lit bien, si elle est claire et sécuritaire, et si elle semble correspondre à ce que les humains accepteraient ou valoriseraient généralement.

Le succès de ces évaluations humaines peut dépendre de plusieurs facteurs, comme le nombre de personnes qui évaluent, leur expertise dans le domaine, leur connaissance de la tâche et d’autres détails. Elles demeurent quand même vulnérables aux biais. Mais les modèles le sont aussi. Nous ne pouvons tout simplement pas les éviter, mais nous pouvons les atténuer avec des instructions claires et du volume.

Ces méthodes d’évaluation combinent des approches en ligne et hors ligne. Les évaluations en ligne interagissent avec des données en direct et recueillent les commentaires des utilisateurs en temps réel, tandis que les évaluations hors ligne testent les LLMs sur des datasets précis. Les deux sont essentielles pour bien comprendre les capacités des LLMs au fil du temps, avec des baselines solides et d’autres plus flexibles qui évoluent.

Au bout du compte, chaque style a ses limites. Les évaluations qui reposent sur des prompts peuvent être imprévisibles, puisque les LLMs réagissent différemment à différents prompts. De leur côté, les évaluateurs, qu’ils soient humains ou IA, ont des biais personnels et différentes façons d’interpréter le ton, ce qui peut rendre les résultats incohérents.

Même si les systèmes d’évaluation actuels sont détaillés, ils ne saisissent peut-être pas entièrement les véritables capacités et les risques des LLMs dans ce domaine qui évolue si rapidement. Alors que nous continuons d’explorer et d’élargir les possibilités des LLMs, il est essentiel de continuer à améliorer notre façon de les évaluer. J’ai bien hâte de voir jusqu’où tout cela peut aller. Ce que nous pouvons déjà faire presque automatiquement, à très peu de frais, est assez incroyable.

Si vous souhaitez en apprendre davantage sur la façon dont les LLMs sont utilisés dans des applications concrètes et sur leur impact plus large, assurez-vous de consulter notre nouveau livre, Building LLMs for Production, où nous abordons cette étape cruciale en profondeur avec des exemples pratiques.

Merci de m’avoir lu, et on se retrouve dans la prochaine !

Ressources mentionnées dans cet article :

FAQ

Pourquoi les équipes évaluent-elles les LLMs ?

L’évaluation mesure si un modèle respecte les exigences de qualité, de sécurité, de format, de coût et de fiabilité d’une tâche avant son déploiement.

Que doit contenir un dataset d’évaluation de LLM ?

Il doit contenir des prompts représentatifs, les comportements attendus, les cas limites importants et des critères de notation reproductibles.

Qui peut noter les réponses d’un modèle ?

Des métriques automatisées, un modèle juge calibré, des réviseurs humains ou une combinaison de ces méthodes peuvent noter différentes qualités.

Qu’est-ce que la calibration de la confiance ?

Un modèle calibré donne de bonnes réponses à peu près aussi souvent que son niveau de confiance l’indique pour des prédictions comparables.

Que mesure l’erreur de calibration attendue ?

Elle résume l’écart entre la confiance prédite et l’exactitude observée. Une valeur plus faible indique un meilleur alignement.

Pourquoi faut-il aussi évaluer un LLM utilisé comme juge ?

Les modèles juges peuvent noter de façon incohérente, favoriser leurs propres outputs ou manquer des erreurs propres à un domaine. Leurs notes doivent donc être calibrées avec des exemples humains fiables.