À retenir
- Créez simplement votre benchmark avec les questions et les réponses que le LLM devrait fournir.
- Vous pouvez enfin vous faire une idée globale du modèle qui fonctionne le mieux pour votre tâche et approfondir l’analyse pour comprendre pourquoi il produit de meilleurs résultats.
- Réfléchissez à vos besoins, comme la précision, la vitesse et la rentabilité, puis choisissez le bon LLM en conséquence.
Regardez la vidéo, surtout pour le tutoriel!
Bonjour tout le monde! Je suis Louis-François, CTO et cofondateur de Towards AI. Aujourd’hui, je veux aborder un sujet important : pourquoi les grands modèles de langage (LLMs) ne se valent-ils pas tous? Les traiter de la même façon peut en fait vous faire rater des occasions.
Voyons pourquoi ChatGPT ne devrait pas être le seul outil dans votre boîte, surtout maintenant que nous disposons d’une gamme de LLMs variés en constante évolution, chacun avec ses propres forces.
Dans cet article, nous expliquerons comment choisir le meilleur modèle pour une tâche. Dans notre section pratique, nous utiliserons ensuite un excellent outil de benchmark simple et sans code construit par Integrail pour comparer les LLMs. Nous utiliserons même le système multi-agents construit dans l’article précédent, qui fait appel à plusieurs modèles en parallèle.
Quels sont les meilleurs LLMs et comment le savons-nous?
Alors, qu’est-ce qui rend un LLM « meilleur » qu’un autre? Tout dépend de ce que vous cherchez : la précision, la vitesse, les coûts ou autre chose. Évaluer les LLMs peut être difficile puisque de nouveaux modèles sortent constamment et que les meilleures options changent souvent. Dans une publication récente, Clementine Fournier de Hugging Face a souligné l’importance des métriques d’évaluation et des cas d’utilisation pratiques. Comme nous le savons grâce à mes articles précédents, une évaluation ne repose pas sur un seul benchmark. Elle doit couvrir plusieurs dimensions.
Rappelez-vous qu’un LLM n’est pas la même chose que le système ou l’application qui l’exécute. ChatGPT, par exemple, est une interface pour les modèles GPT, mais ce n’est pas la seule façon d’exploiter leurs capacités. Cette distinction devient vraiment importante lorsqu’on réfléchit au meilleur modèle pour chaque tâche.
Même si les LLMs partagent des fonctions fondamentales semblables, leurs performances, leurs coûts et leurs meilleurs cas d’utilisation varient beaucoup. Dépendre d’un seul système comme ChatGPT peut vous empêcher d’obtenir la solution la plus efficace ou rentable. Voyez-les comme une boîte à outils. Vous n’utiliseriez pas un tournevis pour toutes les réparations, alors vous ne devriez pas utiliser un seul LLM pour tous vos besoins.
Les différents LLMs ont des forces différentes
Variations de performance
Parlons de certaines différences entre les LLMs populaires. Des modèles comme GPT-4o peuvent dominer certains benchmarks de précision, tandis que de plus petits modèles comme Llama 8B peuvent être plus efficaces et beaucoup moins chers pour des tâches faciles. Précision, vitesse, coûts : chacun de ces facteurs influence le meilleur modèle pour une situation donnée.
Par exemple :
- Claude 3.5 Sonnet, d’Anthropic, est conçu pour gérer des tâches conversationnelles complexes et raisonner sur des questions. Je l’adore vraiment pour la programmation et l’écriture.
- Llama 3, de Meta, est la plus récente version de la série Llama, avec des modèles qui atteignent 405 milliards de paramètres. Sa longueur de contexte étendue à 128 000 tokens le rend particulièrement efficace pour traiter de longs textes, maintenir le contexte et accomplir efficacement des tâches de raisonnement complexes.
- Gemini convient parfaitement à la gestion de documents plus longs et au maintien du contexte sur des inputs étendus, ce qui le rend adapté aux tâches qui exigent beaucoup de contenu.
- GPT-4o, d’OpenAI, excelle souvent dans la génération de texte cohérent qui ressemble à celui d’un humain et dans la résolution de problèmes complexes, mais à un coût plus élevé. Bien sûr, O1 est aussi excellent, mais présente beaucoup plus de latence et des coûts supérieurs.
- Code Llama est un modèle spécialisé dans la génération de code, avec des variantes fine-tunées pour Python et d’autres tâches de programmation. Il s’agit d’une excellente option pour les développeurs qui souhaitent simplifier leurs workflows.
Vous pouvez voir ces modèles comme des spécialistes. L’un excelle en raisonnement, un autre en génération de contenu créatif et un troisième dans la production rapide et abordable de résultats. Pour des tâches comme la programmation ou le raisonnement complexe, GPT-4o ou Claude 3.5 Sonnet pourraient devenir vos modèles de prédilection. Pour une génération plus simple ou des réponses à des questions de base, un modèle plus léger comme Llama ou Gemini-Flash pourrait être un choix plus judicieux.
Lorsque vous dépendez d’un seul modèle, vous risquez de rater des avantages comme la réduction des coûts ou une meilleure capacité à gérer des tâches précises. Sans oublier le défi des temps d’arrêt! Integrail a récemment souligné l’importance de tester les modèles avant une migration, surtout devant l’abandon prochain par OpenAI d’anciennes versions de GPT-3.5. Passer à un autre LLM pourrait éviter beaucoup de problèmes pendant de telles transitions.
Démo pratique : comparer les LLMs avec l’outil de benchmark d’Integrail
Passons maintenant à la démo pratique avec l’outil de benchmark d’Integrail pour comparer différents LLMs côte à côte. Vous pouvez d’abord facilement les comparer ainsi, ce qui est très utile pour vérifier la qualité ou faire des « vibe checks ». Vous devez toujours examiner vous-même les réponses et tester certains cas limites!
Voici ensuite la partie impressionnante. Integrail a construit son propre outil de benchmark, qui permet d’évaluer facilement les performances de différents modèles sur une même tâche en comparant des facteurs comme la précision, les coûts et la vitesse.
Vous créez simplement votre benchmark avec les questions et les réponses que le LLM devrait fournir. Dans mon cas, je voulais vérifier la compréhension de l’article scientifique MetaGPT, que j’ai envoyé au système construit dans l’article précédent pour en extraire l’information pertinente et générer des publications pour les médias sociaux. J’ai créé des questions et des réponses afin de confirmer la compréhension de l’article par le modèle. Mais vous pouvez créer n’importe quelle évaluation personnalisée selon vos besoins.
Vous sélectionnez ensuite simplement tous les modèles à tester et lancez l’évaluation. Vient enfin la bonne partie : vous pouvez noter tous les résultats. L’équipe a construit son propre modèle interne fine-tuné pour noter les résultats et, encore mieux, expliquer chaque note. Il parcourt les réponses de tous les modèles et les note avec une explication. Vous pouvez enfin vous faire une idée globale du modèle qui fonctionne le mieux pour votre tâche et approfondir l’analyse pour comprendre pourquoi il produit de meilleurs résultats. Vous pouvez également prendre le temps de comprendre ces résultats et de vérifier s’ils correspondent réellement à ce que vous voulez.
Comme vous le voyez ici, les modèles génèrent parfois des réponses beaucoup trop longues. Cela biaise l’évaluation, qui considère la réponse comme bonne puisqu’elle contient toute l’information pertinente, alors qu’une simple liste à puces aurait suffi. Voilà pourquoi il est important de faire une vérification manuelle ou d’ajouter ces détails aux critères de votre évaluation pour qu’elle en tienne compte.
Nous voyons ici que GPT-4o surpasse encore tous les autres modèles pour cette tâche, ce qui n’est pas vraiment surprenant.
Les avantages d’utiliser plusieurs LLMs
D’accord. Pour conclure cette discussion sur l’utilisation de différents LLMs, intégrer plusieurs LLMs à votre workflow présente des avantages évidents par rapport au choix du modèle qui est en moyenne le meilleur pour toutes les tâches. Vous pouvez obtenir les meilleures performances pour chaque partie d’une tâche en exploitant les forces de différents modèles. Claude pourrait par exemple mieux générer du contenu créatif, tandis que Gemini convient parfaitement au maintien du contexte sur de longs inputs. Cette approche aide aussi à gérer les temps d’arrêt des modèles, puisque vous ne dépendez pas d’une seule API.
Rappelez-vous que même si l’outil de benchmark d’Integrail est très utile, l’évaluation des LLMs ne repose pas sur un seul benchmark. Idéalement, vous devriez évaluer les modèles avec plusieurs tests comme Big-Bench, Truthful QA, MMLU, Word-in-Context et la LMSys Arena. Plusieurs benchmarks donnent une vue équilibrée des forces et des limites de chaque modèle.
Créer une application multi-agents pour obtenir les réponses de plusieurs LLMs
Qu’est-ce qu’un système multi-agents dans ce contexte?
Allons maintenant plus loin en créant un système qui demande à plusieurs LLMs de résoudre une tâche en parallèle pour obtenir la meilleure réponse possible, un peu comme une équipe de spécialistes qui travaillent ensemble. C’est là que les applications multi-agents entrent en jeu. Avec des outils comme Integrail, vous pouvez construire des workflows qui permettent à différents LLMs de collaborer sur un problème, chaque modèle se concentrant sur ce qu’il fait de mieux. Dans un article précédent, nous avons construit un système multi-agents complet. Voici un court rappel, puisqu’il exploite lui aussi différents LLMs pour chaque tâche.
Comme vous le savez, je présente souvent de nouveaux articles scientifiques et de nouvelles techniques du domaine sur la chaîne. Une partie de mon travail consiste à publier sur LinkedIn ou Twitter pour résumer les principales observations tirées de ces articles. Je dois lire l’article, comprendre ce que les chercheurs ont fait et si c’est vraiment pertinent, puis tout synthétiser dans une liste à puces claire.
Bien sûr, ChatGPT peut faire du bon travail si vous lui envoyez l’article, mais il faut souvent plusieurs allers-retours.
Nous voulons ensuite une version pour LinkedIn et une autre pour Twitter, adaptée aux fils et à leur longueur maximale. ChatGPT peut encore le faire, mais cela exige toujours quelques allers-retours.
Et nous aimerions ensuite une jolie image mignonne ou amusante, pourquoi pas? Encore plus d’allers-retours avec Dalle ou un autre générateur d’images de votre choix.
J’ai plutôt reproduit ce processus dans un seul workflow multi-agents qui a simplement besoin du PDF comme input et génère chaque autre élément séparément. J’ai seulement inclus le texte ici pour simplifier, mais vous pouvez construire un système aussi complexe que vous le souhaitez. Le PDF passe d’abord par Gemini, notre premier agent choisi pour son plus long contexte, qui extrait le texte pertinent de l’article. Nous avons ensuite 3 autres agents chargés de créer les publications et les images, chacun avec son propre prompt. J’ai utilisé GPT-4o et Dalle pour ces tâches, mais Claude aurait aussi été intéressant à essayer. Il en va de même pour le modèle de génération d’images, que vous pouvez facilement choisir directement dans le studio Integrail.
Avec une seule interface de chat, ce système aurait été impossible. Avec un seul LLM et de nombreux allers-retours, il aurait à tout le moins été moins robuste et beaucoup plus complexe.
Conclusion
La prochaine fois que vous aurez une tâche à accomplir, ne choisissez pas automatiquement ChatGPT. Réfléchissez à vos besoins, comme la précision, la vitesse et la rentabilité, puis choisissez le bon LLM en conséquence. Si la tâche est répétitive, envisagez de construire un système agentique plus complexe pour automatiser une grande partie du processus. Nous l’expliquons en profondeur dans notre autre article avec Integrail.
N’oubliez jamais d’utiliser plusieurs évaluations comme Big-Bench, Truthful QA, MMLU, Word-in-Context, la LMSys Arena et le benchmark personnalisé d’Integrail pour votre tâche.
Merci d’avoir lu. Si cet article vous a été utile, n’oubliez pas de vous abonner pour obtenir plus d’observations sur l’IA. On se retrouve dans le prochain!
FAQ
Pourquoi évaluer les LLMs sur un benchmark personnalisé?
Les classements publics peuvent ne pas prédire les performances dans votre domaine, avec vos instructions, vos données ou vos modes d’échec acceptables.
Que devrait contenir un benchmark propre à une tâche?
Il devrait contenir des questions représentatives, les réponses attendues, des cas limites difficiles et des critères liés à l’utilisation réelle.
Un LLM peut-il noter l’output d’un autre modèle?
Oui, mais le juge doit lui-même être calibré par rapport aux décisions humaines et vérifié pour détecter les biais ou les incohérences.
Pourquoi examiner les explications derrière les notes d’évaluation?
Une note globale ne révèle pas si le modèle a échoué sur les faits, le formatage, le raisonnement, la sécurité ou un sous-ensemble précis.
Les coûts et la latence devraient-ils faire partie de l’évaluation des modèles?
Oui. Le meilleur modèle de production atteint le seuil de qualité dans les contraintes de vitesse et de budget du workflow.
Quelle est la différence entre ChatGPT et un modèle GPT?
GPT est le modèle sous-jacent, tandis que ChatGPT est une interface et un produit construit autour de modèles, d’outils, de mémoire et d’autres comportements système.