À retenir
- En effet, il est plus lent que des modèles comme GPT-4o puisqu’il prend le temps de réfléchir aux problèmes, mais si vous avez besoin d’un modèle qui excelle dans les tâches complexes.
- Si vous travaillez sur des problèmes compliqués ou avez besoin d’un modèle fiable dans plusieurs langues, o1 vaut vraiment le temps d’attente supplémentaire.
- Même si le modèle raisonne beaucoup mieux, ce gain se fait au prix du temps d’inférence et du nombre de tokens.
Regardez la vidéo !
Bon matin à tous ! Ici Louis-François, CTO et cofondateur de Towards AI. Aujourd’hui, nous plongeons dans le tout dernier modèle d’OpenAI, o1, qui propose de nouvelles fonctionnalités très intéressantes et se distingue des modèles précédents comme GPT-4o, GPT-4, et même de modèles comme Claude, Gemini et LLaMA. Alors, voyons ce que o1 fait différemment, comment il fonctionne et ce qui le rend à la fois puissant et, eh bien… un peu lent. Mais nous y reviendrons !
Qu’est-ce que o1 et comment fonctionne-t-il ?
Alors, qu’est-ce que o1 ? Le modèle o1 d’OpenAI est leur toute dernière itération, axée sur le raisonnement avancé et le traitement par chaîne de pensée. Contrairement aux modèles précédents comme GPT-4o ou GPT-4, o1 est spécialement conçu pour « réfléchir » avant de répondre. Autrement dit, il ne se contente pas de générer du texte : il passe par plusieurs étapes de raisonnement pour résoudre des problèmes complexes avant de répondre. Cette approche le rend meilleur pour les tâches qui exigent un raisonnement détaillé, comme résoudre des problèmes de mathématiques ou des défis de programmation. C’est pas mal comme nous, qui réfléchissons avant de parler.
Malheureusement, comme pour certains d’entre nous, ce processus de réflexion avant de répondre rend o1 beaucoup, beaucoup plus lent que les modèles précédents. Parfois au point de ne produire aucune réponse.
Lorsque vous posez une question, il prend plus de temps parce qu’il consacre davantage de compute à l’inférence. En gros, il prend le temps de réfléchir et d’affiner sa réponse. C’est comme si on lui demandait de « réfléchir étape par étape » avec du prompting par chaîne de pensée, sauf qu’il le fait chaque fois parce qu’ils ont poursuivi l’entraînement du modèle avec l’apprentissage par renforcement pour le forcer à réfléchir étape par étape et à revenir sur son raisonnement avant de répondre. Malheureusement, nous n’avons aucun détail sur le dataset utilisé, sauf qu’il s’inscrit dans « un processus d’entraînement très efficace sur le plan des données ».
Même si les résultats semblent impressionnants, il faudra attendre pour voir si les gens apprécient de devoir patienter beaucoup plus longtemps pour obtenir de bons résultats. Cela dit, il y a des éléments très intéressants à mentionner…
Principales différences entre o1 et GPT-4o
Premièrement, ce qui distingue vraiment o1 des modèles comme GPT-4o, ce sont évidemment ses capacités de raisonnement intégrées. Durant les tests, o1 a surpassé GPT-4o dans les tâches exigeant beaucoup de raisonnement, comme la programmation, la résolution de problèmes et les benchmarks académiques. L’une des caractéristiques marquantes de o1 est sa capacité à enchaîner ses pensées, ce qui le rend mieux équipé pour s’attaquer aux problèmes en plusieurs étapes qui posaient parfois problème aux modèles précédents.
Par exemple, dans des tâches comme les compétitions de mathématiques et les défis de programmation, o1 a pu résoudre beaucoup plus de problèmes complexes. En moyenne, o1 a obtenu des résultats bien supérieurs sur des benchmarks comme l’AIME (American Invitational Mathematics Examination), où il a résolu 74 % des problèmes, contre 9 % pour GPT-4o.
Il fait aussi un excellent travail avec les tâches multilingues. En fait, dans des tests portant sur des langues comme le yoruba et le swahili, reconnues pour être particulièrement difficiles pour les modèles précédents, o1 a réussi à surpasser GPT-4o sur toute la ligne.
Compromis entre temps d’inférence et performance
C’est ici que les forces de o1 deviennent sa faiblesse potentielle. Même si le modèle raisonne beaucoup mieux, ce gain se fait au prix du temps d’inférence et du nombre de tokens. Le processus de raisonnement par chaîne de pensée rend o1 plus lent que GPT-4o, puisqu’il consacre davantage de compute à réfléchir aux problèmes pendant l’inférence, lorsqu’il vous répond, plutôt que de réserver ce compute élevé uniquement à l’entraînement du modèle. C’est vraiment intéressant de voir une autre avenue explorée ici, qui améliore beaucoup les résultats et qui est maintenant viable grâce aux gains d’efficacité dans la génération de tokens des modèles récents, lesquels réduisent continuellement les prix et la latence de génération. Cela augmente quand même les deux de manière importante.
Cette différence de latence est particulièrement visible dans les tâches où le modèle doit gérer un raisonnement complexe en plusieurs étapes. Donc, si vous utilisez o1 pour des tâches rapides et simples, il peut sembler un peu lent comparativement à des modèles comme GPT-4o-mini ou Claude. C’est essentiellement le compromis entre la vitesse et la profondeur de compréhension.
Réduction des hallucinations
Un autre domaine où o1 excelle est la réduction des hallucinations, ces moments où le modèle invente tout simplement des choses. Pendant les tests, o1 a beaucoup moins halluciné que GPT-4o, particulièrement dans les tâches où l’exactitude factuelle est essentielle. Par exemple, dans le test SimpleQA, o1 affichait un taux d’hallucination de seulement 0,44, contre 0,61 pour GPT-4o. Cela rend o1 plus fiable pour les tâches où il est crucial d’obtenir les bons faits.
L’autoréflexion et le « problème de la fraise »
Vous avez peut-être entendu parler de ce qu’on appelle le « modèle Strawberry », qui est en fait un nom de code pour o1 dans certains cercles. On l’appelle « Strawberry » à cause d’une petite blague interne : le nombre de « R » dans le mot « strawberry », qui rejoint un peu l’idée du raisonnement complexe. Tout comme il est difficile pour un modèle de compter les R dans « strawberry », il est difficile d’obtenir les bonnes étapes de raisonnement chaque fois, mais o1 rend ce processus beaucoup plus efficace.
Gestion de l’équité et des biaisUne autre amélioration majeure de o1 concerne sa façon de gérer l’équité et les biais. Dans des évaluations d’équité comme le test BBQ, o1 évitait beaucoup mieux les réponses stéréotypées que GPT-4o. Il n’est toutefois pas parfait : face à des questions ambiguës, o1 éprouve parfois des difficultés, surtout quand la bonne réponse devrait être « Inconnu ». Mais dans l’ensemble, il est mieux aligné sur les valeurs humaines, particulièrement lorsqu’on le compare à GPT-4o.
Réflexions finales sur o1Alors, le nouveau Strawberry d’OpenAI, ou le modèle o1, ne représente pas un si grand bond en avant. Il s’agit essentiellement d’un meilleur modèle qui applique le prompting par chaîne de pensée que la plupart d’entre nous utilisaient déjà, et cela avait déjà été fait. Le problème, c’est que la génération prenait plus de temps et coûtait plus cher en raison du plus grand nombre de tokens, alors les gens ont cessé de le faire. Il semble qu’OpenAI ait décidé le contraire et ait misé à fond sur cette approche. En effet, il est plus lent que des modèles comme GPT-4o puisqu’il prend le temps de réfléchir aux problèmes, mais si vous avez besoin d’un modèle qui excelle dans les tâches complexes, o1 est le choix tout indiqué.
Si vous travaillez sur des problèmes compliqués ou avez besoin d’un modèle fiable dans plusieurs langues, o1 vaut vraiment le temps d’attente supplémentaire. Mais si la vitesse est votre priorité, GPT-4o-mini demeure peut-être la meilleure option.
Comme toujours, j’ai mis des ressources plus détaillées dans la description ci-dessous, ainsi qu’un livestream vraiment cool de David Shapiro si vous voulez approfondir le fonctionnement de o1 et ses résultats.
J’essaie habituellement d’expliquer des articles de recherche ou des approches, mais malheureusement, OpenAI n’a pas dit grand-chose sur le processus d’apprentissage par renforcement ni sur les données utilisées, comme d’habitude. Cela dit, on peut supposer que le modèle doit être très semblable à GPT-4o et que le dataset est simplement un ensemble bien sélectionné qui applique des processus de chaîne de pensée.
J’espère que ce court article vous a quand même été utile pour démystifier ce que représente o1 par rapport aux meilleurs LLMs actuels. Merci de m’avoir lu, et on se retrouve dans le prochain !
Ressources supplémentaires :
Blogue de lancement d’OpenAI : https://openai.com/index/introducing-openai-o1-preview/
Blogue de lancement 2 d’OpenAI : https://openai.com/index/learning-to-reason-with-llms/
Fiche système d’OpenAI : https://openai.com/index/openai-o1-system-card/
Excellent article de Nathan Lambert sur le sujet : https://www.interconnects.ai/p/openai-strawberry-and-inference-scaling-laws
Livestream amusant de David Shapiro qui le teste : https://youtu.be/AO7mXa8BUWk
FAQ
Qu’est-ce qui distingue o1 d’OpenAI de GPT-4o ?
o1 consacre plus de compute à l’inférence pour réfléchir aux problèmes difficiles avant de produire sa réponse finale.
Pourquoi o1 est-il plus lent ?
Son processus de raisonnement génère et évalue davantage de tokens intermédiaires, ce qui augmente à la fois le temps de réponse et le compute.
Quand o1 est-il un bon choix ?
Il convient aux tâches complexes de mathématiques, de programmation, de planification ou de raisonnement, lorsque la qualité compte plus qu’une réponse immédiate.
Quand faut-il privilégier un modèle plus rapide ?
Utilisez un modèle plus rapide pour la rédaction simple, l’extraction, la classification et les tâches interactives qui ne profitent pas d’un raisonnement prolongé.
Réfléchir plus longtemps garantit-il une bonne réponse ?
Non. o1 peut encore se tromper, manquer de connaissances ou raisonner à partir d’une prémisse erronée. Les résultats importants doivent donc être vérifiés.