À quel point les modèles de raisonnement sont-ils intelligents en 2025?

À retenir

• Les modèles de raisonnement améliorent certaines tâches en consacrant plus de calcul au moment de répondre plutôt qu’en augmentant seulement l’échelle de l’entraînement.
• Ils peuvent décomposer les problèmes en étapes, mais un raisonnement visible ne signifie pas automatiquement que la réponse est juste.
• Utilisez des modèles de raisonnement lorsque la tâche profite de la planification, de la logique, de l’utilisation d’outils ou de vérifications en plusieurs étapes, puis évaluez le résultat.

Imaginez que vous ouvriez ChatGPT et posiez la vieille question piège de la fraise : « Combien de R y a-t-il dans le mot strawberry? »

Il y a deux ans, le modèle aurait haussé les épaules, halluciné ou, si vous aviez de la chance, deviné correctement une fois sur deux. Aujourd’hui, avec les tout nouveaux modèles de « raisonnement », vous appuyez sur Entrée et regardez le système réfléchir. Vous le voyez réellement épeler s-t-r-a-w-b-e-r-r-y, compter les lettres, puis répondre calmement « trois ». Cela semble presque magique, comme si le modèle avait soudainement découvert l’arithmétique. Spoiler : ce n’est pas le cas. Il a simplement appris à dépenser plus de tokens avant de vous répondre. Et il peut se permettre ce luxe parce que la capacité brute sous-jacente est déjà passée des 117 millions de paramètres de GPT-2 (1,5 milliard dans sa plus grande variante), qui a ingéré huit milliards de tokens WebText, à des géants de mille milliards de paramètres entraînés sur environ 15 billions de tokens, soit pratiquement tout le Web lisible, répartis sur des clusters de dizaines de milliers de GPU H100.

Ce petit détour est au cœur de la plus récente vague de recherche sur les grands modèles de langage. Pendant des années, nous avons suivi une seule règle : les lois de mise à l’échelle. Des principes selon lesquels plus nous poussons les modèles vers leurs limites, meilleurs sont les résultats. Plus de paramètres et plus de données donnent plus de compétences. Un plus gros seau, une plus grosse pile de contenu tiré d’Internet, de meilleures performances. Mais les seaux ne grossissent pas éternellement : nous raclons le fond du Web, et les GPU font fondre les murs des centres de données. Nous semblons entrer dans ce que plusieurs chercheurs appellent un « plateau de pré-entraînement ».

Alors, au lieu de s’attaquer à la question de la conscience, les chercheurs ont changé d’angle et se sont demandé : « Et si nous ne pouvions plus augmenter l’échelle du modèle? Pourrions-nous plutôt augmenter l’échelle du temps de réponse? »

Et c’est ainsi que sont nés les modèles de raisonnement : mêmes entrailles neuronales, mêmes poids, mais une nouvelle loi de mise à l’échelle au moment de l’inférence. Plus de calcul après que l’utilisateur clique sur Envoyer, avec l’hypothèse que si les résultats sont assez bons, nous, les utilisateurs, accepterons d’attendre quelques secondes, quelques minutes ou même plus.

Voici comment cela fonctionne en pratique :

Un modèle classique de type GPT produit un token à la fois jusqu’à atteindre un marqueur de fin de texte. Comme ceci. Et il apprend à générer ce token de façon autonome pendant son entraînement lorsqu’il a fini de répondre, puisque nous avons ajouté manuellement ce même token à tous nos exemples d’entraînement pour lui apprendre à le faire. Si vous êtes déjà perdu, je vous suggère de regarder notre introduction aux grands modèles de langage pour bien comprendre les tokens et les embeddings. Cela vous aidera vraiment à mieux comprendre et exploiter les LLMs en général!

Au lieu de cette génération habituelle de tokens en un seul flux, les modèles de raisonnement en génèrent deux. Il y a d’abord un monologue caché, la chaîne de pensée, qui ressemble essentiellement à la populaire technique de prompting chain-of-thought. Les ingénieurs ont littéralement introduit un nouveau token, end-of-thinking, pour indiquer où s’arrête ce bloc-notes privé. Ce n’est qu’une fois le bloc-notes refermé que le modèle rédige la réponse finale et émet le traditionnel end-of-text. Le modèle n’est pas devenu logique au sens humain. Il prédit toujours le prochain token le plus probable. Il prédit simplement un préambule plus long, parcourt la solution étape par étape et augmente ainsi ses propres chances de deviner correctement le token final en se donnant plus de contexte, poussant la probabilité en sa faveur un token à la fois.

Et comment obtient-on un tel modèle de « raisonnement »?

Pour obtenir un modèle de raisonnement, vous partez d’un énorme modèle pré-entraîné, comme GPT-4 ou un modèle de la classe de Gemini. Il suit donc la même étape de pré-entraînement que vous connaissez déjà si vous avez regardé mes vidéos précédentes. Ensuite, vous créez un dataset dans lequel chaque exemple contient une question, une preuve complète sous forme de chaîne de pensée et la réponse finale. Le code et les mathématiques sont populaires parce que les preuves et le code sont vérifiables et binaires : soit le théorème est résolu, soit il ne l’est pas; soit le code s’exécute, soit il ne s’exécute pas. Vous injectez ensuite ces triplets dans une passe de fine-tuning supervisé afin que le réseau apprenne à placer end-of-thinking avant end-of-text. Puis, vous ajoutez une boucle d’apprentissage par renforcement. Au lieu de récompenser chaque token, vous notez uniquement la réponse finale avec une fonction spéciale ou un juge, peut-être un autre modèle de langage, un humain ou un compilateur si la tâche concerne du code. Bonne réponse? Aucune mise à jour du gradient. Mauvaise réponse? Une petite pénalité. C’est très semblable au fine-tuning par renforcement qu’OpenAI a récemment annoncé, où une douzaine de ces exemples peuvent orienter le style et la structure vers vos objectifs. Finalement, vous lancez une phase d’équilibrage où le modèle s’exerce sur des questions qui demandent zéro, peu ou beaucoup de raisonnement afin qu’il apprenne quand rester silencieux et quand consacrer beaucoup de temps (et de calcul) à réfléchir. Exactement comme nous pouvons répondre sur-le-champ à une question simple comme 2+2, mais avons besoin d’un crayon et de papier, voire d’une calculatrice, pour une intégrale plus complexe.

Grâce à tout ce processus d’entraînement, le modèle décide à la volée, au moment du déploiement, combien de temps réfléchir. Posez-lui une question factuelle triviale et il pourra chuchoter une ou deux lignes cachées, marquer end-of-thinking et répondre instantanément. Demandez-lui de concevoir un nouvel algorithme de tri et vous pourriez le voir cogiter pendant soixante secondes, en mâchant des centaines de tokens de déductions privées avant de parler. Ce délai coûte de l’argent réel : chaque token de réflexion correspond à des frais d’API et à un cycle GPU. Multipliez cela par la boucle d’un agent qui appelle le modèle dix fois, et soudainement votre side project ressemble à la location d’un petit centre de données. Voilà le côté sombre de notre nouvel axe de mise à l’échelle : nous avons remplacé la croissance des paramètres par celle du temps d’inférence, et la facture a suivi.

D’ailleurs, OpenAI ne montre pas ce processus de réflexion, alors il faut faire attention. L’entreprise envoie seulement un résumé contrôlé, qui n’est pas ce que le modèle a réellement généré pendant sa réflexion. Vous ne pouvez donc pas l’utiliser pour entraîner votre propre modèle de raisonnement. Ah, et si une partie du raisonnement caché est cruciale pour le tour suivant de la conversation, copiez-la dans votre prompt de suivi, car le modèle lui-même l’oubliera. Ses notes privées ne sont pas automatiquement transmises au tour suivant!

Les conseils de prompting ont aussi changé avec ces nouveaux types de modèles. Avec les LLMs ordinaires, nous disions souvent d’écrire quelque chose comme « Réfléchissons étape par étape » ou de donner un plan d’action comme « Commencez par dresser la liste des lettres, puis comptez les R ».

Avec les modèles de raisonnement, vous n’en avez pas besoin. La chaîne de pensée est intégrée. Vous devez plutôt lui donner un objectif, ainsi que les restrictions et les directives fondamentales qu’il doit respecter. Il trouvera ensuite les étapes et les actions nécessaires pour accomplir la tâche. Ici, plus vous fournissez d’information sur ce que vous voulez, par opposition à la façon de procéder, mieux c’est. Et si la latence ou le coût vous importe, demandez explicitement une réflexion concise : « Raisonnez brièvement pendant un maximum de cinq étapes, puis répondez. » Vous payez pour les tokens. Rappelez-le au modèle, et faites l’inverse si vous voulez une réponse très approfondie!

Maintenant, quel est le lien entre tout cela et les fameuses lois de mise à l’échelle dont nous sommes partis? Imaginez la mise à l’échelle classique comme deux axes : les paramètres et les données. Nous les avons étirés jusqu’à heurter des murs physiques, les factures d’électricité, les transistors de la taille d’un atome et une quantité décroissante de nouveaux textes. Les modèles de raisonnement ajoutent un troisième axe, que nous appelons le compute au moment du test ou de l’inférence. Au lieu d’acheter un seau plus haut ou de le remplir de plus d’Internet, nous secouons le seau plus longtemps chaque fois que nous y puisons quelque chose. C’est un hack astucieux, mais il obéit aussi à la loi des rendements décroissants. Les premières expériences, O1 d’OpenAI et R1 de DeepSeek, montrent de grands gains sur les benchmarks de mathématiques et de code avec une quantité modérée de réflexion supplémentaire. Doublez encore la taille du bloc-notes et la courbe s’aplatit. Au bout d’un moment, vous fournissez au modèle tellement de ses propres tokens que vous ne pouvez plus le pousser vers une meilleure réponse s’il ne la connaissait pas déjà dans sa propre base de connaissances. Cela relie cet axe de mise à l’échelle à un autre : l’utilisation d’outils et, par conséquent, les agents, que nous avons récemment abordés dans une autre vidéo.

Et parlons de l’éléphant dans la pièce : cela signifie-t-il que les machines « raisonnent » enfin? Pas plus qu’hier. Elles restent des prédicteurs du prochain token. Des machines statistiques extrêmement puissantes qui prédisent un token à la fois. La logique apparente qu’elles acquièrent vient d’un échantillonnage plus poussé de probabilités conditionnelles, et non d’une manipulation de symboles ou de modèles causals du monde. La chaîne de pensée aide le modèle à exposer des états intermédiaires qui étaient auparavant cachés, ce qui rend la supposition finale meilleure et plus facile à auditer pour les humains. Mais sous le capot, chaque étape reste le même jeu statistique auquel nous jouons depuis GPT-2, simplement répété plus longtemps sur plus de données et avec plus de compute.

Où cela nous mène-t-il? À plus d’options et plus de potentiel. Pour de simples réponses de soutien à la clientèle, restez avec de petits modèles plus rapides. Pour des questions de recherche complexes ou de la génération de code en plusieurs étapes, louez un modèle de raisonnement, prévoyez le budget de tokens et profitez de la profondeur supplémentaire. Si vous avez besoin d’encore plus de puissance et de capacités, pour naviguer sur le Web, coder, planifier des tâches et citer des sources, construisez un workflow avancé ou même un agent qui exploite la puissance des modèles de raisonnement et des outils. Mais vous n’êtes pas obligé d’utiliser l’un ou l’autre! Dans un système complexe, nous combinons habituellement les deux : des modèles de raisonnement qui sont le « cerveau » de l’agent, et des modèles sans raisonnement qui agissent comme des « exécutants » et font ce que le cerveau leur demande, qu’il s’agisse de traduire, d’utiliser un outil ou d’effectuer des actions précises. D’ailleurs, nous enseignons comment combiner ces modèles et plus encore dans notre cours axé sur les agents, en partenariat avec mes amis de Decoding ML. Si vous souhaitez en apprendre davantage sur les agents et construire vous-même des systèmes agentiques, consultez le cours ici : https://academy.towardsai.net/courses/agent-engineering?ref=1f9b29.

Gardez simplement un œil sur les factures d’électricité et sur les nouvelles puces accélératrices. Quelqu’un doit payer les secondes supplémentaires de GPU, et notre planète les paie aussi. Alors, pour votre portefeuille comme pour la planète, utilisez le modèle ou la solution la plus simple qui règle votre problème.

Nous avons commencé l’article en comptant les lettres d’un fruit et nous l’avons terminé avec une nouvelle loi de mise à l’échelle qui montre qu’un peu plus de temps de calcul au moment de l’inférence peut acheter beaucoup plus de raisonnement. Que ce raccourci nous mène jusqu’à l’AGI ou nous donne seulement un peu de répit avant le prochain bond matériel reste une question ouverte. Mais pour l’instant, si vous trouvez que votre modèle n’est pas assez intelligent, ne vous précipitez pas pour en entraîner un plus grand. Essayez d’abord de le laisser penser à voix haute, puis décidez si la réponse valait les tokens supplémentaires!

J’espère que vous avez aimé cet article. Si c’est le cas, partagez-le avec un ami et diffusez ces connaissances! Merci d’avoir lu, et on se voit dans le prochain!

FAQ

Qu’est-ce qui distingue les modèles de raisonnement?

Ils consacrent plus de calcul pendant l’inférence, ce qui peut aider avec les problèmes en plusieurs étapes, la planification et la formulation soignée d’une réponse.

Les modèles de raisonnement sont-ils toujours plus intelligents?

Non. Ils peuvent être meilleurs pour certaines tâches, mais ils peuvent encore halluciner, perdre du temps ou trop réfléchir à des problèmes simples.

Quand les builders devraient-ils utiliser un modèle de raisonnement?

Utilisez-en un lorsque la tâche exige un raisonnement étape par étape, des contraintes strictes, des appels d’outils ou qu’elle profite clairement d’un temps de réflexion supplémentaire.

Comment les modèles de raisonnement apprennent-ils quand réfléchir plus longtemps?

L’entraînement équilibre des tâches qui demandent peu de raisonnement et d’autres qui en demandent beaucoup afin que le modèle puisse allouer le compute d’inférence de façon plus sélective.

Pourquoi plus de tokens de raisonnement peuvent-ils cesser d’aider?

S’il manque les connaissances requises ou une direction utile, prolonger le même processus interne peut entraîner des répétitions au lieu de corriger le problème.

Pourquoi les résultats intermédiaires utiles devraient-ils rester dans la conversation visible?

Le raisonnement caché ne persiste pas nécessairement d’un tour à l’autre. Conservez donc dans le contexte visible les conclusions, les contraintes ou les preuves requises pour l’étape suivante.