À retenir
- Les LLMs et les humains apprennent tous les deux des patterns, mais les signaux, l’ancrage et la relation au monde sont très différents.
- Un modèle peut imiter le langage de manière impressionnante sans expérience humaine, sans objectifs et sans compréhension derrière les mots.
- La confusion vient du fait qu’on juge la surface des outputs plutôt que le processus d’apprentissage qui les a produits.
Regardez la vidéo complète ici :
Dans cet article, je veux revenir sur un commentaire que j’ai reçu sous un short où je disais que les LLMs apprennent en copiant des patterns, et que les humains apprennent aussi en copiant d’autres personnes, mais que ce n’est pas la même chose. Le commentaire disait en gros : comment est-ce que ce n’est pas la même chose?
C’est une question légitime, parce que si vous le dites sans beaucoup plus de détails, comme je l’ai fait, ce qui n’est pas vraiment idéal, on a vraiment l’impression que les LLMs et les humains font la même chose. Les humains imitent. Les modèles imitent. Point.
Mais si cette comparaison crée autant de confusion, c’est parce qu’elle mélange deux niveaux de description complètement différents. De loin, on sait que les humains et les LLMs apprennent tous les deux des patterns. Mais lorsqu’on regarde de plus près, le processus d’apprentissage, les signaux, les contraintes et le lien avec le monde sont totalement différents. Et on comprend pourquoi on est très loin de la conscience ou de ce qu’on appelle l’AGI. Si vous ne séparez pas ces couches, vous finissez avec des phrases qui semblent justes, mais qui n’expliquent pas vraiment ce qui se passe, et vous pouvez vous mettre à croire que l’AGI va prendre votre emploi dans quelques mois.
Spoiler : pour la grande majorité d’entre nous, elle ne le prendra pas.
Vous êtes corrects. Au moins pour 2026.
Donc, je veux expliquer tout ça avec soin, du début à la fin, en gardant un seul exemple tout le long. Mais je dois découper cette explication en trois parties que je définirai lorsque le moment sera venu. Premièrement, comment les LLMs apprennent réellement pendant le pré-entraînement. Deuxièmement, ce que le fine-tuning et l’apprentissage par renforcement changent, et ce qu’ils ne changent pas. Troisièmement, comment les humains apprennent le langage et les histoires, et où la ressemblance s’arrête réellement.
Commençons par le pré-entraînement, parce que c’est de là que vient la majorité de la confusion, et c’est la partie la plus importante de l’entraînement d’un modèle de langage puissant.
Pendant le pré-entraînement, un grand modèle de langage est entraîné avec un objectif principal : étant donné une séquence de tokens, prédire le token suivant. C’est tout. Vous cachez un token, le modèle le devine, vous ajustez les paramètres et vous répétez ça sur d’énormes quantités de texte. Il n’y a aucune notion de sens, d’intention ou de communication dans l’objectif lui-même. Le modèle n’essaie pas de raconter une histoire. Il n’essaie pas d’être utile. Il n’essaie pas de comprendre quoi que ce soit. Il minimise l’erreur de prédiction.
Et je veux insister sur le fait que je parle vraiment de tokens ici, pas de mots. Les modèles ne connaissent pas les mots; ils connaissent des nombres. On représente chaque mot du langage par son index respectif, qu’on appelle un token. C’est évidemment une manière simplifiée de voir les choses. En réalité, on apprend à optimiser ces tokens selon la fréquence d’apparition des mots dans la langue anglaise et tout le reste, mais au final, ça revient toujours à la même idée : le langage, à partir d’une liste de nombres, apprend à prédire le prochain nombre.
Donc, si le modèle voit « The kid looked under the bed and », ce qui ressemble en fait à ça [14305, 10585, 7111, 1234, 279, 4950, 323, 863], il attribue des probabilités à ce qui vient ensuite. « Found » [6788] est probable. « Nothing » [24714] est possible. « Volcano » [37461] est presque impossible. Au fil du temps, en voyant des milliards et des billions de ces contextes, il apprend des régularités extrêmement riches sur le langage. La syntaxe, le style, la structure narrative et même beaucoup de connaissances sur le monde, parce que ces connaissances sont encodées dans le texte, ou plutôt dans ces tokens.
L’échelle accomplit une énorme partie du travail ici. Les modèles modernes sont entraînés sur des billions de tokens. Un humain, même quelqu’un qui lit énormément, verra des ordres de grandeur de moins d’inputs linguistiques pendant toute sa vie. On parle de millions, peut-être de centaines de millions de mots, pas de billions ou même davantage. Cette différence d’échelle n’est pas un détail. C’est la raison pour laquelle un objectif aussi simple peut mener à un comportement aussi complexe, même chez une machine non consciente. C’est aussi la principale différence entre les modèles d’avant et d’après ChatGPT.
À ce point-ci, les gens répondent souvent : mais les humains prédisent aussi le mot suivant lorsqu’ils lisent ou écoutent. Et c’est vrai. De solides preuves en sciences cognitives montrent que les humains forment des attentes sur les mots à venir et traitent les mots prévisibles plus rapidement. Et je fais souvent ça, ce qui agace plusieurs de mes proches. Donc oui, la prédiction existe dans les deux systèmes.
C’est la première vraie ressemblance. Les humains et les LLMs utilisent tous les deux la prédiction. Les deux s’améliorent avec l’exposition. Les deux profitent des patterns.
Mais voici la différence clé sur laquelle tout le reste se construit.
Pour le modèle, la prédiction est l’objectif final. Pour les humains, la prédiction n’est qu’un effet secondaire d’une véritable compréhension.
Lorsque vous écoutez une histoire, vous n’essayez pas de deviner le prochain mot pour le simple plaisir de le faire. Encore pire, les lecteurs rapides sautent carrément des mots. Les LLMs ne pourraient jamais faire ça. En réalité, on construit un modèle mental de ce qui se passe. Vous suivez les personnages, les intentions, les émotions, les causes et les conséquences. Vous créez un nouveau monde dans votre tête où les choses bougent et évoluent. Les prédictions émergent de ce processus parce que le langage est structuré dans ce modèle mental. Pour le LLM, il n’y a aucune couche séparée où la compréhension existe indépendamment de la tâche de prédiction. Si quelque chose comme le sens existe dans le modèle, il existe seulement parce que ça l’aide à prédire des tokens.
C’est pourquoi des experts comme Yann LeCun parlent aussi ouvertement des limites des modèles basés uniquement sur le texte. Son argument n’est pas qu’ils sont inutiles. C’est qu’il leur manque des ingrédients clés de la manière dont les humains et les animaux apprennent : l’ancrage dans le monde physique, la perception multimodale, l’interaction et la capacité à construire des modèles explicites du monde par l’action et le feedback. De ce point de vue, la prédiction du prochain token à partir du texte est puissante, mais ce n’est pas le même problème d’apprentissage que celui que résolvent les humains.
D’autres chercheurs, comme Ilya Sutskever, ont une vision plus optimiste. Leur argument est que le langage lui-même encode une énorme quantité de structures sur le monde et que, pour bien prédire le langage à grande échelle, un modèle pourrait être forcé d’internaliser des représentations de plus en plus abstraites qui fonctionnent comme des world models dans ce qu’on appelle son espace latent. Le débat reste ouvert et seul le temps nous donnera la réponse, mais je dois dire que les LLMs actuels semblent très loin de développer une véritable compréhension, même si le scaling a clairement fourni de nouvelles capacités incroyables auxquelles on ne s’attendait pas nécessairement avant de pousser ces entraînements à cette échelle.
Mais peu importe votre position dans ce débat, le mécanisme actuel est clair. Le pré-entraînement consiste à compresser des patterns dans le texte. Pas à interagir avec un monde. Pas à former des objectifs. Pas à tester des hypothèses. Seulement à absorber des régularités statistiques.
Maintenant, ancrons tout ça dans un exemple simple et concret pour que l’explication ne reste pas abstraite.
On peut prendre une histoire très simple : un enfant perd son chien, le cherche toute la journée et le retrouve le soir.
Un modèle pré-entraîné peut générer une version très convaincante de cette histoire. Il sait que ce genre d’histoire possède habituellement une mise en place, de la tension et une résolution. Il sait quels types de mots tendent à apparaître dans les moments émotionnels. Il sait comment les paragraphes s’enchaînent généralement.
Mais il ne choisit pas ces mots parce qu’il veut transmettre de la tristesse ou du soulagement. Il les choisit parce que, selon le début, ces mots ont une forte probabilité dans la distribution qu’il a apprise. La structure narrative émerge de décisions locales sur les tokens prises à une échelle massive.
Regardons un exemple encore plus concret au lieu de rester dans le monde abstrait du langage.
Lorsqu’un humain apprend à peindre ou à jouer du piano, l’imitation est évidemment présente, mais ce n’est pas une imitation microscopique. Vous ne copiez pas exactement chaque coup de pinceau. Vous extrayez des techniques. Vous formez des concepts comme la perspective, l’équilibre, le contraste et l’émotion. Vous copiez le résultat final. Vous pouvez même ensuite appliquer ces concepts à des scènes que vous n’avez jamais vues.
Pendant le pré-entraînement, un LLM se rapproche beaucoup plus de la copie exacte des coups de pinceau que de l’extraction de l’intention. Il apprend comment de petits mouvements locaux tendent à suivre d’autres petits mouvements locaux. Token après token. Pixel après pixel dans les modèles d’images. La structure globale vient de l’accumulation de ces règles locales, en sachant quel coup de pinceau ajouter ensuite à la toile à partir de tous ceux qui le précèdent, pas d’une compréhension explicite de la composition ou du sens.
Ça ne rend pas le modèle stupide. Ça le rend simplement différent.
Passons maintenant à la deuxième phase, parce que c’est là que beaucoup de gens attribuent sans le vouloir des qualités humaines qui ne viennent pas réellement du pré-entraînement.
Pendant ce processus, des humains sont payés pour montrer au modèle des exemples de comportements souhaités. Ils classent les outputs. Ils récompensent la clarté, l’utilité et la sécurité. Le modèle est optimisé pour produire davantage de ce que les humains préfèrent.
Ça change beaucoup le comportement. C’est pourquoi le modèle semble poli. C’est pourquoi il explique ses réponses. C’est pourquoi il évite certains sujets.
Mais il est important de comprendre ce que cette phase ne fait pas. Elle ne donne pas au modèle un nouvel ancrage dans le monde. Elle ne lui donne pas d’expérience vécue. Elle ne lui apprend pas ce qu’on ressent lorsqu’on perd un chien ou lorsqu’on raconte une histoire touchante à ce sujet. Elle façonne le comportement des outputs par-dessus les représentations apprises pendant le pré-entraînement. C’est la partie qui ressemble le plus à l’apprentissage humain en surface, puisque nous apprenons aussi grâce au feedback. Pourtant, elle exige habituellement beaucoup plus d’exemples qu’il ne nous en faut et, surtout, le signal de feedback est très différent. Le modèle n’est pas récompensé pour la manière dont il raisonne ni pour la raison de sa décision, seulement selon que l’output final correspond à ce que les humains ont étiqueté comme bon ou mauvais.
Si vous essayez d’apprendre un mouvement d’escalade, vous apprenez aussi par essais et erreurs. Vous tombez, ajustez votre prise, déplacez votre poids, ressentez la tension dans votre corps et développez une intuition de l’équilibre et du momentum. Ce feedback est continu, incarné et profondément lié au processus lui-même. On ne vous dit pas seulement « réussite » ou « échec » à la fin pour ensuite vous laisser vous ajuster. Vous ressentez ce qui va mal pendant que ça se produit, et votre modèle interne se met à jour à chaque instant.
À l’inverse, l’apprentissage par renforcement dans les LLMs est surtout externe et basé sur l’issue finale. Le modèle ne vit pas la tentative. Il ne ressent ni l’instabilité ni l’effort. Il ne sait pas quelles étapes internes ont compté. Il reçoit seulement un signal indiquant si la séquence finale de tokens était préférée ou non. Même si les deux systèmes utilisent du renforcement, les humains apprennent donc en interagissant avec le monde et en mettant à jour de riches modèles internes grâce à l’expérience. Les LLMs sont plutôt poussés statistiquement vers les outputs que les humains aiment, sans accès au processus sous-jacent qui les a produits.
C’est pourquoi cette phase peut rendre les modèles plus humains dans leur comportement sans rendre leur apprentissage semblable à celui des humains.
Maintenant, c’est aussi le bon moment pour parler du raisonnement, parce que c’est là que les gens disent souvent : « D’accord, mais le modèle pense. On peut le voir raisonner étape par étape. »
Ce qui se passe réellement est plus subtil.
Lorsqu’un LLM semble raisonner, il fait toujours la même chose au cœur du processus : générer le prochain token à partir des précédents. La différence est qu’il a vu un nombre énorme d’exemples de textes qui ressemblent à du raisonnement. Des explications, des étapes de mathématiques, des arguments, des preuves. Il a appris que, pour certains types de questions, produire du texte intermédiaire qui ressemble à du raisonnement tend à mener à de meilleures réponses finales.
Donc, lorsque vous voyez le modèle « penser », vous ne regardez pas un processus interne de planification qui décide quelles étapes suivre, comme nous lorsque nous pensons. Vous regardez du langage qui ressemble à du raisonnement parce que ce genre de langage a une probabilité élevée dans ce contexte.
C’est pourquoi le raisonnement peut sembler impressionnant et fragile en même temps. Le modèle ne sait pas quelles étapes sont nécessaires. Il ne sait pas lesquelles suffisent. Il génère des séquences qui ressemblent à du raisonnement. Parfois, ces séquences correspondent à une logique correcte et, parfois, elles n’y correspondent pas. Et le scaling nous permet d’essayer beaucoup de chemins en parallèle, de converger vers le meilleur et d’avoir l’air intelligent.
Pour les humains, c’est l’inverse. Vous raisonnez habituellement en premier, souvent en silence, parfois visuellement ou abstraitement, comme lorsque vous créez un modèle du monde dans lequel vous vous voyez, par exemple en train de faire mentalement une voie d’escalade précise. Vous utilisez ensuite le langage pour exprimer le résultat de cette réflexion ou, dans le cas de l’escalade, vous saisissez les prises et vous commencez. Le langage vient surtout après la pensée. Pour les LLMs, le langage est la pensée. Il n’existe aucune couche séparée où le raisonnement se produit avant d’être traduit en mots. C’est simplement OpenAI qui décide quels tokens conserver comme tokens de raisonnement et lesquels vous envoyer pour que vous les voyiez.
Ça ne signifie pas que les modèles ne peuvent pas résoudre de vrais problèmes. Ils le peuvent clairement. Ça signifie que le mécanisme est différent, et cette différence explique à la fois leurs forces et leurs modes de défaillance.
Revenons maintenant aux humains, parce que c’est là que se trouve la différence la plus profonde.
Les humains imitent. Cette partie est vraie. On emprunte des phrases. On copie des styles. On apprend par l’exposition.
Mais l’apprentissage humain est ancré dès le départ. Les mots sont liés à la perception, à l’action et à l’interaction sociale. Vous n’apprenez pas ce que « chien » signifie simplement en lisant le mot. Vous l’apprenez en voyant des chiens, en les entendant, en interagissant avec eux, en étant corrigé et en intégrant ce mot dans un modèle plus vaste du monde.
Les humains apprennent aussi avec de l’agentivité. Vous voulez des choses. Vous essayez d’atteindre des objectifs. Vous échouez. Vous vous ajustez. Vous posez des questions. L’apprentissage est guidé par la curiosité, la survie et les liens sociaux, pas par la minimisation passive d’une fonction de perte sur un dataset statique.
Je n’ai encore jamais vu un LLM assez curieux pour me poser une question, sauf s’il était programmé ou prompté pour le faire.
Les humains sont aussi incroyablement efficaces avec les données. Un enfant peut apprendre un nouveau mot à partir de quelques exemples. Un modèle peut avoir besoin de milliers ou de millions d’occurrences. L’échelle compense cette différence, mais le processus à leur base reste différent.
Et les humains apprennent continuellement. Votre modèle du monde se met à jour tous les jours. La plupart des LLMs sont entraînés, gelés, puis légèrement dirigés. Ils n’accumulent pas une nouvelle compréhension de la même manière ouverte.
Donc, lorsque quelqu’un affirme que « les LLMs apprennent comme les humains parce que les deux copient des patterns », voici la réponse précise que vous devriez lui donner :
« Allez lire cet article de Louis-François et vous allez comprendre! »
D’accord, sérieusement, la vraie réponse devrait ressembler à ceci :
Oui, les deux reposent sur des patterns. Oui, les deux impliquent de la prédiction. Oui, l’imitation existe dans les deux. Mais les humains apprennent les patterns pour construire du sens, agir dans le monde et poursuivre des objectifs. Les LLMs apprennent les patterns pour prédire des tokens, à travers des billions d’essais, puis sont façonnés plus tard pour se comporter de façons que les humains trouvent utiles, à travers des millions d’essais. C’est pourquoi les outputs peuvent sembler semblables alors que les processus d’apprentissage sont fondamentalement différents.
J’espère que la différence est maintenant un peu plus claire! Et si vous le voulez, je pourrais aller encore plus loin sur la question du raisonnement dans un autre article, parce qu’elle ouvre toute une discussion sur la chaîne de pensée, le raisonnement caché, l’utilisation d’outils et les raisons pour lesquelles certains problèmes brisent encore aussi facilement les modèles. Dites-moi dans les commentaires si vous aimeriez voir ça ensuite!
D’ici là, merci d’avoir lu l’article complet, et on se revoit dans le prochain!
FAQ
Pourquoi l’IA semble-t-elle intelligente?
Elle produit un langage fluide et sensible au contexte qui ressemble aux explications humaines, ce qui rend son comportement plus ancré qu’il ne l’est réellement.
Pourquoi la comparaison avec les humains est-elle trompeuse?
Les humains apprennent avec leur corps, leurs objectifs, le feedback social et leur expérience vécue. Les LLMs apprennent à partir de patterns textuels et de l’optimisation.
Que devraient retenir les builders?
Ne déduisez pas une compréhension à partir de l’aisance. Testez le système sur la véritable tâche et sur les modes de défaillance qui comptent.
La prédiction du prochain token crée-t-elle du sens?
Elle crée des représentations utiles à la prédiction, mais ça ne prouve pas l’existence d’une expérience, d’une intention ou d’une compréhension humaine.
Pourquoi les LLMs ont-ils besoin d’autant d’exemples?
Ils apprennent des régularités statistiques dans les données plutôt que de partir avec l’expérience incarnée et les connaissances antérieures d’une personne.
Qu’est-ce que le fine-tuning change après le pré-entraînement?
Il façonne la manière dont le modèle répond et suit les préférences humaines, mais ne lui donne ni expérience humaine ni compréhension ancrée du sens.