À retenir
- Les LLMs apprennent des patterns dans les données, ce qui les rend puissants, mais aussi vulnérables aux hallucinations, aux biais et aux raisonnements superficiels.
- Une réponse fluide peut cacher un manque d’ancrage, une logique faible ou une incertitude que le modèle ne sait pas exprimer.
- Les builders ont besoin d’évaluations, de recherche d’information, de contraintes et de révision humaine autour des faiblesses qui comptent pour leur cas d’usage.
Dans la dernière vidéo, nous avons parcouru les bases de l’entraînement des grands modèles de langage et, plus largement, de l’apprentissage automatique. Si vous n’avez pas retenu chaque détail, ne vous inquiétez pas. Ce n’était pas le but. L’objectif n’était pas de faire de vous un chercheur en IA en vingt minutes, mais de vous donner juste assez de contexte pour voir comment tout s’agence. Nous avons parlé des transformeurs, des objectifs d’entraînement et du fait que les LLMs n’apprennent pas comme les humains. Ce dernier point est essentiel : ces modèles possèdent des forces et des faiblesses uniques qui en font des composantes puissantes dans certains domaines et peu fiables dans d’autres.
Il est crucial de comprendre ces faiblesses pour savoir où vous pouvez construire avec les LLMs et utiliser leurs outils de façon sûre et appropriée dans vos workflows, ainsi que quelles techniques peuvent vous aider à corriger ces problèmes. Les LLMs ne sont pas des génies prêts à l’emploi. Ils ont souvent besoin de travail supplémentaire pour être réellement utiles dans des applications concrètes.
Examinons maintenant de plus près ce que ces modèles « apprennent » réellement, où ils échouent et ce que nous pouvons faire à ce sujet.
Qu’est-ce que le LLM apprend vraiment?
Nous avons vu que les transformeurs passent tout leur cycle d’entraînement à prédire obsessionnellement le prochain token, mais qu’est-ce qui est appris exactement? Une représentation interne complexe apparaît dans ces modèles : un espace vectoriel à haute dimension, semblable aux graphiques à 2 ou 3 dimensions que nous avons vus à l’école, mais comptant plutôt des milliers de dimensions. On l’appelle souvent l’espace d’embedding. Des tokens comme « chaton » et « chiot » y apparaissent près l’un de l’autre, tandis que « scie à chaîne » et « feu » restent sagement loin.
Ce processus, développé de façon itérative pendant des milliards de cycles d’entraînement, crée l’une des grandes forces des LLMs : la compréhension sémantique de vos questions. Le modèle ne se contente pas de trouver des mots-clés correspondants. Il accède à des couches de sens interconnectées, saisissant le contexte, les nuances et les liens abstraits. Il traite aisément des requêtes complexes, compare et synthétise des concepts variés, bien au-delà de ce que peuvent faire les moteurs de recherche traditionnels limités aux mots-clés.
Tout cela est très bien, mais le point important est que ce n’est pas ainsi que les humains pensent. Le LLM ne raisonne pas. Il ne se forge pas d’opinions. Il ne fait que calculer des probabilités avec une efficacité aussi extrême que surprenante, ce qui entraîne aussi certaines de ses faiblesses. Les réponses que nous percevons comme « intelligentes » émergent d’une soupe de relations statistiques entre des tokens, empilées d’une façon qui donne l’impression d’une compréhension. Ce qui nous importe, c’est comment ce système échoue et ce que nous pouvons faire pour le rendre plus fiable. Comprenons donc un peu mieux ces faiblesses, ou ces limites…
Date de coupure des connaissances (accès à l’information la plus récente)
L’une des plus grandes limites de la façon dont les réseaux neuronaux sont entraînés vient du fait qu’il s’agit d’une opération unique : on entraîne, on déploie, puis on espère que le monde ne changera pas trop. Entraîner ces modèles n’est pas une mince affaire non plus. Il faut des mois d’entraînement sur des GPU dans des centres de données qui coûtent des milliards de dollars à construire. Une fois l’entraînement terminé, c’est tout. Le modèle est figé dans le temps et ignore tranquillement tout ce qui se produit ensuite.
Cette configuration fonctionne très bien pour des compétences qui changent peu, comme détecter le sentiment d’un texte ou résumer de vieux articles d’actualité. Mais ajoutez un sujet qui évolue rapidement, comme les nouveaux modèles d’IA, la recherche médicale ou l’actualité, et le modèle fonctionne soudainement avec des connaissances désuètes.
Cette limite s’appelle la date de coupure des connaissances du modèle. Elle marque le dernier moment où celui-ci a été entraîné sur de nouvelles données. Ce n’est pas qu’un inconvénient. Cela influence fondamentalement l’utilité du modèle dans les domaines où l’information évolue rapidement.
Par exemple, demandez-lui qui a remporté le dernier Super Bowl ou quel est le plus récent film Mission: Impossible, et le modèle pourrait répondre quelque chose comme ceci :
generate(“Qui a remporté le dernier Super Bowl?”)
generate( “Quel est le plus récent film Mission: Impossible?” )D’après ma dernière mise à jour en octobre 2023, le Super Bowl le plus récent était le Super Bowl LVII, qui s’est déroulé le 12 février 2023. Les Chiefs de Kansas City ont remporté ce match en battant les Eagles de Philadelphie par la marque de 38 à 35. Si vous cherchez de l’information plus récente, veuillez consulter les dernières sources.D’après mes connaissances en octobre 2023, le dernier film « Mission: Impossible » sorti est « Mission: Impossible – Dead Reckoning Part One », lancé en juillet 2023. Il s’agit du septième film de la franchise, avec Tom Cruise dans le rôle d’Ethan Hunt. Une suite, « Mission: Impossible – Dead Reckoning Part Two », est prévue pour 2024.
Pour combler cette lacune, les développeurs utilisent des ressources externes comme les recherches Web, les pages Wikipédia, les bases de documents ou des formats de données structurées comme les fichiers PDF et JSON. Nous y reviendrons plus tard dans le module! Ce n’est pas une solution parfaite, mais elle aide à garder le modèle quelque peu ancré dans la réalité.
Les LLMs ne mémorisent pas toutes les connaissances humaines!
Une autre limite à mentionner est que les LLMs ne stockent pas précisément les connaissances ou les faits obscurs dans leurs paramètres, même si ceux-ci figuraient dans leurs données d’entraînement. Ils absorbent plutôt des patterns généraux et des généralités dans d’immenses quantités de données, au lieu de mémoriser explicitement chaque détail. Ainsi, lorsqu’on l’interroge sur une procédure médicale de niche ou un événement historique rarement cité, le modèle éprouve souvent des difficultés.
En plus de cela, beaucoup d’informations clés sont enfermées dans les données internes des entreprises ou dans l’expertise de professionnels. Même si ces connaissances existaient avant la date de coupure de l’entraînement du modèle, les entreprises d’IA n’y ont jamais eu accès et le modèle ne les a jamais vues pendant son entraînement.
Hallucinations et erreurs
Une autre limite évidente des LLMs est qu’ils se trompent. Souvent. Parfois, ils interprètent mal une question. Parfois, ils affirment n’importe quoi avec assurance, comme dans le cas de notre procédure médicale où le modèle pourrait fournir une réponse complètement fausse. Le principal problème est qu’il ne sait pas qu’il se trompe. Il ne possède pas les concepts de vérité, de fait et de mensonge. Il connaît seulement des mots et des corrélations statistiques. Nous appelons ces mensonges des « hallucinations », même si ce n’est peut-être pas le meilleur mot. Souvent, elles découlent finalement des facteurs dont nous venons de parler, soit les limites de ses connaissances mémorisées et de son architecture.
Le modèle ne vérifie pas lui-même les faits. Il génère chaque token uniquement en fonction de ce qui a statistiquement le plus de sens. Si ses données d’entraînement contenaient des erreurs, celles-ci s’intègrent à ses réponses. S’il lui manque des connaissances, il ne l’admettra pas. Il interpolera simplement à partir des patterns.
💡Oui, interpoler, pas extrapoler. Il ne peut pas extrapoler vers de nouvelles connaissances à moins que vous lui donniez d’abord des exemples ou des moyens d’y accéder. Il peut seulement partir de ce qu’il a vu et créer de nouveaux liens entre ces éléments, mais il ne peut pas développer un nouveau paradigme et extrapoler à partir des données qu’il a vues, tout comme les autres modèles d’IA qui existaient avant les LLMs. Bref, désolé pour cette parenthèse. Revenons au problème des hallucinations.
Le processus de post-entraînement avec l’« instruction tuning » et l’« apprentissage par renforcement à partir de feedback humain », dont nous avons aussi parlé, joue un rôle ici. Les modèles sont récompensés lorsqu’ils agissent comme des assistants utiles et suivent les instructions. Cela peut les pousser à inventer de l’information simplement pour vous faire plaisir!
Il existe des façons de réduire les hallucinations, que nous verrons plus tard dans ce cours, mais elles ne disparaissent jamais complètement. Tout système propulsé par un LLM a donc besoin de garde-fous, qu’il s’agisse de recherche de connaissances externes, de supervision humaine ou d’avertissements clairs.
Voici un exemple où ChatGPT accepte simplement un fait erroné parce qu’il ne peut pas distinguer la vérité d’un mensonge, et où son entraînement par renforcement lui a appris à s’excuser et à suivre le feedback de l’utilisateur.
Pour mieux comprendre ce concept, regardez ceci. Lorsque nous demandons « Quel est le nom du plus grand modèle open source développé par Towards AI, et quelle est sa taille? », le modèle GPT-4o répond avec assurance que Towards AI a développé Grok.
Or, le modèle Grok a été développé par xAI, et il s’agit d’un LLM de 314 milliards de paramètres (Grok 1). En réalité, Towards AI n’a pas publié de modèle open source (pas encore), tandis que xAI a déjà lancé Grok-3.
Ce problème n’est pas propre à ChatGPT ou à OpenAI. Des LLMs semblables comme Claude, Llama, Gemini et Mistral présentent aussi ce comportement.
Les LLMs comprennent plutôt mal la chronologie
De plus, les LLMs comprennent plutôt mal la chronologie. Les transformeurs et le mécanisme d’attention traitent l’information en parallèle et dépendent fortement des embeddings positionnels pour fournir un certain sens de l’ordre. Cela demeure toutefois un substitut grossier à une véritable compréhension du temps ou des relations de cause à effet. Les LLMs mélangent fréquemment les chronologies ou confondent les séquences d’événements, ce que vous avez peut-être déjà vécu. Essayez simplement d’obtenir un bon plan d’entraînement de 6 mois pour un marathon, et vous verrez ce que je veux dire.
Biais
Un autre problème est que les LLMs peuvent aussi absorber les biais cachés dans leurs données d’entraînement. Ces biais proviennent habituellement de datasets qui manquent de diversité linguistique et culturelle ou qui baignent dans des stéréotypes historiques et des suppositions désuètes, comme une grande partie d’Internet! Si les données d’entraînement représentent constamment les femmes dans des rôles subalternes ou répètent des stéréotypes nuisibles, peut-être en décrivant certains groupes ethniques comme intrinsèquement violents ou malhonnêtes, alors le modèle, véritable chambre d’écho statistique, apprend naturellement à reproduire ces points de vue.
Voici des outputs du modèle « GPT-4o-mini ». Les réponses font clairement écho aux stéréotypes traditionnels de genre en associant automatiquement des métiers comme « ingénieur » et « travailleur de la construction » aux hommes, et « infirmière » ou « travailleuse sociale » principalement aux femmes. Les biais inhérents peuvent se glisser dans les outputs du modèle sans intention ni conscience.
Les biais ne se limitent pas aux données démographiques sensibles comme la race ou le genre. Ils apparaissent partout où le modèle a rencontré des données d’entraînement inégales ou déséquilibrées, que ce soit dans les normes d’un secteur, les pratiques commerciales régionales ou les applications spécialisées. En bref, lorsque des patterns biaisés se glissent dans les données, ils réapparaîtront probablement dans les réponses générées par le modèle. Les biais sont inévitables. Chaque humain a des biais ; chaque gouvernement a des biais. L’objectif est de réduire les mauvais et de nous concentrer sur les bons, comme le fait d’être gentils les uns envers les autres.
Généralisation hors de la distribution des données d’entraînement?
Parfois, les LLMs nous surprennent positivement. Ils peuvent générer des réponses qui semblent créatives en appliquant des connaissances de nouvelles façons qui vont au-delà de la simple mémorisation. Si vous demandez à un modèle d’écrire une recette de pâtes dans le style d’un chant de marins pirates, il fera un excellent travail, même si personne ne lui a fourni un dataset de recettes sur le thème des pirates.
Le modèle excelle à reconnaître des patterns et à combiner des caractéristiques provenant de différentes sources de données. Mais jusqu’où cela nous mène-t-il? Les LLMs peuvent-ils résoudre des problèmes entièrement nouveaux qui exigent un raisonnement allant au-delà de leur dataset d’entraînement? C’est moins clair. Cela demeure ce que nous appelons de l’interpolation.
Mais est-ce une véritable intelligence? Honnêtement, je ne sais pas vraiment. Cela dépend beaucoup de votre définition personnelle de l’intelligence. Après tout, la créativité humaine consiste souvent, elle aussi, à réutiliser des fragments de connaissances provenant de domaines différents.
Un test important consiste à vérifier si les LLMs peuvent générer des réponses justes pour des concepts situés en dehors de la distribution de leurs données d’entraînement. Pour l’instant, ils ont du mal. Ils ne peuvent pas extrapoler autant que les humains. Leurs capacités de raisonnement sont limitées et leur aptitude à extrapoler est inégale. Voilà pourquoi la supervision humaine reste essentielle, pour l’instant, lorsqu’on utilise des LLMs dans un contexte où les enjeux sont élevés.
Modes d’échec inattendus
Certaines des preuves les plus convaincantes que les LLMs ne comprennent pas vraiment le monde et ne généralisent pas se trouvent dans leurs échecs étranges et contre-intuitifs.
La forme d’intelligence extraterrestre manifestée par les LLMs crée un paradoxe. Le même modèle capable de rédiger avec fluidité des essais complexes peut échouer à des tâches simples que les élèves du primaire accomplissent couramment. Comme son intelligence est statistique plutôt que véritablement réflexive, des incompréhensions subtiles et des hallucinations peuvent s’y glisser. Même lorsqu’un LLM semble très intelligent, il peut cacher des incompréhensions fondamentales qui ne sont pas immédiatement apparentes. Les utilisateurs surestiment facilement les outputs bruts de ces modèles, ce qui entraîne des erreurs allant de l’évidence triviale à la subtilité dangereuse.
Prenez un test récent avec les modèles GPT-4o et o1 d’OpenAI. Lorsqu’on leur a demandé combien de « R » se trouvent dans le mot strawberry, ils ont répondu avec assurance deux. Lorsqu’on leur a demandé de vérifier, ils se sont corrigés : trois. Cela montre au moins un certain progrès. Mais lorsqu’on leur a demandé d’indiquer les positions, ils ont répondu 5, 8 et 9, ce qui est faux. Les bonnes positions sont 3, 8 et 9.
Ce n’est pas une simple faute de frappe. C’est la preuve d’un problème plus profond : le modèle ne « voit » pas réellement les mots comme nous. Son système de tokenisation signifie que compter les lettres n’est pas une tâche simple, et son approche statistique de la génération de réponses mène parfois à des réponses absurdes.
Une autre énigme logique courante révèle des défauts semblables : « Sally a trois frères. Chaque frère a deux sœurs. Combien de sœurs Sally a-t-elle? » Au départ, ChatGPT 4o a affirmé : « Sally a deux sœurs. » Cependant, en décomposant la logique, il a conclu que Sally est l’une des deux sœurs que ses frères ont en commun, ce qui lui laisse une seule autre sœur.
Cela met en évidence une faiblesse importante. Malgré leurs capacités conversationnelles impressionnantes, les LLMs ont souvent du mal avec un raisonnement relationnel simple. Même des tâches de base peuvent provoquer des erreurs inattendues.
L’une des difficultés lorsqu’on juge les capacités d’un LLM à partir d’exemples anecdotiques d’échecs vient du fait que son fonctionnement interne est en réalité très complexe. Il possède peut-être la capacité d’effectuer un raisonnement plus complexe et de trouver la bonne réponse à ces énigmes logiques. Mais le prochain token ayant la probabilité la plus élevée est plutôt détourné par des circuits neuronaux plus simples qui ont mémorisé des énigmes logiques d’apparence semblable, mais différentes, dans les données d’entraînement. Parfois, un prompting différent peut amorcer le modèle autrement et débloquer une réflexion plus attentive.
💡Composer avec tous ces échecs paradoxaux de l’IA exige de la vigilance ainsi qu’une compréhension plus avancée de leur fonctionnement et des raisons de ces échecs.
Cela souligne aussi pourquoi des vérifications rigoureuses et des garde-fous restent essentiels lorsqu’on déploie des LLMs, particulièrement dans des contextes où les enjeux sont élevés.
Réduire les lacunes avec le RAG, le prompting, le fine-tuning et les outils
Jusqu’ici dans cet article, nous avons été assez sévères envers les LLMs, peut-être au point de vous faire demander pourquoi vous vous êtes donné la peine de suivre tout un cours sur la façon de construire avec eux. La vérité, c’est que nous apprécions réellement ce que ces modèles peuvent faire, malgré leurs bizarreries et leurs plantages occasionnels. Nous pouvons faire beaucoup pour atténuer leurs lacunes et leurs excentricités, et nous y reviendrons bientôt. Mais nous pensions qu’il était important de vous faire d’abord bien assimiler leurs particularités et de vous aider à comprendre exactement où et pourquoi ces problèmes surviennent. Comprendre l’anatomie de ces échecs n’est pas du pessimisme. C’est la base nécessaire pour déployer efficacement les LLMs d’une façon qui met leurs forces au premier plan tout en limitant leurs faiblesses.
La fiabilité bondit lorsqu’on ajoute du prompting structuré, de la génération augmentée par la recherche d’information (RAG), du fine-tuning ciblé et des API d’appel d’outils, que nous explorerons dans le cours.
Parmi les autres techniques avancées, on trouve la génération augmentée par la recherche d’information (RAG), qui fournit au modèle des données pertinentes à grande échelle, le fine-tuning spécialisé, qui adapte les paramètres du modèle pour améliorer ses performances sur des tâches précises, et l’intégration d’outils externes. Plusieurs de ces techniques sont offertes directement dans des chatbots comme ChatGPT ou dans d’autres applications d’IA générative construites sur ces mêmes modèles et personnalisées pour des secteurs ou des cas d’usage précis.
Néanmoins, il reste crucial de savoir exactement quand faire confiance à un LLM et quand vérifier son output. Ce scepticisme sélectif, combiné à une utilisation habile et au bon choix de modèle d’IA ou d’application d’IA, peut transformer une intelligence imparfaite en un assistant incroyablement utile.
Conclusion
Certains modèles ou certaines applications personnalisées construites sur ceux-ci sont beaucoup plus performants et fiables pour certaines tâches que d’autres modèles. Mais avec de nouveaux modèles et outils à la fine pointe qui sortent chaque jour, suivre leur évolution et choisir le meilleur pour votre tâche est loin d’être facile!
Qu’est-ce que cela signifie pour vous? Une occasion. Ces lacunes sont votre occasion : maîtrisez chaque faiblesse, choisissez le bon modèle et concevez la colle technique qui le relie aux workflows de votre domaine.
Merci d’avoir lu!
FAQ
Qu’est-ce que les LLMs apprennent vraiment?
Ils apprennent des patterns statistiques qui les aident à prédire le langage et les comportements, et non une compréhension humaine du monde ancrée dans la réalité.
Pourquoi les LLMs se trompent-ils avec assurance?
Ils sont optimisés pour produire du texte probable. Une réponse plausible peut donc apparaître même lorsque le modèle n’a aucune preuve.
Comment les builders devraient-ils gérer les faiblesses des LLMs?
Utilisez la recherche d’information, des évaluations, des contraintes, du monitoring et de la révision humaine lorsque les erreurs créeraient un véritable risque.
Comment la date de coupure des connaissances affecte-t-elle un LLM?
Sans accès à des sources externes à jour, le modèle ne peut pas connaître de façon fiable les événements ou les changements survenus après ses données d’entraînement.
Pourquoi l’ancrage ne règle-t-il que partiellement les hallucinations?
Des preuves pertinentes aident, mais la recherche peut omettre de l’information et le modèle peut encore mal l’interpréter ou l’ignorer.
Pourquoi les LLMs ont-ils du mal avec la chronologie?
Les LLMs apprennent les relations temporelles statistiquement à partir du texte plutôt que par expérience directe. Ils peuvent donc encore confondre les dates, l’ordre des événements ainsi que les causes et les effets.