À retenir
- Les LLMs n’ont pas besoin d’une mauvaise intention pour vous induire en erreur. Ils peuvent produire une réponse soignée sans avoir assez de preuves.
- Les systèmes honnêtes ont besoin d’ancrage, de citations, de vérifications et de boucles d’évaluation autour de l’output du modèle.
- L’objectif n’est pas d’éliminer chaque erreur. C’est d’intercepter celles qui comptent avant que les utilisateurs en dépendent.
Dans la dernière vidéo, nous avons parcouru les bases de l’entraînement des grands modèles de langage et, en réalité, de l’apprentissage automatique dans son ensemble. Si vous n’avez pas saisi chaque détail, ne vous inquiétez pas. Ce n’était pas le but. L’objectif n’était pas de faire de vous un chercheur en IA en vingt minutes, mais de vous donner juste assez de contexte pour comprendre comment tout s’emboîte. Nous avons parlé des transformeurs, des objectifs d’entraînement et de la manière dont les LLMs n’apprennent pas comme les humains. Cette dernière partie est essentielle : ces modèles possèdent des forces et des faiblesses uniques qui en font des composants puissants dans certains domaines et peu fiables dans d’autres.
Il est essentiel de comprendre ces faiblesses pour savoir où vous pouvez créer et utiliser des outils basés sur les LLMs de manière sûre et appropriée dans vos workflows, et quelles techniques permettent de gérer ces problèmes. Les LLMs ne sont pas des génies plug-and-play. Ils ont souvent besoin de travail supplémentaire pour devenir pratiques dans de vraies applications.
Maintenant, regardons de plus près ce que ces modèles « apprennent » réellement, où ils échouent et ce que nous pouvons faire à ce sujet.
Qu’est-ce que le LLM apprend réellement?
Nous avons vu que les transformeurs passent tout leur cycle d’entraînement à prédire obsessionnellement le prochain token, mais qu’est-ce qui est appris précisément? À l’intérieur de ces modèles semble apparaître une représentation interne complexe, un espace vectoriel de grande dimension, comme les graphiques en 2 ou 3 dimensions que nous avons vus à l’école, mais avec des milliers de dimensions. On l’appelle souvent l’espace des embeddings. Des tokens comme « chaton » et « chiot » s’y trouvent près l’un de l’autre, tandis que « scie à chaîne » ou « feu » restent sagement très loin.
Ce processus, développé itérativement pendant des milliards de cycles d’entraînement, crée l’une des grandes forces des LLMs : la compréhension sémantique de vos questions. Le modèle ne récupère pas seulement des mots-clés correspondants, mais accède à des couches de sens interconnectées, saisissant le contexte, les nuances et les liens abstraits. Il gère facilement les requêtes complexes, en comparant et en synthétisant des concepts variés, bien au-delà des moteurs de recherche traditionnels limités aux mots-clés.
Tout ça est excellent, mais le point important est que ce n’est pas ainsi que les humains pensent. Le LLM ne raisonne pas. Il ne forme pas d’opinions. Il traite seulement des probabilités avec une efficacité extrême et surprenante, ce qui mène aussi à certaines de ses faiblesses. Ce que nous voyons comme des réponses « intelligentes » se matérialise à partir d’une soupe de relations statistiques entre les tokens, empilées d’une manière qui ressemble à de la compréhension. Ce qui compte pour nous, c’est comment ce système échoue et ce que nous pouvons faire pour le rendre plus fiable. Comprenons donc un peu mieux ces faiblesses, ou limites…
Date limite des connaissances (accès aux informations récentes)
L’une des plus grandes limites de l’entraînement des réseaux neuronaux est qu’il s’agit d’une opération unique. On entraîne une fois, on déploie, puis on espère que le monde ne change pas trop. Entraîner ces modèles n’est pas une petite tâche non plus. Ça exige des mois d’entraînement sur des GPU dans des centres de données dont la construction coûte des milliards de dollars. Et une fois terminé, c’est terminé. Le modèle est figé dans le temps, parfaitement inconscient de tout ce qui se produit ensuite.
Cette approche fonctionne très bien pour les compétences qui changent peu, comme détecter le sentiment d’un texte ou résumer des articles vieux de plusieurs décennies. Mais donnez-lui quelque chose qui évolue rapidement, comme les nouveaux modèles d’IA, la recherche médicale ou l’actualité, et le modèle travaille soudainement avec des connaissances dépassées.
Cette limite s’appelle la date limite des connaissances du modèle. Elle indique le dernier moment où celui-ci a été entraîné sur de nouvelles données. Ce n’est pas seulement un désagrément; ça influence fondamentalement l’utilité du modèle dans les domaines où l’information change rapidement.
Par exemple, demandez-lui qui a gagné le dernier Super Bowl ou quel est le plus récent film Mission: Impossible, et le modèle pourrait répondre quelque chose comme ceci :
generate(“Qui a gagné le dernier Super Bowl?”)
generate( “Quel est le dernier film Mission: Impossible?” )
Selon ma dernière mise à jour en octobre 2023, le plus récent Super Bowl était le Super Bowl LVII, qui a eu lieu le 12 février 2023. Les Chiefs de Kansas City ont gagné ce match, battant les Eagles de Philadelphie par un score de 38 à 35. Si vous cherchez de l’information plus récente, veuillez consulter les dernières sources. En octobre 2023, le dernier film « Mission: Impossible » sorti est « Mission: Impossible – Dead Reckoning Part One », présenté en première en juillet 2023. Il s’agit du septième film de la franchise et Tom Cruise y joue Ethan Hunt. Une suite, « Mission: Impossible – Dead Reckoning Part Two », devrait sortir en 2024.
Pour combler cette lacune, les développeurs utilisent des ressources externes comme les recherches web, les pages Wikipédia, les bases de données documentaires ou les formats de données structurées comme les PDF et les fichiers JSON. Nous y reviendrons plus tard dans le module! Ce n’est pas une solution parfaite, mais elle aide à garder le modèle quelque peu ancré dans la réalité.
Les LLMs ne mémorisent pas toutes les connaissances humaines!
Une autre limite à mentionner est que les LLMs ne stockent pas précisément les connaissances ou les faits obscurs dans leurs paramètres, même lorsque cette information figurait dans leurs données d’entraînement. Ils absorbent plutôt de grands patterns et des généralités à partir d’énormes quantités de données au lieu de mémoriser explicitement chaque détail. Si on les questionne sur une procédure médicale de niche ou un événement historique rarement cité, ils ont donc souvent de la difficulté.
En plus, beaucoup d’informations clés sont enfermées dans les données internes des entreprises ou dans l’expertise de leurs employés. Même si ces connaissances existaient avant la date limite d’entraînement du modèle, les entreprises d’IA n’y ont jamais eu accès et le modèle ne les a jamais vues pendant son entraînement.
Hallucinations et erreurs
Une autre limite évidente des LLMs est qu’ils se trompent. Souvent. Parfois, ils comprennent mal une question. Parfois, ils affirment des absurdités avec confiance, comme dans notre exemple de procédure médicale où le modèle pourrait donner une réponse complètement fausse. Le problème principal est qu’il ne sait pas qu’il a tort. Il ne possède aucun concept de vérité, de fait ou de mensonge. Il connaît seulement des mots et des corrélations statistiques. Nous appelons ces mensonges des « hallucinations », même si ce n’est peut-être pas le meilleur terme. La plupart du temps, elles proviennent finalement des facteurs que nous venons d’aborder au sujet des limites de ses connaissances mémorisées et de son architecture.
Le modèle ne vérifie pas lui-même les faits. Il génère chaque token seulement selon ce qui semble statistiquement le plus logique. Si ses données d’entraînement contenaient des erreurs, celles-ci se retrouvent dans ses réponses. S’il existe un trou dans ses connaissances, il ne l’admet pas. Il interpole simplement à partir de patterns.
💡 Oui, il interpole, il n’extrapole pas. Il ne peut pas extrapoler vers de nouvelles connaissances à moins que vous lui donniez d’abord des exemples ou des façons de les obtenir. Il peut seulement prendre ce qu’il a vu et créer de nouveaux liens entre ces éléments, mais il ne peut pas développer un nouveau paradigme et extrapoler à partir des données qu’il connaît, exactement comme les autres modèles d’IA d’avant l’arrivée des LLMs. Bref, désolé pour cette parenthèse, revenons au problème des hallucinations.
Le processus de post-entraînement avec l’« instruction tuning » et l’« apprentissage par renforcement à partir du feedback humain », que nous avons aussi abordé, joue un rôle ici. Les modèles sont récompensés lorsqu’ils se montrent utiles et suivent les instructions. Ça peut les pousser à inventer de l’information seulement pour vous faire plaisir!
Il existe des façons de réduire les hallucinations, que nous verrons plus tard dans ce cours, mais elles ne disparaissent jamais complètement. Tout système propulsé par un LLM a donc besoin de mesures de protection, qu’il s’agisse de récupérer des connaissances externes, de conserver une supervision humaine ou d’ajouter des avertissements clairs.
Pour mieux comprendre ce concept, regardez ceci. Lorsque nous demandons : « Quel est le nom du plus grand modèle open source développé par Towards AI, et quelle est sa taille? », le modèle GPT-4o répond avec confiance que Towards AI a développé Grok.
Pourtant, le modèle Grok a été créé par xAI. Il s’agit d’un LLM de 314 milliards de paramètres (Grok 1). En réalité, Towards AI n’a pas encore lancé de modèle open source, alors que xAI a déjà sorti Grok-3.
Ce problème ne touche pas seulement ChatGPT ou OpenAI. Des LLMs semblables, comme Claude, Llama, Gemini et Mistral, présentent aussi ce comportement.
Les LLMs comprennent particulièrement mal la chronologie
De plus, les LLMs comprennent particulièrement mal la chronologie. Les transformeurs et le mécanisme d’attention traitent l’information en parallèle et dépendent fortement des embeddings positionnels pour donner une certaine idée de l’ordre. Pourtant, ce n’est qu’un substitut rudimentaire à une véritable compréhension du temps ou des relations de cause à effet. Les LLMs mélangent fréquemment les chronologies ou confondent la séquence des événements, ce que vous avez peut-être déjà vécu. Essayez seulement de leur demander un bon plan d’entraînement de 6 mois pour un marathon et vous comprendrez.
Biais
Un autre problème est que les LLMs peuvent aussi absorber les biais cachés dans leurs données d’entraînement. Ces biais proviennent habituellement de datasets qui manquent de diversité linguistique et culturelle, ou qui sont imprégnés de stéréotypes historiques et de suppositions dépassées, comme une grande partie d’Internet! Si les données d’entraînement présentent constamment les femmes dans des rôles subalternes ou répètent des stéréotypes nuisibles, en décrivant peut-être certains groupes ethniques comme naturellement violents ou malhonnêtes, le modèle, qui agit comme une chambre d’écho statistique, apprend naturellement à reproduire ces points de vue.
Voici des outputs du modèle « GPT-4o-mini ». Les réponses reprennent clairement les stéréotypes traditionnels liés au genre. Elles associent automatiquement les professions comme « ingénieur » et « travailleur de la construction » aux hommes, et « infirmière » ou « travailleuse sociale » principalement aux femmes. Des biais présents dans les données peuvent se glisser sans intention ni conscience dans les outputs du modèle.
Les biais ne se limitent pas aux caractéristiques démographiques sensibles comme l’origine ethnique ou le genre. Ils apparaissent partout où le modèle a rencontré des données d’entraînement inégales ou déséquilibrées, qu’il s’agisse de normes industrielles, de pratiques commerciales régionales ou d’applications spécialisées. En bref, lorsque des patterns biaisés se glissent dans les données, ils réapparaîtront probablement dans les réponses générées par le modèle. Les biais sont inévitables. Chaque humain a des biais; chaque gouvernement a des biais. L’objectif ici est de réduire les mauvais biais et de nous concentrer sur les bons, comme être gentils les uns envers les autres.
Généralisation hors de la distribution des données d’entraînement?
Parfois, les LLMs nous surprennent positivement. Ils peuvent générer des réponses qui semblent créatives, en appliquant leurs connaissances de nouvelles façons qui vont au-delà de la simple mémorisation. Si vous leur demandez d’écrire une recette de pâtes dans le style d’un chant de marin pirate, ils feront un excellent travail, même si personne ne leur a fourni un dataset de recettes sur le thème des pirates.
Le modèle excelle à reconnaître les patterns et à combiner des caractéristiques venant de différentes sources de données. Mais jusqu’où ça nous mène-t-il? Les LLMs peuvent-ils résoudre des problèmes complètement nouveaux qui exigent un raisonnement au-delà de leur dataset d’entraînement? C’est moins clair. Ça demeure ce qu’on appelle de l’interpolation.
Mais est-ce une véritable intelligence? Honnêtement, je ne le sais pas vraiment. Beaucoup dépend de votre définition personnelle de l’intelligence. Après tout, la créativité humaine consiste souvent elle aussi à réutiliser des morceaux de connaissances venant de domaines différents.
Un test important consiste à vérifier si les LLMs peuvent générer des réponses correctes pour des concepts hors de la distribution de leurs données d’entraînement. En ce moment, ils ont de la difficulté. Ils ne peuvent pas beaucoup extrapoler comme les humains le font. Leurs capacités de raisonnement sont limitées et leur capacité d’extrapolation est incohérente. C’est pourquoi, pour l’instant, la supervision humaine reste essentielle lorsqu’on utilise des LLMs dans n’importe quel contexte à enjeux élevés.
Modes de défaillance inattendus
Certaines des meilleures preuves que les LLMs ne comprennent pas réellement le monde et ne généralisent pas viennent de leurs échecs étranges et contre-intuitifs.
La forme d’intelligence extraterrestre des LLMs crée un paradoxe. Le même modèle qui peut rédiger avec aisance des essais complexes peut échouer à des tâches simples que des élèves du primaire réussissent facilement. Comme leur intelligence est statistique plutôt que véritablement réfléchie, des incompréhensions subtiles et des hallucinations peuvent s’y glisser. Même lorsqu’un LLM semble très intelligent, il peut cacher des incompréhensions fondamentales qui ne sont pas immédiatement visibles. Les utilisateurs surestiment facilement les outputs bruts de ces modèles, ce qui mène à des erreurs allant de l’évidence triviale à la subtilité dangereuse.
Prenez un test récent avec les modèles GPT-4o et o1 d’OpenAI. Lorsqu’on leur a demandé combien de « R » se trouvent dans le mot strawberry, ils ont répondu avec confiance qu’il y en avait deux. Lorsqu’on leur a demandé de revérifier, ils se sont corrigés : trois. Ça montre au moins un certain progrès. Mais lorsqu’on leur a demandé d’énumérer leurs positions, ils ont répondu 5, 8 et 9, ce qui est faux. Les bonnes positions sont 3, 8 et 9.
Ce n’est pas seulement une faute de frappe. C’est la preuve d’un problème plus profond : le modèle ne « voit » pas réellement les mots comme nous. Son système de tokenisation signifie que compter les lettres n’est pas une tâche simple, et son approche statistique pour générer les réponses mène parfois à des réponses absurdes.
Une autre énigme logique courante montre des défauts semblables : « Sally a trois frères. Chaque frère a deux sœurs. Combien de sœurs Sally a-t-elle? » Au départ, ChatGPT 4o a répondu : « Sally a deux sœurs. » Toutefois, après avoir décomposé la logique, il a conclu que Sally est elle-même l’une des deux sœurs partagées avec ses frères, ce qui lui laisse seulement une sœur.
Ça met en lumière une faiblesse critique. Malgré leurs capacités conversationnelles impressionnantes, les LLMs ont souvent de la difficulté avec le simple raisonnement relationnel. Même les tâches de base peuvent provoquer des erreurs inattendues.
L’une des difficultés lorsqu’on juge les capacités d’un LLM à partir d’exemples anecdotiques d’échecs est que son fonctionnement interne est en réalité très complexe. Il possède peut-être la capacité de raisonner sur des problèmes plus complexes et de trouver la bonne réponse à ces énigmes logiques, mais le prochain token ayant la probabilité la plus élevée est plutôt détourné par des circuits neuronaux plus simples qui ont mémorisé des énigmes semblables en apparence, mais différentes, dans les données d’entraînement. Parfois, différents prompts peuvent amorcer le modèle de différentes façons et débloquer une réflexion plus attentive.
Ça souligne aussi pourquoi les vérifications rigoureuses et les garde-fous restent essentiels lorsqu’on déploie des LLMs, particulièrement dans les scénarios à enjeux élevés.
Réduire les lacunes avec le RAG, le prompting, le fine-tuning et les outils
Jusqu’ici dans cet article, nous avons été plutôt durs avec les LLMs. Assez pour vous faire demander pourquoi vous avez suivi tout un cours sur la manière de construire avec eux. La vérité, c’est que nous apprécions réellement ce que ces modèles peuvent faire malgré leurs bizarreries et leurs chutes occasionnelles. Nous pouvons faire beaucoup pour réduire leurs lacunes et leurs excentricités, ce que nous aborderons bientôt. Mais nous pensions qu’il était important de commencer par bien ancrer leurs particularités et de vous aider à conceptualiser précisément où et pourquoi ces problèmes apparaissent. Comprendre l’anatomie de ces échecs n’est pas du pessimisme; c’est le fondement d’un déploiement efficace des LLMs qui place leurs forces au premier plan tout en limitant leurs faiblesses.
La fiabilité bondit dès que vous ajoutez du prompting structuré, de la génération augmentée par la recherche d’information (RAG), du fine-tuning ciblé et des APIs d’appel d’outils, que nous allons approfondir dans le cours.
D’autres techniques avancées comprennent la génération augmentée par la recherche d’information (RAG), qui fournit à grande échelle des données pertinentes au modèle, le fine-tuning spécialisé, qui adapte les paramètres du modèle pour améliorer sa performance sur des tâches précises, et l’intégration à des outils externes. Plusieurs de ces techniques sont regroupées et offertes directement dans des chatbots comme ChatGPT ou dans d’autres applications d’IA générative construites sur les mêmes modèles et adaptées à des industries ou à des cas d’utilisation précis.
Néanmoins, il reste essentiel de savoir exactement quand faire confiance à un LLM et quand vérifier de nouveau son output. Ce scepticisme sélectif, combiné à une utilisation compétente et au bon choix de modèle d’IA ou d’application d’IA, peut transformer une intelligence imparfaite en un assistant incroyablement utile.
Conclusion
Certains modèles ou certaines applications personnalisées construites sur ceux-ci sont beaucoup plus performants et fiables que d’autres pour certaines tâches. Mais avec de nouveaux modèles et outils à la fine pointe qui sortent chaque jour, rester au courant du meilleur outil pour votre tâche n’est pas simple!
Qu’est-ce que ça signifie pour vous? Une occasion. Ces lacunes sont votre occasion : maîtrisez chaque faiblesse, choisissez le bon modèle et concevez la colle qui le lie à vos workflows de domaine.
Merci d’avoir lu!
FAQ
Pourquoi les LLMs mentent-ils?
Ils génèrent du texte probable. Ils peuvent donc affirmer des choses fausses avec confiance lorsque le prompt ou le contexte n’ancre pas la réponse.
Comment garder un LLM honnête?
Donnez-lui un meilleur contexte, exigez des sources lorsque c’est nécessaire, évaluez les outputs et concevez le workflow pour que les affirmations puissent être vérifiées.
Quelle est l’erreur dangereuse?
L’erreur dangereuse consiste à faire confiance au ton. Une réponse convaincante peut quand même être fausse, incomplète ou non fondée.
Pourquoi les domaines qui évoluent rapidement sont-ils particulièrement difficiles pour les LLMs?
Les connaissances statiques de l’entraînement deviennent rapidement dépassées, ce qui augmente le risque de réponses fluides, mais non fondées.
Que devrait vérifier un workflow de vérification?
Il devrait comparer les affirmations importantes aux preuves récupérées et transmettre à une personne les cas incertains ou à fort impact.
Comment les biais peuvent-ils entrer dans les réponses d’un LLM?
Le modèle peut reproduire les stéréotypes et les lacunes de ses données d’entraînement, surtout lorsque des langues, des cultures ou des groupes sont mal représentés.