À retenir
- Le prompting n’a jamais été tout le problème. Vous devez comprendre avec quel type de système vous communiquez.
- Les outils d’IA peuvent sembler sûrs d’eux tout en échouant de simples vérifications de raisonnement, d’ancrage ou de cohérence.
- Apprendre les termes vous donne une meilleure façon de diagnostiquer pourquoi un modèle semble utile une minute et confus la suivante.
Voici la vidéo complète :
Si vous lisez ceci, c’est soit parce que vous utilisez trop d’outils d’IA comme ChatGPT, Gemini ou Claude pour diverses choses, soit parce que la personne qui vous a envoyé cet article le pense.
Dans tous les cas, vous avez probablement vécu la même expérience que la plupart des gens avec ces outils. Vous posez une question simple, vous obtenez une réponse et quelque chose cloche. Parfois, c’est vague. Parfois, c’est lent. Parfois, le ton semble assuré, soigné et digne de confiance, puis vous réalisez que la réponse est tout simplement fausse.
La partie frustrante n’est pas que l’outil échoue. C’est qu’il échoue de façon incohérente.
Vous pouvez poser presque la même question deux fois et obtenir deux niveaux de qualité différents, comme si l’outil était brillant une minute et confus la suivante.
Lorsque cela se produit, les conseils habituels reviennent. Améliorez votre prompt. Reformulez. Soyez plus précis. Ajoutez des contraintes. Réessayez.
Une communication claire aide, mais le prompting n’est pas le vrai problème ici. Nous sommes tous des prompt engineers. Ce n’est que la surface. Le problème plus profond est que la plupart des gens utilisent des systèmes qu’ils ne comprennent pas. Essayez d’utiliser correctement un vélo sans comprendre que pousser sur les pédales fait tourner les roues.
Ces outils semblent conversationnels. Notre instinct nous pousse donc à les traiter comme des partenaires de conversation. Mais leur intelligence n’a pas une forme humaine. Elle est inégale. Dentelée. Elle atteint des sommets dans certains domaines et s’effondre dans d’autres. Un modèle peut rédiger une magnifique explication, aider à réfléchir à une stratégie ou produire un brouillon qui ressemble à un travail terminé, puis échouer avec confiance à une simple étape logique. Il peut expliquer un sujet complexe en termes simples et inventer, quelques lignes plus loin, des détails qui n’ont jamais existé.
Si vous ne comprenez pas le type de système avec lequel vous interagissez, vous ne pouvez pas prévoir quand il sera fiable et quand il vous surprendra. Voilà le problème que je voulais résoudre, parce qu’il touche tout le monde, pas seulement les ingénieurs. Ces outils font déjà partie du travail quotidien d’un nombre immense de personnes et deviennent rapidement une composante du workflow par défaut de la plupart des métiers du savoir.
J’ai donc construit quelque chose qui semble presque trop simple pour compter.
Un vocabulaire.
J’ai publié un cours YouTube gratuit intitulé « Introduction à l’IA en 42 termes ». Il comprend 42 shorts, chacun consacré à un concept qui revient constamment dès que quelqu’un essaie d’expliquer les LLMs et l’IA générative. La série complète est déjà en ligne. Le but n’est pas de vous faire mémoriser des définitions. Le but est de vous donner un modèle mental du fonctionnement de ces systèmes afin que vous puissiez les utiliser de façon réfléchie plutôt que d’avancer à l’aveugle.
Commencez le mini-cours ici :
Parce qu’une fois que vous avez ce modèle mental, tout change. Le comportement étrange cesse de sembler aléatoire. Les forces cessent de paraître magiques. Les échecs cessent de sembler personnels. Surtout, vous savez quoi faire ensuite.
La majorité de la confusion autour de l’IA vient d’un manque de vocabulaire. Les gens parlent de tokens, d’embeddings, de paramètres, d’hallucinations, de fine-tuning, de retrieval, d’agents, d’alignement et de garde-fous comme si tout le monde savait déjà ce que ces mots signifient. Si ces termes sont flous, tout ce qui est construit par-dessus demeure flou. Vous ne pouvez pas dire pourquoi une réponse a échoué. Vous ne pouvez pas dire pourquoi un modèle semble meilleur qu’un autre. Vous ne pouvez pas dire pourquoi l’ajout d’un document rend soudainement l’output plus précis. Vous ne pouvez pas dire si un produit propulsé par l’IA est réellement solide ou s’il n’est qu’un habillage astucieux autour d’une fenêtre de conversation.
Lorsque les gens n’ont pas le vocabulaire, ils tombent dans la superstition. Ils développent des rituels. Ils collectionnent des templates de prompts. Ils copient la formulation qui a fonctionné pour quelqu’un d’autre dans un outil différent avec des règles cachées différentes. Et ils sont ensuite surpris lorsque cela ne se transpose pas.
Spoiler : 99,9 % des « templates de prompts » ne servent à rien.
C’est pourquoi l’enseignement d’astuces de prompting ne m’intéresse pas et ne m’a jamais intéressé. Les techniques de prompting continuent de changer à mesure que les modèles évoluent. Les fondations ne changent pas. Les modèles s’améliorent chaque année, mais ils reposent encore sur les mêmes idées fondamentales, sont entraînés de façons semblables et sont limités par les mêmes contraintes sous-jacentes qui ne sont pas près de changer. Si vous comprenez ces contraintes, vous continuerez d’en profiter même lorsque les interfaces et les fonctionnalités changeront.
Au cœur de tout cela se trouve une vérité simple que la plupart des gens n’ont toujours pas intégrée.
Un grand modèle de langage est un système qui prédit ce qui vient ensuite.
Lorsque vous écrivez une question dans ChatGPT, il ne cherche pas une réponse dans une base de données. Il ne « connaît » pas les choses au sens humain. Il prend le texte que vous lui avez donné et pose continuellement une question : compte tenu de tout ce que j’ai vu jusqu’ici, quel est le prochain token le plus probable? Ce token peut être un mot, une partie de mot, un nombre ou un signe de ponctuation. Il en prédit un, l’ajoute à la séquence, puis prédit le suivant et recommence jusqu’à ce qu’une réponse apparaisse. Vous regardez une machine à prédire le prochain token fonctionner en temps réel.
Cela explique pourquoi reformuler compte. Un petit changement au début modifie le paysage de probabilités de ce qui viendra ensuite et peut pousser le modèle sur un chemin complètement différent. Cela explique aussi pourquoi ces systèmes peuvent sembler avoir raison lorsqu’ils ont tort. La fluidité et la vérité ne sont pas la même chose. Le modèle est optimisé pour produire du texte plausible, pas pour vérifier des faits.
Une fois cela compris, les autres concepts se mettent en place. Les tokens comptent parce que tout est mesuré en tokens, notamment les limites, la vitesse et les coûts. Les embeddings comptent parce que le modèle ne peut pas traiter les mots comme des symboles. Il traite des nombres qui représentent des patterns d’utilisation. La fenêtre de contexte compte parce que le modèle ne se « souvient » que de ce qui y tient à ce moment précis. Si quelque chose tombe à l’extérieur de cette fenêtre, cela n’existe plus pour le modèle, peu importe l’importance que cette chose avait pour vous. Voilà pourquoi les conversations se dégradent, les contraintes dérivent et vous avez parfois l’impression que le modèle a « oublié » quelque chose d’évident. Il ne l’a pas oublié. Il n’y a simplement plus accès. (Nous définissons tout cela dans le cours gratuit!)
Le cours explique ensuite pourquoi les assistants se comportent comme ils le font. Un modèle de base est entraîné à continuer du texte. C’est tout. Pour obtenir quelque chose comme ChatGPT, on l’entraîne davantage afin qu’il suive des instructions et réponde d’une façon que les humains préfèrent. C’est ici qu’interviennent l’instruction tuning et les techniques comme RLHF. Elles ne font pas comprendre la vérité au modèle par magie. Elles façonnent son comportement, son ton et son utilité. Elles lui apprennent ce que les humains ont tendance à récompenser dans une réponse.
Vous arrivez ensuite à la réalité pratique qui compte pour toute personne utilisant ces outils dans le monde réel : les modèles échouent et vous avez besoin de façons de réduire ces échecs. Une hallucination n’est pas un bug qu’on corrige avec un meilleur prompt. C’est une conséquence du fonctionnement du système. Et nous ne pouvons pas changer ce fonctionnement. Si le modèle ne possède aucune information fiable dans son contexte, il produira quand même quelque chose, parce que c’est ce pour quoi il est conçu. La solution n’est donc souvent pas de « demander plus gentiment ». Elle consiste à ancrer le modèle dans une source de vérité. On utilise alors la génération augmentée par recherche d’information (RAG). Vous récupérez des renseignements pertinents dans des documents ou sur le Web, vous les injectez dans le prompt et vous forcez le modèle à générer sa réponse à partir de ces preuves plutôt qu’à partir de ses seuls patterns internes.
C’est aussi ici qu’apparaissent les systèmes d’agents et que les choses deviennent vite dangereuses si vous ne savez pas ce que vous faites. Plus vous permettez au modèle de naviguer, de récupérer de l’information et d’agir en votre nom, plus vous devez traiter tout ce qu’il lit comme un input non fiable. Une injection de prompt est essentiellement de l’ingénierie sociale pour les machines. Si vous construisez des systèmes qui chargent du texte externe, vous avez besoin de vraies défenses, pas de vibes.
Puis vient la partie que presque tout le monde ignore jusqu’à ce que quelque chose se brise : l’évaluation. Les gens adorent les scores des modèles et les classements. Mais les benchmarks ne vous disent pas si votre application se comportera bien. C’est pourquoi les builders mesurent des métriques comme la fidélité et la pertinence et utilisent de plus en plus des techniques comme LLM-as-judge pour évaluer les outputs à grande échelle. Lorsque la fiabilité compte, vous ne vous contentez pas d’espérer que le modèle se comporte bien. Vous le mesurez. Vous superposez des mesures d’atténuation. Vous concevez le système en fonction des modes d’échec.
C’est l’idée centrale de toute la série. L’IA ne devient pas fiable par magie. Elle devient fiable grâce à la conception.
Si vous êtes un utilisateur et non un builder, ce réflexe de conception compte quand même, parce qu’il change votre manière de déléguer des tâches. Vous commencez à voir où les LLMs excellent et où ils ne devraient pas du tout intervenir. Vous apprenez quand demander de la créativité et quand exiger un ancrage. Vous apprenez quand utiliser un modèle, quand utiliser un outil comme une calculatrice et quand l’option la plus sécuritaire est de ne pas inclure l’IA dans la boucle.
C’est ce que je veux que les gens retiennent après avoir terminé les 42 termes, soit environ 1 à 1,5 heure. Pas l’enthousiasme. Pas la peur. Le jugement.
Le meilleur résultat n’est pas d’obtenir de meilleures réponses de ChatGPT. Le meilleur résultat est de comprendre la différence entre son intelligence et la vôtre et d’arrêter de lui confier des tâches pour lesquelles il n’a jamais été conçu.
L’effet secondaire sera de meilleures réponses, une plus grande confiance et moins de craintes autour de l’AGI.
Donc oui, la série est un cours YouTube gratuit. Mais son objectif plus profond est de faire en sorte que l’IA ressemble moins à un raccourci risqué et davantage à un outil que vous pouvez utiliser délibérément et avec assurance.
Si vous voulez la parcourir, vous pouvez commencer n’importe où dans la liste des 42 shorts ici, mais je recommande de commencer au début, parce que les premiers concepts dissipent le plus de confusion.
Une dernière chose.
Si vous vous intéressez à l’IA depuis assez longtemps, vous vous souvenez probablement d’un terme que vous entendiez sans arrêt et que personne n’expliquait clairement. Un mot employé comme s’il était évident, même s’il ne l’était pas.
Quel terme vous a fait cet effet, afin que je puisse l’ajouter au cours?
Découvrez gratuitement les 42 vidéos ici :
FAQ
Pourquoi créer 42 courtes vidéos sur les termes de l’IA?
Le but était de donner aux gens un vocabulaire commun pour comprendre le comportement des modèles, pas seulement une liste d’astuces de prompting.
Qu’est-ce que ce projet enseigne au-delà du prompting?
Il enseigne comment les modèles échouent, pourquoi les outputs varient et quels concepts vous aident à juger si un outil est fiable pour une tâche.
À quelle erreur ce projet s’oppose-t-il?
Il s’oppose à l’idée de traiter l’IA comme une boîte magique. Si vous ne connaissez pas les termes, vous ne pouvez pas expliquer le mode d’échec.
Pourquoi les tokens comptent-ils lorsqu’on utilise un modèle d’IA?
Les limites des modèles, la vitesse de réponse et le coût d’utilisation sont tous mesurés en partie avec les tokens. Le concept affecte donc autant les prompts que les systèmes en production.
Qu’est-ce qui change une fois que vous comprenez le comportement de ces systèmes?
Vous pouvez choisir des outils et évaluer leurs outputs de façon réfléchie, au lieu de deviner pourquoi un modèle réussit et un autre échoue sur la même tâche.
Pourquoi une réponse d’IA peut-elle sembler fluide tout en étant fausse?
Un modèle de langage prédit des prochains tokens plausibles. La fluidité fait partie de cet objectif, mais vérifier que chaque affirmation est vraie n’en fait pas partie.