À retenir
- Une plus grande autonomie peut amplifier les biais si l’agent possède des outils, une mémoire et la capacité de planifier sans les bons contrôles autour de lui.
- Un biais n’est pas toujours un défaut. Certaines préférences sont intentionnelles, mais elles doivent être explicites, testées et surveillées.
- Des garde-fous utiles combinent des audits, des boucles de feedback, des outils contraints et une révision humaine pour les décisions qui présentent un risque réel.
À mesure que les agents IA deviennent plus autonomes, est-ce qu’ils ne vont pas simplement amplifier leurs biais et empirer les choses?
On m’a souvent posé cette question récemment.
Ça semble raisonnable. Si un modèle a déjà des biais et que nous lui donnons maintenant plus de pouvoir, de mémoire, d’outils, une capacité de planification à long terme et la capacité d’agir, est-ce que ça ne fait pas simplement passer le problème à l’échelle?
Et je pense que beaucoup de personnes qui regardent cette vidéo se posent la même question, même si elles ne la formulent pas ainsi.
Dans cette vidéo, je veux donc faire trois choses très claires.
D’abord, expliquer ce que « biais » signifie réellement dans le contexte des LLMs et pourquoi un biais n’est pas automatiquement mauvais.
Ensuite, expliquer ce qui change fondamentalement lorsqu’on passe d’un simple modèle de langage à un agent autonome.
Enfin, montrer comment on peut contrôler les biais de façon réaliste à mesure que l’autonomie augmente, pas seulement au niveau du modèle, mais au niveau du système.
Comme ce sera plus clair avec un exemple, et parce que j’ai passé beaucoup trop d’heures à recruter des ingénieurs IA et à faire du marketing récemment, imaginez une entreprise qui construit un agent IA capable de trier des CV, de présélectionner des candidats, de planifier des entrevues et même de suggérer un classement final au gestionnaire responsable du recrutement. Pas seulement un chatbot qui répond à des questions. Un système qui agit.
Commençons par le début.
Lorsque les gens disent « les LLMs sont biaisés », qu’est-ce que cela signifie réellement?
Un biais dans un modèle signifie simplement qu’il représente des patterns présents dans ses données d’entraînement. C’est tout. Un modèle entraîné sur du texte à l’échelle d’Internet reflétera les régularités statistiques de ces données. Si certaines professions sont plus souvent associées à certains genres dans les données, le modèle apprendra cette corrélation. Pas parce qu’il veut discriminer. Pas parce qu’il en a l’intention. Mais parce que cette corrélation est statistiquement présente.
Un biais n’est pas automatiquement mauvais. En fait, sans biais au sens statistique, aucun apprentissage ne serait possible. Apprendre, c’est détecter des patterns. Le vrai problème n’est pas que le modèle possède des biais. Le problème est ce qui se trouve dans les données, les patterns qui sont renforcés et ceux que nous permettons au système de transformer en actions.
Dans notre exemple de recrutement, si les données historiques reflètent des inégalités passées, le modèle peut apprendre ces patterns. Ce n’est pas un choix moral du modèle. C’est ce qu’il représente.
Ici, nous voudrions donc probablement réentraîner un modèle pour mieux l’aligner avec nos besoins de recrutement et les lignes directrices de l’entreprise.
Mais qu’est-ce qui change exactement pendant le fine-tuning et l’alignement?
Une fois qu’OpenAI a créé son modèle pendant ce qu’on appelle la phase de pré-entraînement, les entreprises appliquent des techniques comme le reinforcement learning from human feedback, le reinforcement learning from AI feedback, le reward modeling, l’optimisation des préférences et, plus récemment, le reinforcement learning with verifiable rewards. En gros, on apprend au modèle à agir comme nous le souhaitons.
En termes simples, des humains ou des systèmes d’IA classent des outputs, puis le modèle est optimisé pour produire des réponses qui correspondent à nos comportements préférés : utiles, sécuritaires, équitables, moins toxiques et plus neutres.
Cela réduit certains outputs nuisibles. Cela peut rendre l’assistant de recrutement plus prudent avec les attributs sensibles. Cela peut lui apprendre à éviter un langage explicitement discriminatoire.
Mais voilà le point clé.
Réentraîner notre modèle de cette façon remodèle son comportement. Cela n’efface pas la structure statistique apprise pendant le pré-entraînement. La représentation sous-jacente du monde repose toujours sur la distribution des données, laquelle provient principalement de toutes les données accessibles sur Internet.
Lorsque nous réentraînons le modèle, nous guidons ses outputs. Nous ne reconstruisons pas tout son modèle interne de la réalité.
Introduisons maintenant le vrai changement que nous voulions justement construire pour nos besoins de recrutement : les agents.
Un LLM simple génère du texte. Vous lui donnez un prompt, il vous donne une réponse. Si la réponse est biaisée, il s’agit d’une phrase biaisée.
Un agent est différent.
Un agent possède un objectif. Il peut planifier sur plusieurs étapes. Il peut appeler des outils. Il peut stocker de la mémoire. Il peut filtrer l’information. Il peut exécuter des actions en fonction de résultats intermédiaires. Tout cela de façon autonome.
Dans notre exemple de recrutement, au lieu de simplement répondre à la question « qu’est-ce qui fait un bon candidat? », l’agent pourrait :
Lire un lot de CV.
Les classer.
Demander plus de données à un système RH interne.
Planifier des entrevues.
Mettre à jour une liste de présélection au fil du temps.
Ajuster ses critères en fonction de métriques de performance.
Nous ne parlons plus d’un paragraphe biaisé que nous allons de toute façon modifier. Nous parlons d’une boucle de décision qui affecte la vie des gens.
Et c’est là que l’autonomie change l’impact d’un biais.
S’il existe un léger déséquilibre dans la façon dont l’agent évalue certains parcours et qu’il filtre continuellement des candidats en fonction de ce déséquilibre, le système peut amplifier le pattern au fil du temps. Surtout s’il consigne ses propres décisions passées et les utilise comme feedback.
La planification, la mémoire et l’utilisation d’outils créent des boucles de feedback. Et les boucles de feedback permettent à de petits effets de se multiplier de façon exponentielle.
Les agents introduisent aussi un nouveau risque : l’auto-renforcement.
Si l’agent de recrutement est évalué en fonction du « délai d’embauche » et du « taux de rétention », il pourrait commencer à optimiser agressivement les signaux qui sont corrélés à ces métriques dans les données historiques. Si ces données historiques sont biaisées, le processus d’optimisation peut se verrouiller sur les mêmes patterns.
Ce n’est pas parce que le modèle est soudainement devenu malveillant. C’est parce que l’optimisation, combinée à l’autonomie et à des objectifs imparfaits, peut amplifier un déséquilibre de distribution. Ce serait comme donner à vos employés un énorme bonus salarial en fonction du nombre de candidats que nous recevons en entrevue, qu’ils correspondent ou non au poste. Je doute que vous augmentiez ainsi la proportion de bons candidats!
Devons-nous donc paniquer?
Non. Parce que voilà l’autre côté de la médaille.
Les agents ne sont pas seulement des modèles. Ce sont des systèmes.
Et les systèmes peuvent être contraints.
Lorsque les gens parlent d’atténuer les biais, ils se concentrent souvent uniquement sur le modèle. Un plus gros modèle, un meilleur alignement, plus de RLHF, plus d’entraînement constitutionnel. Tout cela est utile. Mais ce n’est qu’une couche.
Avec les agents, vous disposez de plusieurs points de contrôle. De plusieurs façons d’atténuer et de limiter les biais. Vous ne dépendez pas entièrement de la génération d’un seul paragraphe en espérant qu’il soit bon. Vous pouvez guider les modèles de langage et construire des workflows autour d’eux.
Vous contrôlez les données auxquelles l’agent peut accéder.
Vous contrôlez les outils qu’il peut appeler.
Vous contrôlez les métriques qu’il optimise.
Vous contrôlez le moment où il doit faire appel à un humain.
Vous contrôlez les étapes de validation avant l’exécution des actions.
Dans notre exemple d’agent de recrutement, vous pourriez :
Retirer complètement les attributs sensibles du pipeline d’évaluation.
Imposer des rubriques de notation structurées avec des critères prédéfinis.
Insérer des vérifications d’équité avant le classement final.
Consigner chaque décision pour permettre un audit.
Exiger une approbation humaine avant l’envoi d’emails de refus accompagnés d’une justification claire.
Exécuter régulièrement des benchmarks d’évaluation des biais sur des ensembles synthétiques de candidats.
L’atténuation des biais devient alors une question de conception du système, pas seulement une question abstraite d’entraînement du modèle.
C’est ici qu’on utilise les nouvelles techniques d’alignement que j’ai mentionnées, comme RLAIF, RLVR, le reinforcement fine-tuning et les approches constitutionnelles. Elles tentent de façonner les comportements de haut niveau. Par exemple, en entraînant le modèle à privilégier des réponses qui traitent les groupes démographiques de façon symétrique ou à justifier son raisonnement selon des contraintes d’équité.
Cela aide. Mais il s’agit encore de guider le comportement.
Si l’environnement et les objectifs sont mal conçus, l’agent peut tout de même optimiser d’une façon non souhaitée. La leçon n’est donc pas que « l’alignement règle tout ». La leçon est que l’alignement constitue une couche d’une stack plus large.
À mesure que l’autonomie augmente, l’évaluation doit elle aussi augmenter.
Pour un chatbot statique, un red teaming occasionnel peut suffire. Pour un agent de recrutement autonome, il faut du monitoring continu. Il faut tester des scénarios. Il faut simuler des edge cases. Il faut de l’observabilité : des logs indiquant quels CV ont été filtrés, pourquoi et quel raisonnement intermédiaire a été utilisé. Il faut pouvoir revenir en arrière.
Plus l’agent est indépendant, plus il faut une structure explicite autour de lui.
Voici un principe simple que j’aime bien : augmentez les contraintes en même temps que l’autonomie.
Si votre système possède peu d’autonomie, un prompt et un fine-tuning de sécurité peuvent suffire.
Si votre système prend des décisions dans le monde réel au fil du temps, vous avez besoin de garde-fous architecturaux à tous les niveaux. Pas seulement d’un meilleur prompt.
Et puisqu’on n’insistera jamais assez sur les biais… ils ne sont pas un bug apparu lorsque nous avons inventé les LLMs. Le biais est une propriété des données et du monde. Nous avons tous des biais, et notre société aussi. Ce qui est à la fois bien et mal. L’objectif est de maximiser nos bons biais et de réduire les pires. Et puisque les modèles reflètent les données, ils refléteront simplement cette réalité.
La bonne nouvelle avec les agents, c’est qu’ils agissent à l’intérieur de systèmes. Si nous concevons ces systèmes avec soin, nous pouvons décider quels patterns sont acceptables, lesquels doivent être corrigés et où la supervision humaine demeure obligatoire. Nous ne dépendons plus de la façon dont OpenAI et Google ont décidé d’entraîner LEURS modèles, même si nous les utilisons.
À mesure que les agents deviennent plus autonomes, les biais cessent d’être seulement un problème de modèle pour devenir un problème de gouvernance et d’architecture.
Et c’est plutôt une bonne nouvelle.
Parce que l’architecture est quelque chose que nous pouvons concevoir.
Dans notre exemple de recrutement, l’objectif n’est pas d’éliminer tous les biais. C’est impossible. L’objectif est de définir clairement des critères acceptables, d’aligner le modèle sur ceux-ci, de contraindre l’environnement, de surveiller les résultats et d’intervenir lorsqu’une dérive apparaît.
Au lieu de demander « les agents autonomes vont-ils amplifier les biais? », la meilleure question est peut-être :
Avons-nous conçu le système autour d’eux avec assez de soin?
Dites-moi dans les commentaires quel type d’agent vous construisez, si vous réfléchissez activement aux biais dans votre architecture et ce que vous faites concrètement à ce sujet. Je suis certain que cela pourrait aider d’autres personnes et j’aimerais vraiment le savoir!
Merci d’avoir lu jusqu’au bout. On se retrouve pour le prochain.
FAQ
Pourquoi les biais deviennent-ils plus difficiles à gérer avec les agents IA?
Les agents peuvent agir en plusieurs étapes, utiliser des outils et mémoriser du contexte. Une décision biaisée peut donc se propager plus loin qu’une seule réponse du modèle.
Comment les équipes peuvent-elles contrôler les biais d’un agent?
Elles ont besoin d’audits, de cas de test, de logs, d’outils bien délimités, de boucles de feedback et d’une révision humaine autour des décisions qui affectent des personnes.
Quelle erreur faut-il éviter?
Ne présumez pas qu’un modèle est neutre parce que son ton semble équilibré. Les biais doivent être testés dans le workflow où l’agent agit.
Tous les biais d’un modèle sont-ils automatiquement nuisibles?
Non. Un biais décrit des patterns appris. Le tort dépend du contexte, des personnes touchées et des décisions prises par le système.
Pourquoi faut-il tester les garde-fous comme un système complet?
Un agent autonome combine les outputs du modèle, les outils, la mémoire et les actions. Des échecs peuvent donc émerger de leur interaction.
Pourquoi les contraintes devraient-elles augmenter avec l’autonomie d’un agent?
La planification, la mémoire et l’utilisation répétée d’outils peuvent amplifier un léger déséquilibre au fil du temps. Une plus grande autonomie exige donc un monitoring renforcé, des audits, des étapes d’approbation et des mécanismes de retour en arrière.