Grâce à GPT et aux récents grands modèles de langage, nous avons assisté à la popularisation d’un nouveau type de système fondé sur l’IA… les agents. Un agent est essentiellement un modèle d’IA comme ChatGPT qui peut accéder à une ou plusieurs applications et interagir avec elles. Imaginez demander à ChatGPT de créer une présentation PowerPoint pour vous. Mais toute la présentation, pas seulement le texte de chaque diapositive. La mise en page et les images aussi. Le système tente en quelque sorte d’imiter un humain pour une tâche précise plutôt que de se limiter au texte. Pour y arriver, l’agent doit comprendre le logiciel et interagir avec lui d’une façon ou d’une autre, soit avec des commandes textuelles lorsque c’est possible, soit en générant du code.
Un agent peut devenir très puissant lorsqu’il est bien combiné à un logiciel ou à une application. Mais plusieurs agents réunis sont encore plus puissants et permettent d’accomplir des tâches beaucoup plus complexes, comme programmer un jeu vidéo complet. Il faut trouver l’idée, concevoir les différents niveaux, régler la difficulté, écrire le code et effectuer les tests de qualité, avec un agent responsable de chaque tâche. Plusieurs systèmes semblables, qui demandent seulement une requête initiale comme « construis-moi un jeu semblable à Flappy Bird », existent déjà, notamment Auto-GPT, BabyAGI et AgentGPT. Ils partagent toutefois un même problème.
Figure 1 : comparaison de la procédure opérationnelle normalisée de développement logiciel entre MetaGPT et une vraie équipe humaine. Image tirée de l’article scientifique.
Construire un système aussi avancé à partir de grands modèles de langage est à la fois très difficile et peu sécuritaire. L’un des principaux problèmes est qu’un grand modèle de langage comme ChatGPT peut halluciner, c’est-à-dire produire des faits ou de l’information qui n’ont absolument aucun sens. Comme nous avons entraîné le modèle d’IA à répondre à toutes les questions, il le fait même s’il ne possède pas la bonne réponse. Le problème principal est qu’il croit que sa réponse est vraie. Il ne possède aucun concept du mensonge ou de la dissimulation de la vérité. Il ne sait tout simplement pas. Vous voyez comment cela peut poser problème avec un seul modèle d’IA. Imaginez ce qui arrive lorsque nous en relions plusieurs sans supervision humaine. La situation peut dégénérer rapidement.
Par exemple, si nous voulions créer un jeu Flappy Bird, notre premier agent pourrait être responsable de définir le jeu. Que se passerait-il s’il ne connaissait pas le jeu original parce qu’il ne se trouvait pas dans ses connaissances, et qu’il hallucinait un tout autre jeu avec des oiseaux? Tous les autres agents construiraient leur travail à partir de la mauvaise idée. Même s’ils agissaient parfaitement, le résultat final serait très différent de ce que nous attendions…
La question est donc la suivante : comment pouvons-nous réduire ces hallucinations et empêcher leur accumulation? C’est justement l’objectif de MetaGPT, créé par Sirui Hong et ses collègues. MetaGPT est à la fois un nouvel article scientifique et un projet à code source ouvert qui fait beaucoup de bruit sur GitHub!
Les chercheurs ont conçu un nouveau cadre qui combine ou enchaîne des grands modèles de langage et réduit le risque d’hallucination en intégrant des procédures opérationnelles normalisées humaines, ou SOP, au processus. Cette nouvelle conception aide le système à mieux comprendre l’objectif de l’utilisateur et à réduire les hallucinations en divisant une tâche complexe en plusieurs tâches plus simples. Nous avons vu que ChatGPT est assez mauvais en mathématiques, mais lui demander de répondre étape par étape améliore les résultats. C’est plutôt évident. Il en va de même pour nous. Il est beaucoup plus facile de diviser un problème complexe en quelques petits problèmes clairs, de les résoudre séparément, puis de combiner les réponses. Qu’est-ce qui est le plus facile : construire une voiture complète ou construire les petites pièces, comme les roues, le moteur, la suspension et les sièges, puis les assembler?
Mais que sont exactement les SOP et pourquoi sont-elles utiles aux LLM? De nombreuses entreprises utilisent les SOP pour définir des rôles ou des processus précis, par exemple l’embauche d’un employé. Elles assurent l’équité entre tous les processus d’une même tâche et facilitent la collaboration en donnant une responsabilité claire à chaque personne. Elles maximisent aussi le travail en parallèle et donc l’efficacité. De bonnes SOP permettent également aux nouveaux employés d’atteindre rapidement le niveau des experts actuels, puisque la tâche est divisée en sous-tâches simples et claires. Elles conviennent ainsi parfaitement à la plupart des humains, ou à des modèles de langage plutôt limités! Nous avons ici 5 personnes qui occupent des rôles différents dans la création du jeu Flappy Bird. Dans une vraie situation, elles suivraient des étapes et des objectifs très clairs conçus par toute l’équipe. L’objectif de MetaGPT est simple : remplacer chaque personne par un humain fictif, soit un modèle GPT. Au lieu de se parler librement, les différents modèles GPT génèrent des documents normalisés pour le modèle suivant. Cela limite les hallucinations possibles lorsque les conversations s’éparpillent, comme une réunion qui dérive vers le dernier match de soccer. Au lieu d’exiger d’excellentes capacités humaines de gestion et de communication, les modèles doivent seulement pouvoir produire des étapes normalisées, claires et simples, ce qu’ils font plutôt bien.
Figure 1 : comparaison de la procédure opérationnelle normalisée de développement logiciel entre MetaGPT et une vraie équipe humaine. Image tirée de l’article scientifique.
MetaGPT possède aussi une couche de base où les différents modèles peuvent échanger. Leurs discussions sont enregistrées en mémoire pour gagner en efficacité et leur permettre de revenir à toute l’information, comme des notes de réunion. Nous avons donc chaque agent avec une personnalité et un rôle. Chacun reçoit un objectif et des contraintes définis par l’utilisateur pour le projet. Cette étape est peut-être la plus importante pour réduire le risque d’hallucination, avec les SOP, puisque des humains définissent clairement les objectifs et les contraintes que les modèles doivent respecter. Chaque agent suit ensuite, l’un après l’autre, ce processus en cinq étapes pour produire la SOP ou le travail que l’agent suivant utilisera et développera. Il commence par définir ce qu’il doit faire selon son rôle, sa description et ses objectifs. Il observe ensuite ce que les agents précédents ont fait ou dit, puis agit à partir de là. Il met enfin à jour sa liste de tâches selon la SOP générée et indique aux autres agents ce qu’il est en train de faire. Il peut aussi diffuser des messages sur ses résultats et ses actions afin de les partager avec les autres agents.
Figure 2 : vue d’ensemble du cadre MetaGPT. Image tirée de l’article scientifique.
Voici un exemple concret avec les mêmes cinq agents qui construisent le jeu 2048. Chaque agent possède ses propres connaissances, ses tâches et ses exigences, selon son étape de réflexion et les entrées de l’utilisateur. Ils accomplissent chacun leurs tâches et posent des questions aux autres agents lorsque c’est nécessaire. Bien sûr, combiner tous ces agents et ces différentes parties pour qu’ils fonctionnent bien ensemble présente de nombreux défis d’ingénierie. Le travail des chercheurs est vraiment impressionnant et je tiens à les féliciter. Ce processus multiagent est peut-être l’utilisation la plus difficile, mais aussi la plus intéressante, des grands modèles de langage. J’ai très hâte de voir où il nous mènera.
Figure 3 : schéma du processus de développement logiciel dans le cadre MetaGPT. Image tirée de l’article scientifique.
J’espère que ce bref aperçu de la façon dont MetaGPT enchaîne efficacement plusieurs agents pour réduire les hallucinations et résoudre des tâches complexes à partir d’une seule requête et des directives de l’utilisateur vous a plu. Par souci de simplicité, j’ai omis d’importants détails d’ingénierie qui font fonctionner tout le système. Si le sujet vous intéresse, je vous invite à lire l’article scientifique lié ci-dessous pour mieux comprendre la construction et le fonctionnement du cadre. Le code est aussi entièrement ouvert si vous souhaitez l’essayer vous-même. Pour ma part, je vous retrouve la prochaine fois avec un autre article scientifique incroyable!
Références
- Hong et ses collègues, 2023 : MetaGPT, https://arxiv.org/pdf/2308.00352.pdf
- Code : https://github.com/geekan/MetaGPT/blob/main/README.md
FAQ
Qu’est-ce que MetaGPT?
MetaGPT organise plusieurs agents fondés sur des modèles de langage dans les rôles d’une équipe logicielle, avec des messages, des tâches et des livrables structurés.
En quoi diffère-t-il d’un seul agent autonome?
Différents agents se spécialisent dans la planification, le produit, l’architecture, la programmation ou la révision, au lieu qu’un seul modèle prenne en charge toutes les étapes.
Pourquoi la séparation des rôles peut-elle réduire certaines erreurs?
Des livrables explicites et des étapes de révision rendent les hypothèses intermédiaires plus faciles à vérifier avant qu’elles se propagent.
Plusieurs agents peuvent-ils amplifier les hallucinations?
Oui. Sans vérification indépendante, un résultat non fondé peut devenir le contexte accepté par tous les agents suivants.
De quels contrôles un processus MetaGPT a-t-il encore besoin?
Il faut des évaluations, des limites sur les outils, des sources traçables, des budgets, des conditions d’arrêt et une révision humaine des résultats importants.