Regardez la vidéo !
Gato de DeepMind vient tout juste d’être publié ! Il s’agit d’un seul Transformer capable de jouer à des jeux Atari, de rédiger des légendes d’images, de discuter avec des gens, de contrôler un véritable bras robotique et bien plus encore ! En effet, il est entraîné une seule fois et utilise les mêmes poids pour accomplir toutes ces tâches. Et selon DeepMind, ce n’est pas seulement un Transformer, mais aussi un agent. Voilà ce qui arrive lorsqu’on combine les Transformers aux progrès des agents multitâches d’apprentissage par renforcement.
Comme nous l’avons dit, Gato est un agent multimodal. Il peut donc rédiger des légendes d’images ou répondre à des questions comme un agent conversationnel. Vous me direz que GPT-3 peut déjà le faire, mais Gato est capable d’en faire davantage… Sa multimodalité vient du fait qu’il peut aussi jouer à des jeux Atari au niveau d’un humain et même accomplir des tâches dans le monde réel, comme contrôler des bras robotiques pour déplacer des objets avec précision. Il comprend les mots, les images et même la physique.
Un agent généraliste. Image tirée de l’article scientifique de DeepMind.
Gato est le premier modèle généraliste à obtenir d’aussi bons résultats sur autant de tâches différentes, et il est extrêmement prometteur pour notre domaine. Il a été entraîné sur 604 tâches distinctes aux modalités, observations et spécifications d’actions variées, ce qui en fait le parfait généraliste.
Les jeux de données utilisés pour entraîner l’agent. Image tirée de l’article scientifique de DeepMind.
Et comme je l’ai dit, il fait tout cela avec le même réseau et les mêmes poids. Et avant que vous le demandiez, il n’a besoin que de 1,2 milliard de paramètres, comparativement à GPT-3, qui en exige 175 milliards ! Il ne s’agit pas d’un tour de passe-passe où il faudrait le réentraîner ou faire son fine-tuning pour chaque tâche.
L’architecture de Gato. Image tirée de l’article scientifique de DeepMind.
Vous pouvez lui envoyer à la fois une image et du texte, et il fonctionnera. Vous pouvez même ajouter quelques mouvements d’un bras robotique ! Le modèle peut décider du type de sortie à fournir en fonction de son contexte, qu’il s’agisse de texte ou d’actions discrètes dans un environnement.
La phase d’entraînement de Gato. Image tirée de l’article scientifique de DeepMind.
Tout cela est possible grâce à leur processus de tokenisation. La tokenisation consiste à préparer les entrées pour le modèle, puisque celui-ci ne comprend pas le texte ni les images par lui-même. Les modèles de langage et Gato prennent un nombre total de sous-mots, par exemple 32 000, et attribuent un numéro à chaque mot.
Pour les images, les chercheurs suivent la méthode de patch embedding du ViT en utilisant un bloc ResNet très répandu, comme nous l’avons expliqué dans une vidéo précédente. Ils tokenisent aussi les boutons pressés dans les jeux Atari sous forme de nombres entiers ou de valeurs discrètes.
Processus de tokenisation des images et des actions discrètes. Image tirée de l’article scientifique de DeepMind.
Enfin, pour les valeurs continues comme les entrées proprioceptives dont nous avons parlé avec les bras robotiques, ils encodent les différentes mesures suivies sous forme de nombres à virgule flottante et les ajoutent après les tokens textuels.
Processus de tokenisation de la proprioception et des actions continues. Image tirée de l’article scientifique de DeepMind.
Avec toutes ces entrées différentes, l’agent s’adapte à la tâche actuelle pour produire les sorties appropriées. Pendant l’entraînement, les chercheurs utilisent un conditionnement par prompt comme dans GPT-3, avec des actions et des observations échantillonnées précédemment.
Gato exécuté comme politique de contrôle. Image tirée de l’article scientifique de DeepMind.
Les progrès des agents généralistes d’apprentissage par renforcement au cours des dernières années ont été incroyables et sont principalement venus de DeepMind. On pourrait dire qu’ils nous rapprochent de l’IA générale (AGI), ou d’une intelligence de niveau humain, si nous arrivons enfin à la définir. J’adore la quantité de détails fournis dans leur article scientifique. J’ai très hâte de voir ce qu’ils feront, ou ce que d’autres personnes feront, avec l’architecture de ce modèle !
Le lien vers l’article scientifique se trouve dans la description si vous souhaitez obtenir plus d’information sur le modèle.
J’espère que vous avez aimé ce court article. J’ai vu cette nouvelle en me réveillant et je devais absolument en parler avant de faire quoi que ce soit d’autre aujourd’hui. C’est tout simplement trop excitant !
On se revoit la semaine prochaine avec un autre article scientifique incroyable !
Références
►Regardez la vidéo : https://youtu.be/xZKSWNv6Esc
►Article de blogue de DeepMind : https://www.deepmind.com/publications/a-generalist-agent
►Article scientifique, Reed S. et al., 2022, DeepMind : Gato. https://storage.googleapis.com/deepmind-media/A%20Generalist%20Agent/Generalist%20Agent.pdf
►Mon infolettre (une nouvelle application de l’IA expliquée chaque semaine dans vos emails !) : /fr/newsletter/
FAQ
Qu’est-ce que Gato de DeepMind ?
Gato est un Transformer généraliste entraîné à produire du texte, à contrôler des actions et à générer d’autres sorties dans de nombreuses tâches.
Pourquoi Gato est-il décrit comme un agent ?
Il peut utiliser le contexte pour choisir des actions discrètes dans un environnement au lieu de seulement prédire du texte.
Comment un seul modèle peut-il accomplir différentes tâches ?
Les tâches sont représentées dans un format séquentiel commun que le Transformer apprend à traiter en fonction du contexte.
En quoi Gato diffère-t-il d’un modèle spécialisé ?
Un modèle spécialisé est optimisé pour un seul domaine, tandis que Gato démontre des comportements utiles dans de nombreux domaines sans lien entre eux.
Gato prouve-t-il l’existence d’une intelligence artificielle générale ?
Non. Une vaste couverture de tâches est un indice utile, mais elle ne démontre ni un raisonnement sans limites prédéfinies ni une intelligence générale de niveau humain.