Le 15 novembre, Meta AI et Papers with Code ont annoncé le lancement de Galactica, un grand modèle de langage open source qui change la donne, entraîné sur des connaissances scientifiques et doté de 120 milliards de paramètres.
Comme l’un de mes amis l’a partagé sur Twitter, le modèle peut rédiger des livres blancs, des revues, des pages Wikipédia et du code. Il sait citer des sources et écrire des équations. Ce n’est pas rien pour l’IA et la science.
Le 17 novembre, Galactica a été retiré.
Pourquoi ? Parce que, comme tous les modèles d’apprentissage profond, il ne comprenait pas la tâche demandée et se trompait dans de nombreux cas. Cela ne devrait pas être un problème, surtout si nous ajoutons un avertissement qui précise que le modèle peut se tromper et qu’il ne faut pas lui faire aveuglément confiance. C’est comme Wikipédia, auquel personne ne faisait confiance et qu’on ne pouvait pas utiliser comme référence dans les travaux du secondaire. Le problème est que Galactica avait tort ou était biaisé, mais semblait avoir raison et parlait avec autorité.
Le modèle reste tout de même accessible aux chercheurs, et je crois qu’il est important de conserver son code source ouvert.
Comme un autre de mes amis l’a partagé, tout le drame entourant le nouveau modèle semble un peu exagéré. Bien sûr, le modèle n’est pas parfait, comme tous les autres qui sont actuellement accessibles en ligne. Nous devons le mettre en ligne pour tester ses limites, travailler dessus et l’améliorer. Nous devrions voir ce type de publication comme un étudiant et lui permettre de faire des erreurs et de progresser sans craindre d’être retiré ou annulé.
Quoi qu’il en soit, nous ne sommes pas ici pour discuter de ça. Espérons qu’il reviendra bientôt en ligne.
Nous sommes ici pour comprendre ce qu’est, ou ce qu’était, Galactica et comment il pouvait rédiger des articles scientifiques, des revues, du code et bien plus encore…
En gros, Galactica est un grand modèle de langage d’une taille comparable à GPT-3, mais spécialisé dans les connaissances scientifiques. Plus précisément, il a été entraîné sur un vaste corpus organisé de connaissances scientifiques, comprenant plus de 48 millions d’articles, des manuels et des notes de cours, des millions de composés et de protéines, des sites Web scientifiques, des encyclopédies et plus encore. Les chercheurs soulignent que ces données étaient de grande qualité et soigneusement sélectionnées, ce qui constitue l’une des grandes différences avec GPT-3.
En théorie, Galactica contient donc pratiquement toutes les connaissances scientifiques de l’humanité. Imaginez avoir une mémoire incroyable, le temps de lire des millions de travaux de recherche et la capacité d’en retenir la majorité.
Eh bien, c’est Galactica. Sa mémoire ne semble finalement pas si bonne, et il mélange tout même si nous pouvons supposer que la plupart des renseignements présents dans le dataset d’entraînement étaient exacts. Malgré tous ses biais et ses échecs, Galactica reste très puissant et surpasse pratiquement toutes les autres approches pour les tâches scientifiques.
Ce n’est simplement pas suffisant pour créer un produit auquel nous pouvons faire confiance. Il vaut tout de même la peine de comprendre son fonctionnement, surtout parce qu’il reviendra probablement bientôt, encore plus puissant.
Image tirée de l’article scientifique.
Comme nous l’avons mentionné, Galactica est un grand modèle de langage semblable à GPT-3 ou BLOOM, entraîné précisément pour, comme le disent les chercheurs, « organiser la science ». Il y a aussi énormément d’ingénierie derrière ce modèle, ce qui lui permet d’accepter et de produire des inputs et des outputs aussi variés, par exemple grâce à une tokenisation particulière des citations ou des séquences de protéines. Vous trouverez plus de détails dans leur article scientifique lié ci-dessous. Leur travail sur la tokenisation représente de loin la principale contribution de cette recherche. La tokenisation désigne essentiellement la façon dont le modèle voit les données plutôt que les mots, les mathématiques ou les formes que nous voyons et comprenons. Je partagerai d’ailleurs plus tard cette semaine un article sur les embeddings et la tokenisation. Si cela vous intéresse, restez à l’affût et suivez-moi pour ne pas le manquer !
Mis à part cette étrange tokenisation et les étapes de prétraitement, qu’est-ce que Galactica et que fait-il après avoir reçu les mots ou les différents inputs scientifiques et les avoir préparés pour le modèle grâce à la tokenisation ?
Image tirée de l’article scientifique.
Sans surprise, Galactica est encore une architecture fondée sur les Transformers, comme GPT-3, avec quelques variantes, dont les différences de tokenisation. Je vous invite donc vraiment à lire l’un des nombreux articles que mes amis ou moi avons écrits sur les architectures Transformer, puisque je n’expliquerai pas encore une fois leur fonctionnement.
Préentraînement sur des prompts. Images tirées de l’article scientifique.
La deuxième grande différence entre Galactica et les autres grands modèles de langage est ce que les chercheurs appellent le préentraînement sur des prompts. Ils incluent des prompts extraits des datasets d’entraînement en même temps que les données elles-mêmes, ce qui permettrait de « maximiser la polyvalence du modèle tout en améliorant ses performances dans certaines tâches ciblées ».
Et c’est pratiquement tout !
Comme je l’ai dit, l’architecture ressemble beaucoup à ce que vous connaissez déjà. Ce sont surtout les méthodes d’entraînement et de prétraitement qui varient, ce qui montre que le modèle ne fait pas tout et que la façon dont nous prémâchons les données pour lui compte peut-être encore davantage. Vous pouvez essentiellement voir la différence entre GPT-3 et Galactica comme celle entre un même élève accompagné d’un mauvais professeur de science ou d’un bon. Il a les mêmes capacités et les mêmes ressources. Le professeur a simplement rendu la matière plus accessible et compréhensible pour lui.
Bien sûr, il ne s’agissait que d’un survol de l’article scientifique, et je vous recommande fortement de le lire. Il contient énormément de détails sur les nombreuses astuces d’ingénierie mises en place, l’analyse des résultats, toutes les tâches auxquelles ils ont appliqué le modèle, la façon dont il comprenait les données d’input et ses prédictions, ses limites, ses biais et bien plus encore.
J’espère que vous avez aimé cet article. On se revoit la semaine prochaine avec un autre article scientifique incroyable et un article spécial qui expliquera ce que sont les embeddings !
Références
►Taylor et al., 2022: Galactica, https://arxiv.org/abs/2211.09085
►Mon infolettre (une nouvelle application de l’IA expliquée chaque semaine dans vos emails !) : /fr/newsletter/
FAQ
Qu’était le modèle Galactica de Meta ?
Galactica était un modèle de langage d’une taille comparable à GPT-3, spécialisé dans les articles scientifiques, les formules, le code et les connaissances connexes.
Pour quelles tâches Galactica avait-il été conçu ?
Il pouvait rédiger des textes scientifiques, résumer du contenu, produire du code et traiter une notation scientifique spécialisée.
Pourquoi la tokenisation du contenu scientifique est-elle importante ?
Le modèle a besoin de représentations utiles pour les formules, les citations et les structures techniques plutôt que seulement pour les parties de mots ordinaires.
Pourquoi la démo publique de Galactica a-t-elle été retirée ?
Les utilisateurs ont révélé des résultats scientifiques faux ou nuisibles, mais exprimés avec confiance, ce qui montrait qu’une spécialisation fluide ne garantissait pas la fiabilité.
Quelle leçon pratique faut-il tirer de Galactica ?
Même un modèle spécialisé a besoin d’un ancrage dans les sources, d’une gestion de l’incertitude et d’évaluations rigoureuses par des experts avant une utilisation à haut risque.