Regardez la vidéo !
Nous avons tous entendu parler de GPT-3 et avons une idée assez claire de ses capacités. Vous avez certainement vu des applications qui doivent leur existence uniquement à ce modèle, dont certaines que j’ai présentées dans une vidéo précédente sur le sujet. GPT-3 est un modèle créé par OpenAI auquel vous pouvez accéder au moyen d’une API payante, sans toutefois avoir accès au modèle lui-même.
La force de GPT-3 vient à la fois de son architecture et de sa taille. Il compte 175 milliards de paramètres. C’est deux fois le nombre de neurones présents dans notre cerveau !
Cet immense réseau a pratiquement été entraîné sur tout Internet afin de comprendre comment nous écrivons, échangeons et comprenons le texte. Cette semaine, Meta a fait un grand pas en avant pour la communauté. L’entreprise vient de publier un modèle tout aussi puissant, sinon plus, dont elle a entièrement ouvert le code source. À quel point c’est cool ?
Nous pouvons maintenant accéder à un modèle semblable à GPT et l’essayer directement, sans passer par une API ni composer avec un accès limité. Le plus récent modèle de Meta, OPT, dont le nom signifie Open Pre-trained Transformers, est offert en plusieurs tailles avec des poids préentraînés que l’on peut utiliser pour expérimenter ou faire de la recherche. L’une de ces versions est comparable à GPT-3 et obtient les meilleurs résultats. C’est une nouvelle super cool pour le domaine, surtout pour nous, les chercheurs universitaires.
OPT, ou plus précisément OPT-175B, ressemble beaucoup à GPT-3. Je vous recommande donc fortement de regarder ma vidéo pour mieux comprendre le fonctionnement des grands modèles de langage. GPT-3 et OPT ne se contentent pas de résumer vos emails ou de rédiger un court texte sur un sujet. Ils peuvent aussi résoudre des problèmes de mathématiques simples, répondre à des questions et bien plus encore.
La principale différence avec GPT-3 est que le code source d’OPT est ouvert, ce qui signifie que vous avez accès à son code et même à des modèles préentraînés que vous pouvez essayer directement. Autre fait intéressant : l’entraînement d’OPT a généré 1/7 de l’empreinte carbone de GPT-3, ce qui représente un autre pas dans la bonne direction. On peut donc dire que ce nouveau modèle ressemble beaucoup à GPT-3, mais que son code source est ouvert et qu’il est meilleur pour l’environnement.
Il s’agit donc d’un modèle de langage qui utilise les Transformers, que j’ai déjà présentés dans mes vidéos, et qui a été entraîné sur de nombreux jeux de données différents, presque tout Internet pourrait-on dire, afin de traiter du texte et d’en générer davantage. Pour mieux comprendre leur fonctionnement, je vous recommande encore la vidéo que j’ai faite sur GPT-3, puisque les deux modèles sont très semblables.
Vidéo tirée d’un excellent article de blogue de Jay Alammar, « How GPT3 Works - Visualizations and Animations ».
Ce que je voulais vraiment présenter ici, c’est l’effort de Meta pour rendre ce genre de modèle accessible à tout le monde, tout en consacrant beaucoup d’énergie à communiquer ses limites, ses biais et ses risques. Par exemple, l’entreprise a constaté qu’OPT a tendance à se répéter et à rester pris dans une boucle, ce qui nous arrive rarement, sans quoi personne ne voudrait nous parler. Comme il a été entraîné sur Internet, Meta a aussi observé qu’OPT est très susceptible de générer du contenu toxique et de renforcer des stéréotypes nuisibles. Il reproduit essentiellement nos comportements et nos biais généraux. Il peut également produire des affirmations factuellement incorrectes, ce qui n’est pas souhaitable si vous voulez que les gens vous prennent au sérieux. Ces limites comptent parmi les principales raisons pour lesquelles ces modèles ne remplaceront pas les humains de sitôt dans les emplois qui exigent des décisions importantes et ne pourront même pas être utilisés de façon sécuritaire dans des produits commerciaux.
Je vous invite à lire leur article scientifique pour découvrir leur analyse détaillée des capacités du modèle et mieux comprendre leurs efforts pour le rendre plus écologique et sécuritaire. Vous pouvez aussi en apprendre davantage sur leur processus d’entraînement et l’essayer vous-même avec le code accessible au public ! Tous les liens se trouvent dans les références ci-dessous.
Ce genre de contribution à code source libre, avec de nouveaux modèles, de la documentation et du code accessibles, est vraiment important pour permettre à la communauté de recherche de faire avancer la science. Je suis heureux qu’une grande entreprise comme Meta le fasse. Grâce à elle, des chercheurs du monde entier pourront expérimenter avec des modèles de langage à la fine pointe plutôt qu’avec des versions plus petites. J’ai hâte de voir toutes les avancées que cela produira, et j’aimerais beaucoup voir ce que vous en ferez.
N’hésitez pas à laisser un commentaire sous ma vidéo ou à rejoindre notre communauté sur Discord pour y partager vos projets. Elle s’appelle Learn AI Together, et vous trouverez aussi un lien ci-dessous.
J’espère que vous avez aimé l’article de cette semaine, un peu différent de l’habitude puisqu’il porte sur cette nouvelle passionnante et sur ces efforts essentiels pour rendre la recherche accessible au public.
On se revoit la semaine prochaine avec un autre article scientifique incroyable !
Références
►Vidéo sur OPT : https://www.youtube.com/watch?v=Ejg0OunCi9U
►Zhang, Susan et al. « OPT: Open Pre-trained Transformer Language Models. » https://arxiv.org/abs/2205.01068
►Ma vidéo sur GPT-3 et les grands modèles de langage : https://youtu.be/gDDnTZchKec
►Article de Meta : https://ai.facebook.com/blog/democratizing-access-to-large-scale-language-models-with-opt-175b/
►Code : https://github.com/facebookresearch/metaseq https://github.com/facebookresearch/metaseq/tree/main/projects/OPT
►Mon infolettre (une nouvelle application de l’IA expliquée chaque semaine dans vos emails !) : /fr/newsletter/
FAQ
Qu’est-ce qu’OPT-175B de Meta ?
OPT-175B est un grand modèle de langage autorégressif publié avec un accès plus vaste pour la recherche que les modèles fermés de taille semblable.
En quoi OPT ressemble-t-il à GPT-3 ?
Les deux sont de grands modèles Transformer entraînés à prédire le prochain token à partir de vastes données textuelles.
Pourquoi une publication ouverte était-elle importante ?
Les chercheurs pouvaient étudier le comportement, l’efficacité, les biais et les modes d’échec sans dépendre uniquement d’une API commerciale.
Quelle affirmation environnementale accompagnait OPT ?
Meta a documenté l’empreinte de l’entraînement et réutilisé une exécution existante afin de rendre la recherche sur les grands modèles plus transparente et efficace.
Un accès ouvert rend-il automatiquement un modèle sécuritaire ?
Non. Les grands modèles exigent toujours un hébergement responsable, des évaluations, des contrôles d’accès et une attention particulière aux résultats nuisibles.