ChatGPT a conquis Twitter et pratiquement tout Internet grâce à sa puissance et à son potentiel pour créer des mèmes. Nous savons tous que savoir générer des mèmes est la meilleure façon de conquérir Internet, et ça a donc fonctionné.
Source : u/MediaMoguls.
Comme vous avez vu de nombreux exemples, vous savez peut-être déjà que ChatGPT est une IA récemment rendue publique par OpenAI avec laquelle vous pouvez discuter. On l’appelle aussi un agent conversationnel, ce qui signifie que vous pouvez interagir avec elle sous forme de conversation, comme si vous aviez une discussion individuelle avec un autre humain.
Ce que vous ne savez peut-être pas, c’est ce qu’elle est et comment elle fonctionne.
ChatGPT est un modèle fondé sur l’apprentissage par renforcement et sur la série de modèles GPT d’OpenAI. Je vous recommande une vidéo sur l’apprentissage par renforcement que nous avons récemment publiée avec mon ami Elias pour en apprendre davantage sur ce sous-domaine de l’IA. Mais en quelques mots, l’apprentissage par renforcement permet d’entraîner des algorithmes par essais et erreurs en visant des récompenses, un peu comme les humains apprennent grâce à des commentaires positifs.
Plus précisément, ChatGPT a été créé en trois étapes.
Procédure d’entraînement de ChatGPT. Image tirée de l’article de blogue d’OpenAI.
La première étape consistait à prendre un modèle déjà puissant et à faire son fine-tuning par apprentissage supervisé. Qu’est-ce que cela signifie ? Ils ont pris un modèle, plus précisément GPT-3.5, une version améliorée et à jour de GPT-3, puis l’ont entraîné de nouveau, cette fois-ci précisément sur des exemples de conversations plutôt que sur pratiquement tout Internet comme GPT-3. Ils cherchent donc à concentrer son potentiel sur les conversations, ce qui devrait théoriquement le rendre meilleur que GPT-3 pour converser, puisqu’un spécialiste est presque toujours meilleur qu’un généraliste dans une tâche précise. Si vous ne connaissez toujours pas la série de modèles GPT, je vous suggère de regarder la courte vidéo d’introduction que j’ai faite sur GPT-3 lors de sa sortie.
La deuxième étape consiste à ajouter notre touche magique d’apprentissage par renforcement, qui permet au modèle de s’exercer et de s’améliorer.
Après tout, c’est en forgeant qu’on devient forgeron !
Plus précisément, pendant cette étape, nous utilisons le modèle pour discuter avec des humains, lui demandons de fournir plusieurs réponses possibles, puis invitons l’humain à les classer de la meilleure à la pire. Ces données servent ensuite à entraîner un autre modèle, appelé modèle de récompense, qui apprend à reproduire le jugement de nos annotateurs humains. Cela nous mène à la dernière étape, où ce nouveau modèle de récompense évalue les réponses de ChatGPT sous la forme d’une fonction de récompense afin de l’aider à converger progressivement vers les meilleures réponses.
Cette dernière étape consiste donc à poursuivre l’entraînement de notre algorithme après l’étape initiale de fine-tuning que nous venons d’expliquer.
Voilà pourquoi ce sont des entreprises comme OpenAI qui publient ce genre de modèles incroyablement puissants. Il serait irréaliste pour des universités ou des particuliers de le faire, puisque leur entraînement exige beaucoup trop de puissance de calcul et de temps. Malgré tout, leurs réalisations sont assez remarquables, et je crois qu’elles valent la peine d’être faites et partagées pour faire avancer la science.
Et voilà ! En combinant le plus récent et déjà très puissant modèle de langage fondé sur GPT, en faisant son fine-tuning pour les conversations, puis en utilisant l’apprentissage par renforcement pour lui faire pratiquer ses aptitudes conversationnelles, vous obtenez ChatGPT !
Source : @themikkelu
Comme vous l’avez déjà vu, le modèle est très prometteur, mais il est aussi parfois complètement stupide et ne semble suivre aucune logique. Il demeure un simple algorithme, bien loin d’être intelligent ou conscient, même si tout dépend de la façon dont nous définissons ces deux concepts.
Source : u/LindenSpruce
Il a certainement ses limites.
La liste des limites de ChatGPT. Image tirée de l’article de blogue d’OpenAI.
Malgré tout, les résultats qu’il produit sont souvent étonnamment intéressants et pertinents.
ChatGPT représente sans aucun doute une avancée en IA conversationnelle et se montre très prometteur, surtout si l’on travaille sur l’ingénierie de prompts pour exploiter son véritable potentiel et limiter les cas d’échec.
J’espère que vous avez aimé cet article, et j’aimerais beaucoup voir vos expériences ! Identifiez-moi sur Twitter @whats_ai si vous les partagez, ou rejoignez notre communauté Discord, où nous avons créé un canal spécialement pour ça.
On se revoit la semaine prochaine avec une autre recherche incroyable sur l’IA !
Références
►Essayez-le : https://chat.openai.com/
►Article de blogue d’OpenAI : https://openai.com/blog/chatgpt/
►Qu’est-ce que GPT-3 : https://youtu.be/gDDnTZchKec
►Qu’est-ce que l’apprentissage par renforcement : https://youtu.be/C5_NfQy_kZU
►Rejoignez notre communauté Discord : /fr/learn-ai-together/
►Twitter : https://twitter.com/Whats_AI
►Soutenez-moi sur Patreon : https://www.patreon.com/whatsai
FAQ
Qu’est-ce que ChatGPT ?
ChatGPT est un modèle de langage conversationnel entraîné à suivre des instructions et à répondre dans une interface de dialogue.
En quoi ChatGPT différait-il du modèle GPT-3 original ?
Son modèle de base avait été mis à jour, puis entraîné davantage sur des exemples de conversations plutôt que seulement sur un vaste corpus de textes provenant d’Internet.
Pourquoi ajouter l’apprentissage par renforcement ?
Les préférences exprimées par des humains ont aidé le modèle à s’exercer à produire des réponses que les gens jugeaient plus utiles et appropriées.
Une conversation fluide signifie-t-elle que ChatGPT raisonne de façon fiable ?
Non. Il peut sembler confiant tout en commettant des erreurs factuelles ou de raisonnement. Les résultats importants doivent donc toujours être vérifiés.
À quoi ChatGPT sert-il le mieux ?
Il est utile pour rédiger, expliquer, chercher des idées et transformer du contenu lorsque quelqu’un peut évaluer le résultat.