Créer des applications avec les LLMs et les défis qui les accompagnent : une entrevue avec Jay Alammar

Transcription complète de l’entrevue ci-dessous!

Une nouvelle entrevue tout juste sortie du four avec Jay Alammar, auteur renommé d’un blogue technique, formateur en IA et créateur du célèbre article sur le Transformer illustré. Jay est probablement le blogueur technique le plus connu dans le domaine du NLP. Pendant l’entrevue, nous plongeons dans sa passion pour l’apprentissage automatique et le NLP, puis dans l’importance de partager ses connaissances pour aider les autres dans leur parcours d’apprentissage.

Le blogue de Jay et son travail avec Udacity sur les nanodiplômes ont contribué à former un nombre incalculable de personnes en apprentissage automatique, en apprentissage profond et en NLP. Il donne des conseils sur l’écriture pendant l’apprentissage et sur la recherche de feedback, deux habitudes qui peuvent ouvrir des portes et propulser une carrière.

Jay travaille actuellement comme directeur et Engineering Fellow chez Cohere, où il se concentre sur la plateforme éducative LLM University, dont nous parlons dans l’épisode. Jay et son équipe derrière LLM University cherchent à rendre l’apprentissage accessible à tous. Leur travail sur les grands modèles de langage démocratise les connaissances et offre des occasions d’apprentissage aux gens du monde entier.

Pendant l’entrevue, j’ai demandé à Jay d’expliquer tout le processus d’entraînement ainsi que l’architecture derrière les modèles GPT. En bref : ils répondent aux questions en générant du texte un mot à la fois, en mettant constamment à jour les inputs pour produire les outputs et en divisant les concepts complexes en composantes plus simples. Apprenez-en davantage dans l’épisode!

Si vous souhaitez plonger dans les grands modèles de langage et créer des applications basées sur l’IA, ne manquez pas cette entrevue éclairante avec Jay Alammar.

Écoutez-la sur Spotify, Apple Podcasts ou YouTube ici :

Transcription complète de l’entrevue :

[00:00:00] Voici une entrevue avec Jay Alammar. Jay tient un blogue technique ainsi qu’une chaîne YouTube où il explique beaucoup de sujets techniques liés à l’IA, comme son article sur l’attention et les Transformers, dont vous avez certainement déjà entendu parler. Il offre des ressources d’apprentissage extraordinaires. Il se concentre maintenant sur la création de LLM University avec Cohere, et nous en parlerons dans cet épisode. Mais pas seulement. Nous plongerons aussi dans les différents défis liés à la création d’applications basées sur les grands modèles de langage et dans la façon de les construire. Je pense que cet épisode est parfait pour toute personne qui s’intéresse aux grands modèles de langage, mais surtout pour celles qui veulent créer une application cool avec ceux-ci. J’espère que vous aimerez cet épisode.

Alors, je m’appelle Jay. J’ai travaillé comme ingénieur logiciel. Je suis fasciné par l’apprentissage automatique depuis… très longtemps, mais j’ai vraiment commencé à travailler dans ce domaine il y a environ huit ans, lorsque j’ai lancé un blogue pour documenter ma façon d’apprendre l’apprentissage automatique. Cela, cela [00:01:00] semblait être cette puissance qui, qui, qui donne aux logiciels des capacités assez renversantes lorsque vous connaissez leurs limites. Puis vous voyez arriver ces démonstrations d’apprentissage automatique qui accomplissent des choses repoussant vraiment les limites de l’imagination quant à ce qu’un logiciel peut faire. C’est à ce moment que j’ai lancé mon blogue, qu’un grand nombre de personnes ont consulté, parce que j’ai commencé par des introductions à l’apprentissage automatique et, de façon générale, par la façon de faire, de réfléchir à la rétropropagation et aux réseaux neuronaux. Je suis ensuite passé à des sujets plus avancés qui couvraient l’attention, le traitement du langage et la génération de texte. Puis tout a vraiment explosé. Lorsque j’ai commencé à parler des modèles Transformer, BERT et GPT sur le blogue, j’ai eu la chance de travailler avec Udacity pour créer certains de leurs nanodiplômes et apprendre aux gens à utiliser ces modèles de langage et à les entraîner [00:02:00].

Ce sont les deux éléments qui ont vraiment lancé, en quelque sorte, ma façon de travailler avec l’apprentissage automatique et l’IA. D’après ce que j’ai vu, le blogue a maintenant dépassé 600… 6 millions de pages vues. Une grande partie du contenu porte sur les Transformers et leur fonctionnement. Et oui, je crois que des dizaines de milliers de personnes ont suivi les différents programmes d’Udacity sur l’apprentissage automatique, l’apprentissage profond, le NLP et la vision par ordinateur.

Plus récemment, j’ai la chance de travailler de très près avec ces modèles chez Cohere comme directeur et Engineering Fellow. Je continue d’apprendre leurs capacités et de les expliquer aux gens en montrant comment les déployer dans des applications réelles. Autrement dit, comment pouvez-vous construire quelque chose avec ces modèles qui résout un véritable problème que vous avez maintenant?

Cela comprend de la formation et des présentations. Cela comprend la création de schémas, mais aussi la cristallisation de plusieurs leçons apprises dans l’industrie sur la façon de déployer [00:03:00] ces modèles et de construire des choses autour d’eux. Cohere. Alors, beaucoup de gens ont entendu parler des Transformers, et Cohere a été… a été fondée par trois cofondateurs, dont certains étaient coauteurs de l’article original sur les Transformers. Ils construisent depuis environ deux ans, peut-être deux ans et demi, ces Transformers dans le nuage, ces grands modèles de langage hébergés et gérés. Je travaille dans l’entreprise depuis deux ans et j’ai vu ce déploiement et cette mise en marché.

Et oui, depuis, l’entreprise a entraîné et déployé, vous savez, deux familles d’immenses modèles de langage capables de générer du texte, mais aussi de le comprendre. Nous pourrons approfondir ces deux capacités des grands modèles de langage.

Absolument. Vous avez mentionné avoir lancé votre blogue il y a huit ans et, bien sûr, comme la plupart des gens, je vous ai découvert grâce à l’extraordinaire article que vous avez écrit sur les Transformers et l’attention.

Il m’a vraiment aidé, comme beaucoup d’autres personnes. Mais [00:04:00] puisque vous avez commencé il y a si longtemps, qu’est-ce qui vous a poussé à vous lancer dans le domaine? Il y a huit ans, l’engouement pour l’IA était loin de ce qu’il est aujourd’hui. Comment l’avez-vous découverte, et qu’est-ce qui vous a poussé à créer ce blogue à son sujet?

Excellente question. Oui. Alors, comme j’ai travaillé longtemps comme ingénieur logiciel, je tombais parfois sur des démonstrations qui me semblaient magiques.

Et beaucoup d’entre elles venaient de l’apprentissage automatique. Si vous cherchez Word Lens sur YouTube, vous trouverez une démonstration publiée en 2010 sur un iPhone 4. Vous pouviez le pointer vers, disons, une phrase écrite en espagnol, et il la transformait en, disons, sa traduction anglaise. Il superposait la traduction.

Et aujourd’hui, vous savez, 13 ans plus tard, cela semble encore magique, surtout si vous connaissez les logiciels et la complexité du traitement du langage et des images. Pouvoir faire cela sans serveur, avec un logiciel qui [00:05:00] s’exécute sur un appareil, me semblait être un artefact extraterrestre.

Après avoir vu quelque chose comme cela, j’ai toujours gardé dans ma tête une liste de choses à faire : entrer dans l’apprentissage automatique, saisir la première occasion de m’y plonger et comprendre le domaine, parce qu’il allait clairement transformer le logiciel. Le moment qui m’a vraiment permis de me lancer est arrivé vers 2015, lorsque TensorFlow est devenu open source. Je me suis dit : d’accord, c’est le moment, il existe maintenant du code open source.

Parce que, vous savez, pour beaucoup de ces choses, il fallait être très près d’un laboratoire de recherche ou travailler assez profondément dans une entreprise. À l’époque, j’étais en quelque sorte un étranger. Je n’étais pas dans la Silicon Valley ni dans un grand pôle technologique. J’étais simplement un développeur avec un ordinateur portable, un accès à Internet et l’envie d’apprendre seul, sans groupe, entreprise ou équipe de recherche autour de moi.

Je n’étais pas, disons, un universitaire. Il s’agissait donc beaucoup d’autoapprentissage. Lorsque [00:06:00] TensorFlow est sorti, je me suis dit : d’accord. J’avais lu en 2004 un article appelé MapReduce, qui avait lancé l’industrie du big data. Tout ce qui entourait le big data représentait donc une immense industrie. Euh, et j’avais l’impression que le lancement de TensorFlow et tout ce qui commençait à se produire en apprentissage profond annonçaient le début de cette nouvelle vague d’apprentissage profond.

Alors oui, j’ai commencé à suivre quelques tutoriels, mais comment vous sentez-vous satisfait après avoir passé trois ou quatre mois à apprendre quelque chose? Oui, vous possédez plus d’information et avez développé un peu vos compétences, mais j’ai toujours besoin d’un résultat concret qui montre qu’entre le premier et le troisième mois, j’ai créé quelque chose. C’est ce que le blogue représentait pour moi.

C’était comme : d’accord, laissez-moi… J’ai énormément de difficulté à comprendre un concept. Une fois que je le comprends, je me dis : d’accord, il existait peut-être une meilleure façon, plus simple, de le comprendre si on me l’avait expliqué ainsi. C’est comme cela que j’essaie de… laissez-moi réfléchir à tout cela. Une fois que je l’ai compris, [00:07:00] j’essaie de cacher la complexité, les éléments qui m’intimidaient, par exemple lorsque j’apprenais quelque chose avant de me retrouver devant un mur de formules.

Oui. Ou encore beaucoup de code avant d’obtenir l’intuition, ce qui m’intimidait. Ces émotions me guident vers des approches plus douces pour présenter ces sujets aux lecteurs, où nous cachons la complexité. Cherchons l’intuition, obtenons une perception visuelle de celle-ci. Mais cela exige beaucoup d’itérations. Je serai heureux d’expliquer comment mon processus d’écriture et de visualisation évolue au fil du temps.

Oui, j’adorerais, parce que je fais principalement la même chose sur YouTube. J’ai commencé pendant mon apprentissage de l’intelligence artificielle simplement pour me forcer à étudier davantage et à apprendre plus.

Mais tout comme vous, je voulais aussi obtenir une forme de résultat ou d’output de mon apprentissage, puis confirmer que j’avais vraiment compris [00:08:00] les choses correctement. Parce que si vous pouvez les expliquer, cela devrait vouloir dire que vous les comprenez. Alors je, je, je vous comprends parfaitement et je suis du même avis, du même avis.

Mais une autre possibilité consiste aussi à créer quelque chose, à programmer quelque chose, à développer une application ou autre. Qu’est-ce qui vous a poussé à choisir la voie de l’enseignement de ce que vous appreniez plutôt que d’utiliser ou d’apprendre quelque chose pour créer autre chose?

Parce que c’est toujours comme cela : lorsque vous développez une compétence, vous ne l’acquérez pas toujours dans le but de construire un produit précis.

Vous apprenez, vous observez et vous voyez ce qui est populaire sur le marché. Puis, pendant que vous développez vos compétences, peut-être qu’au sixième mois, vous n’êtes toujours pas capable, vous savez, d’entraîner un immense modèle, de le déployer et de résoudre un problème. Alors je sépare le lancement d’un produit de l’apprentissage et de l’acquisition de la compétence.

C’est pourquoi [00:09:00] l’écriture représente un excellent terrain d’entente, ou un résultat concret de l’apprentissage, parce qu’il s’agit aussi d’un cadeau aux autres. Cela vient également d’une forme de reconnaissance, du sentiment d’être reconnaissant envers les excellents vulgarisateurs qui m’ont expliqué des choses par le passé. Au début, lorsque j’avais vraiment du mal à comprendre ce que sont les réseaux neuronaux, je tombais sur un article d’Andrej Karpathy, d’Andrew Trask ou de Chris Olah qui expliquait quelque chose visuellement, de façon magnifique, ou avec seulement 11 lignes de code qui vous donnaient l’impression de bien le saisir.

Je ressens beaucoup de reconnaissance parce que cela m’a rapproché de mon objectif. Oui. En simplifiant, c’est ce que nous essayons d’accomplir avec ce que nous venons de lancer, LLM University chez Cohere, et une grande partie de mon parcours d’apprentissage s’y reflète. Je suis heureux de voir ce travail de formation et d’apprentissage évoluer en communauté, vous savez, [00:10:00] en nous enseignant les uns aux autres, mais aussi en collaborant sur notre façon d’apprendre.

Et c’est, c’est quelque chose qui, selon moi, profite à tout le monde. Je conseille à chacun d’écrire sur ce qu’il apprend. Beaucoup de gens s’arrêtent en se disant : non, je ne suis qu’un débutant, je viens tout juste d’apprendre cela. Mais bien souvent, simplement dresser la liste des ressources que vous avez trouvées utiles possède une valeur en soi, sans même parler de tout ce que le fait d’avoir écrit quelque chose peut apporter à votre image.

Et pour moi, le processus d’écriture m’aide à apprendre beaucoup plus profondément. Prenons l’article du Transformer illustré. Il contient quoi, peut-être 20 visuels. Chacun des visuels que vous voyez sur l’article est, disons, la sixième ou la septième version, parce que je l’ai retravaillé tellement de fois et que j’ai appris pendant ce processus.

Je lisais donc l’article scientifique et je me demandais : d’accord, est-ce que je le comprends correctement? Voici, voici ma compréhension. Puis je lisais un autre paragraphe et me disais : non, ma façon de l’expliquer contredit un peu ceci. Laissez-moi le redessiner avec cette nouvelle compréhension. Et [00:11:00] une fois que je savais que j’allais le publier, une partie de mon cerveau me disait : attends, d’autres personnes vont lire cela.

À quel point suis-je certain que cela fonctionne vraiment ainsi? Je devrais peut-être aller lire le code pour vérifier ma compréhension et atteindre cette profondeur d’analyse. Je ne l’aurais pas fait si j’avais simplement lu l’article en me disant : oui, d’accord, je comprends. Il y a aussi autre chose, une bonne astuce de vie que je transmets aux gens.

Si vous expliquez l’article scientifique de quelqu’un, vous savez que celui-ci contient les emails des auteurs et que vous les aidez en quelque sorte à diffuser leurs idées. Alors, une fois votre travail en bonne forme, écrivez quelque chose, envoyez-le-leur et obtenez leurs commentaires. C’est aussi une autre excellente source de feedback et de relations que j’ai développées au fil du blogue.

Cela aide vraiment à éliminer certains angles morts que vous ne pouvez pas voir. C’est particulièrement important et précieux pour les gens qui, encore une fois, ne se trouvent pas dans la Silicon Valley. La majorité des gens sont quelque part dans le monde sans avoir accès [00:12:00] aux personnes qui travaillent beaucoup plus près de cette technologie.

Pour beaucoup d’entre nous, Internet est tout ce que nous avons. Comment pouvons-nous donc apprendre avec les communautés en ligne? C’est un autre aspect où LLMU aide à démocratiser ces connaissances. Cohere possède aussi une branche de recherche animée par la communauté appelée Cohere for AI, dont l’objectif consiste à élargir les connaissances et la recherche en apprentissage automatique et qui accepte aujourd’hui des gens de, je crois, oui, plus d’une centaine de pays.

Pour moi, cela explique une partie de la situation. Lorsque je me suis lancé, je me disais : vous savez, je suis un professionnel qui travaille dans une profession précise. Ce domaine me passionne vraiment. Je veux l’apprendre, mais je, vous savez, je, je, je suis très loin des très grandes entreprises qui font ce travail. Comment puis-je y arriver?

Voilà ce que j’espère : les occasions que les gens obtiennent en partageant, en créant des choses, en partageant ce qu’ils apprennent et en apprenant ensemble comme communauté. C’est aussi ce que nous essayons de faire, par exemple, dans le Discord de Cohere [00:13:00]. Nous disons : vous savez, d’accord, dites-nous. Apprenons, apprenons ensemble comme communauté.

Oui. Il est assurément extrêmement utile de partager tout ce que vous voulez partager. Si vous vous trompez, eh bien, dans le pire des cas, je, je crois que personne ne le verra simplement parce que ce n’est, ce n’est, ce n’est pas de grande qualité. Mais si des gens le voient, ils finiront par vous corriger et vous apprendrez encore davantage. Tant que vous ne diffusez pas intentionnellement de fausses informations, il est possible que vous ne soyez pas tout à fait certain d’avoir pleinement compris ce que vous essayez d’expliquer. Mais il peut aussi simplement s’agir de doutes dans votre tête, dans votre tête, alors que vous avez raison et que vous pouvez partager.

C’est comme, c’est comme une peur que vous devez finir par surmonter. Absolument. Elle arrête beaucoup de gens. Beaucoup se disent : vous savez, je ne suis pas le plus grand spécialiste au monde dans ce domaine. Mais vous n’avez pas besoin de l’être, et vous pouvez l’écrire directement. Pour moi, cela m’a donné beaucoup de liberté et beaucoup de…

[00:14:00] confort pour écrire des choses où je dis : j’apprends ceci, apprenons-le ensemble. Voici mes notes, voici comment je le comprends. Lorsque je fais cela, j’apprends plus profondément et, vous savez, si des gens me corrigent, je le mets simplement à jour. J’ajoute une mise à jour ou, vous savez, je change le visuel, et c’est une excellente façon d’apprendre ensemble.

Vous rendez donc un certain service à votre public en apprenant avec lui. Et cela aide votre carrière. Je dis à beaucoup de gens : d’accord, cela vous ouvrira des portes professionnelles et vous donnera accès à de possibles emplois futurs en montrant que ce sujet vous passionne ou, plus tard, si vous le faites assez longtemps, que vous en êtes un spécialiste.

Absolument. Oui. La visibilité est extrêmement importante, même pendant votre apprentissage. Après trois ans sur YouTube, j’ai vu beaucoup de gens me demander quoi apprendre, par où commencer, etc. Surtout lorsqu’ils apprennent en ligne, beaucoup restent pris dans une succession de cours, puis un autre, un autre, encore un autre. Et ils ne font que…

continuer à essayer [00:15:00] d’apprendre parce que, tout comme moi et la plupart des doctorants, ils souffrent presque toujours du syndrome de l’imposteur. Nous croyons que nous ne sommes pas les spécialistes, que les gens ne devraient pas nous faire confiance ni nous croire. Mais nous devons simplement surmonter cela et au moins essayer.

Oui. Oui. Non, absolument, c’est transparent. Mais même les plus grands spécialistes mondiaux de n’importe quel sujet sont habituellement spécialistes d’une chose très étroite. Puis ils apprennent simplement tout le reste. Ils ne sont pas juste… oui. Ce sont nos limites comme humains.

Et maintenant, avec toute votre expérience de l’enseignement, votre extraordinaire blogue, comme je l’ai dit, sur les Transformers, l’attention et tout ce qui touche aux grands modèles de langage, puis maintenant avec LLM University, où vous essayez aussi, comme nous en avons discuté avec Luis dans l’épisode précédent, de faire de votre mieux pour [00:16:00] expliquer leur fonctionnement et ce qu’on peut accomplir avec eux.

Je sais que cela exige habituellement beaucoup de visuels, puisque les visuels aident énormément à enseigner le fonctionnement de sujets complexes. Mais je me demande si, après tout ce temps à travailler avec ces modèles et à essayer de les expliquer, vous avez trouvé une façon d’expliquer les Transformers et l’attention assez clairement avec seulement un format audio. Seriez-vous capable d’expliquer leur fonctionnement, par exemple, à une personne qui vient d’entrer dans le domaine?

D’accord. Oui. Nous avons de l’excellent contenu à ce sujet sur LLMU. Une chose qui rend LLMU spéciale, c’est que j’y collabore avec des gens incroyables. Luis est l’un des meilleurs vulgarisateurs et formateurs en ML au monde.

Et aujourd’hui, lorsqu’une personne veut apprendre les Transformers, je ne la dirige vraiment pas vers le Transformer illustré. Je la dirige vers l’article de Luis sur les Transformers, parce que le Transformer illustré [00:17:00] supposait que les lecteurs avaient lu l’article précédent sur l’attention et les RNNs.

Si vous commencez aujourd’hui, vous ne devriez peut-être pas apprendre les RNNs et les LSTMs. Vous pouvez passer directement des réseaux neuronaux aux Transformers et à l’attention. Une partie de ce qui rend LLMU spéciale pour moi est donc ma collaboration avec Luis, mais aussi avec Meor Amer, l’un des meilleurs vulgarisateurs visuels.

Meor a créé un livre intitulé Visual Intro to Deep Learning, qui explique visuellement beaucoup de concepts de l’apprentissage profond. Et vous savez, il fait partie des meilleures personnes pour prendre un concept et lui donner une représentation visuelle. Cette collaboration sur LLMU représente donc un rêve devenu réalité pour moi.

Quant à la façon dont j’explique les Transformers à des publics très différents depuis cinq ans, il existe plusieurs idées. Oui. Tout dépend du public. Une approche [00:18:00] consiste à dire qu’aujourd’hui, beaucoup de gens connaissent les modèles génératifs, les Transformers génératifs.

C’est donc une bonne façon de se demander : d’accord, comment un modèle de génération de texte, l’un de ces modèles GPT, répond-il à une question? Il le fait en générant un mot à la fois. Voilà comment il fonctionne pendant l’inférence. Comment génère-t-il un mot à la fois?

Nous lui fournissons les inputs. Disons que nous demandons : vous savez, quelle date sommes-nous aujourd’hui? Il divise la phrase en, je vais dire, des mots. Le vrai terme est « tokens », mais disons qu’il la divise en mots et les fournit au modèle. De l’autre côté du modèle sort le prochain mot auquel celui-ci s’attend.

Ce mot est ensuite ajouté à l’input. Puis le modèle génère le prochain, puis le prochain et encore le prochain mot. Voilà son fonctionnement. Voilà comment ces modèles de génération de texte [00:19:00] fonctionnent. Maintenant, si vous leur donnez un input qui ne répond pas à tout, comment peuvent-ils accomplir cela? Que se passe-t-il sous le capot pour le leur permettre?

C’est une autre question. Mais au début, j’aime donner aux gens une idée de ce que le modèle accomplit pendant l’inférence. Vous pouvez ensuite examiner ses véritables composantes. Alors, comment fait-il? Eh bien, les mots en input sont traduits en représentations numériques. Les ordinateurs sont des ordinateurs, ils calculent, et les modèles de langage sont techniquement, j’ai entendu cette expression de quelqu’un appelé Sam Joseph…

Les modèles de langage Transformer sont des calculatrices du langage. Tout doit donc devenir des nombres. Puis, grâce aux calculs et aux multiplications, ces nombres deviennent d’autres éléments du langage. Voilà ce qui se passe à l’intérieur de cette boîte, qui est le modèle entraîné.

Nous verrons comment l’entraînement se déroule à la fin, mais pour le moment, supposons simplement que nous possédons ce modèle entraîné comme par magie. Vous lui donnez des mots, il prédit le prochain mot et vous donne quelque chose de cohérent [00:20:00] selon les statistiques des textes sur lesquels il a été entraîné. Mécaniquement, le texte en input traverse les différentes couches du modèle, et celui-ci comprend, disons, des composantes ou des blocs.

Le Transformer original peut comprendre six couches, tandis que certains grands modèles actuels en possèdent 90 ou, vous savez, une centaine. Chaque couche traite un peu le texte et produit des représentations numériques un peu plus transformées. Celles-ci passent à la prochaine couche, puis à la suivante.

À la fin, le traitement est suffisant pour que le modèle ait confiance et dise : d’accord, le prochain mot est celui-ci. Voici un autre niveau de décomposition. À partir de là, oui, nous pouvons prendre deux directions différentes. Nous pouvons parler de la façon dont il a été entraîné. Nous pouvons aussi décomposer ces blocs et ces couches pour parler de leurs différentes composantes. Je vais donc vous laisser choisir votre destinée et me diriger. Quelle [00:21:00] voie voulez-vous suivre maintenant?

Je pense que je préférerais examiner la composition des blocs, ce qui les constitue et leur fonctionnement.

Excellent. Je donne un exemple des deux grandes capacités qui correspondent aux deux principales composantes de ce que l’on appelle un bloc Transformer.

Avez-vous vu le film The Shawshank Redemption? Moi non. C’est un film très populaire, mais il s’agit simplement de deux mots souvent utilisés ensemble, Shawshank et Redemption. Si vous dites « Shawshank » à un modèle, selon toutes les données sur lesquelles il a été entraîné, il existe peu de mots qui apparaissent habituellement après Shawshank dans le jeu de données d’entraînement.

Le mot ayant la probabilité la plus élevée serait donc « Redemption », uniquement selon ce que le modèle a vu par le passé. Oui. Voilà le travail de l’une des deux composantes. C’est ce que l’on appelle un réseau neuronal feed-forward. Il s’agit [00:22:00] de l’une des deux principales composantes de ce bloc Transformer, et elle s’appuie simplement sur ces statistiques. Si vous possédez seulement cette composante du bloc Transformer, le modèle peut faire cette prédiction lorsque vous lui fournissez un input.

Avec le texte « Shawshank », il produira « Redemption ». Voilà ce genre de travail. Mais le langage est un peu complexe, et ce n’est pas le seul mécanisme dont un logiciel a besoin pour générer du texte. Il faut un autre mécanisme, appelé attention. Pour réfléchir à l’attention, disons que nous donnons cette phrase au modèle et lui demandons de la compléter :

Le poulet n’a pas traversé la route parce qu’il… Non, « il » fait-il référence à la route ou au poulet? Il devient très difficile de s’appuyer sur les mots qui, traditionnellement et statistiquement, apparaissent après celui-ci, parce que cela produirait souvent une phrase vide de sens. Vous devez comprendre…

Parlons-nous de la route [00:23:00] ou du poulet? Voilà l’objectif de la deuxième couche, le mécanisme d’attention. Comment y arrive-t-il? Il est construit d’une façon précise qui lui permet de l’apprendre à partir de toutes les données de son entraînement, ce que nous pourrons approfondir.

Mais ce sont les deux grandes composantes d’un modèle, d’un modèle Transformer, y compris d’un modèle GPT. Le T de GPT signifie Transformer. Celui-ci contient plusieurs blocs Transformer. Chaque bloc comprend l’autoattention, donc la couche d’attention, puis un réseau neuronal feed-forward. Chacun possède cet objectif.

Lorsque vous les empilez dans un modèle assez grand et que vous entraînez celui-ci sur un jeu de données assez vaste, vous commencez à obtenir des modèles capables de générer du code, de résumer et d’écrire du contenu marketing. Vous pouvez construire sur ceux-ci de nouvelles industries d’assistants d’écriture basés sur l’IA.

Oui, c’est parfaitement logique. C’est une très bonne explication et j’ai eu de la difficulté pendant un certain temps. [00:24:00] Même lorsque GPT-3 est sorti, je pense que c’était il y a deux ans… non, trois ans, je ne sais pas pourquoi, mais je crois que c’est toujours le cas avec les nouvelles technologies. Il était vraiment difficile de comprendre assez bien son fonctionnement pour l’expliquer correctement. Maintenant, vous le maîtrisez assurément, et j’adore la façon dont vous avez séparé les différents sujets sans trop plonger dans les détails.

Je reste souvent pris dans les détails parce que j’aime, par exemple, la façon dont l’attention calcule, eh bien, l’attention pour chaque mot, etc. J’aime vraiment ces détails que vous n’avez même pas mentionnés, et je crois qu’il est assez important de ne pas les mentionner. De les mentionner comme vous, comme vous, comme vous l’avez fait.

Et oui, je, je, je dois encore apprendre la meilleure façon d’expliquer les choses, mais c’est… oui, c’est vraiment agréable de vous voir expliquer quelque chose que je connais même maintenant, mais qui [00:25:00] m’apprend encore de nouvelles choses. C’est vraiment cool.

Ce qui aide, c’est de faire beaucoup d’itérations, de recommencer encore et encore, d’expliquer aux gens, puis de remarquer qu’après une certaine phrase, leurs yeux commencent, oui, à perdre un peu leur concentration. Vous revenez alors en arrière et vous dites : d’accord, c’était peut-être un peu trop détaillé. Laissez-moi reporter cela. Vous pouvez tout de même mentionner les détails, mais j’aime les présenter par couches. Vous commencez par une partie du concept, vous approfondissez un peu une autre partie, puis oui.

Mais vous obtenez d’abord le concept complet à un niveau général, puis un peu plus de résolution sur une autre partie. C’est en quelque sorte une philosophie qui, d’après ce que j’ai vu, fonctionne depuis des années.

Et je pense que même pour une présentation ordinaire, il s’agit aussi d’un bon format à suivre, ne serait-ce que pour mentionner : voici l’aperçu général.

Je plongerai dans les détails plus tard, mais pour l’instant, concentrez-vous simplement sur cela. Je pense que le simple fait de le mentionner rend le tout plus intéressant. Vous êtes peut-être [00:26:00] un peu perdu, mais vous savez que l’explication s’en vient, alors vous ne vous sentez pas perdu. Oui, je pense que c’est assurément une meilleure façon d’expliquer.

Même si les personnes qui nous écoutent ne sont pas des enseignants et n’ont pas de blogue, elles doivent peut-être présenter quelque chose dans leur travail. Pour n’importe quelle présentation ou simplement pour partager des connaissances, il est vraiment pertinent d’apprendre à améliorer sa façon de les transmettre. Maintenant, tout le monde parle de ChatGPT. J’aimerais donc beaucoup que vous présentiez les différentes étapes, de la partie autosupervisée au fine-tuning, puis à l’apprentissage par renforcement avec feedback humain. Comment expliqueriez-vous toutes ces étapes assez complexes en termes simples?

Oui. J’ai l’intention d’écrire un jour quelque chose sur l’entraînement des préférences humaines, avec ou sans… il existe différentes méthodes. Alors [00:27:00] voici comment cela fonctionne aujourd’hui. L’un des éléments qui font fonctionner ces modèles maintenant, c’est que nous pouvons disposer de beaucoup de données.

Ces données ne sont pas annotées et servent à entraîner le modèle. Nous pouvons simplement recueillir du texte, du texte libre sur Internet, dans Wikipédia, par exemple, dans des livres ou dans n’importe quel jeu de données. Nous pouvons utiliser ce contenu pour créer des exemples d’entraînement de cette façon non supervisée, que l’on appelle maintenant semi-supervisée, en disant : d’accord, prenons une page de Wikipédia, peut-être la page sur le film The Matrix, par exemple.

Ou, ou, ou Shawshank, n’importe quel article, puis dire : d’accord, cette page contient 10 000 mots. Créons quelques exemples d’entraînement. Prenons les trois premiers mots, présentons-les au modèle et demandons-lui de prédire le quatrième. Voilà un exemple d’entraînement. Nous pouvons ensuite créer un autre exemple où nous lui donnons les quatre premiers mots et lui demandons de prédire le cinquième.

Vous voyez donc que nous pouvons simplement faire glisser cette fenêtre et créer des millions [00:28:00] ou des milliards d’exemples d’entraînement. Voilà ce qui se produit au début. C’est pourquoi on les appelle des modèles de langage. Il s’agit d’une tâche de NLP appelée modélisation du langage. Or, celle-ci s’est révélée être l’une des choses les plus magiques, l’un des meilleurs retours sur investissement que l’écosystème technologique, ou peut-être la technologie humaine, nous ait jamais offerts.

Parce qu’elle permet d’aller très loin, d’une façon qui surprend vraiment les personnes travaillant de près avec cette technologie. Lorsque vous faites cela avec des modèles assez grands et suffisamment de données, le modèle devient capable de retenir de l’information, des connaissances sur le monde. Vous pouvez donc lui poser des questions sur des personnes, et il vous dira, vous savez, qui a joué dans The Matrix, à quelle date et à quelle heure.

Cette information commence à être présente. Le modèle commence à générer du texte très cohérent, qui semble exact et respecte la grammaire. Comment y arrive-t-il sans que nous lui écrivions toutes les [00:29:00] règles grammaticales? Si vous l’entraînez à assez grande échelle sur un jeu de données multilingue, il commence à pouvoir faire cela dans…

toutes les langues, dans plusieurs langues. La modélisation du langage fait donc partie des éléments magiques qui entraînent cette immense explosion des capacités du logiciel et de l’IA. Elle représente la source de tout cela et la première étape de l’entraînement de ces grands modèles de langage.

C’est aussi l’étape qui exige le plus de calcul et le plus de données. L’entraînement peut prendre des mois et des mois. En apprentissage automatique, vous prenez un modèle comprenant, je ne sais pas, n’importe quel nombre de paramètres, mais ceux-ci sont aléatoires au départ. Les prédictions du modèle sont mauvaises parce qu’elles sont aléatoires, mais il apprend à chaque étape d’entraînement.

Lorsque nous lui donnons les trois premiers mots et lui demandons de prédire le quatrième, sa prédiction sera mauvaise. Nous lui disons : non, tu as répondu ceci, voici la bonne réponse. Mettons-toi à jour. Ainsi, la prochaine fois que tu [00:30:00] verras cet exemple, tu auras une chance un peu plus élevée de réussir. Encore une fois, cette étape se produit des milliards de fois, ou, vous savez, des millions ou des milliards de fois.

C’est l’entraînement, l’apprentissage de l’apprentissage automatique : faire une prédiction, mettre le modèle à jour selon l’ampleur de son erreur, puis recommencer encore et encore. Voilà donc la première étape, et la plus coûteuse, de la création d’un modèle de base. Une fois celui-ci publié et utilisé, vous pouvez lui faire accomplir des choses utiles, mais vous devez effectuer beaucoup de prompt engineering. Parce que vous pouvez poser au modèle la question « Quel goût ont les pommes? », et celui-ci, uniquement selon ce qu’il a vu dans le jeu de données, peut répondre par une autre question : « Quel goût ont les oranges? Quel goût ont les fraises? » Ce sont toutes des suites raisonnables. Vous lui avez donné une question, et il produit plus de questions en changeant peut-être le type de fruit. Hum. Mais [00:31:00] ce que les gens voulaient réellement de leurs interactions, c’était : si je te pose une question, donne-moi une réponse.

Si je te donne une commande et te demande d’écrire un article sur les pommes, je veux que tu écrives un article, pas que tu me donnes d’autres commandes à ce sujet. C’est ce que l’on appelle l’entraînement des préférences. Pour le réaliser, vous recueillez des exemples d’entraînement composés d’une question et de sa réponse, ou d’une commande où vous dites : d’accord, écris-moi un article sur X, suivie de l’article sur X. Vous entraînez ensuite le modèle sur ce jeu de données.

C’est ainsi que vous obtenez ce… ce comportement où le modèle suit ce que les gens ont commencé à attendre de lui. Il suit mes… Voilà ce que sont les commandes, ce que le modèle Command de Cohere est ajusté à faire et ce qu’InstructGPT a commencé à accomplir, ainsi que la façon dont il a amélioré GPT-3 par le passé.

Voilà donc l’étape suivante. Puis vous pouvez, vous pouvez mieux aligner le modèle [00:32:00] sur ces comportements avec une autre étape d’entraînement, qui peut parfois comprendre de l’apprentissage par renforcement. Plutôt que de seulement effectuer de la modélisation du langage sur ce nouveau jeu de données que vous avez créé et fourni, vous lui donnez aussi de bons et de mauvais exemples. Vous dites : d’accord, rapproche-toi des bons exemples et éloigne-toi des mauvais, selon l’évaluation d’un autre modèle, disons un modèle de récompense.

Mais je crois que beaucoup de gens n’ont pas besoin d’entrer dans cette complexité. Tant que vous comprenez l’objectif de la modélisation du langage et l’idée des préférences, vous possédez l’essentiel de la compréhension nécessaire. Vous pouvez alors vous concentrer sur la façon dont le modèle devient pertinent et utile pour le produit que vous essayez de construire.

Quels types de prompts, de pipelines ou de chaînes sont utiles pour celui-ci? Pour la vaste majorité des gens, c’est beaucoup plus utile que de comprendre les équations de Bellman ou, vous savez, les étapes détaillées de l’apprentissage par renforcement.

En ce qui concerne les différents produits que l’on construit avec [00:33:00] ces modèles, je sais que vous en parlez beaucoup dans LLMU. Je crois qu’en plus du fine-tuning et des modèles Command courants, une approche extrêmement importante et prometteuse consiste à utiliser les embeddings pour construire des applications, comme des applications de recherche d’information ou tout autre type de recherche sémantique, de classification, etc.

Je me demande d’abord… eh bien, j’ai deux questions. La première : que sont les embeddings et que peut-on accomplir avec eux? Mais aussi, qu’est-ce qui vous semble le plus prometteur entre essayer de créer le modèle ChatGPT parfait avec beaucoup de fine-tuning, les meilleures commandes possibles, du feedback humain et tout le reste pour le rendre parfait, ou utiliser un modèle uniquement pour les embeddings, puis travailler sur des applications très précises comme celles-ci? Ou [00:34:00] s’agit-il simplement de cas d’utilisation très différents qui sont tous les deux pertinents?

Oui, certaines personnes utiliseront les deux. D’autres utiliseront simplement différents prompts, les enverront à un grand modèle et récupéreront les résultats.

Vous en voyez beaucoup sur LinkedIn. Vous savez : voici les 10 meilleurs prompts à utiliser. Une catégorie de personnes trouvera cela utile. Mais il en existe une autre, que je défends en quelque sorte, qui consiste à considérer ces outils comme des composantes avec lesquelles vous pouvez construire des systèmes de plus en plus avancés. Vous ne vous contentez pas de consommer un seul service ou un seul modèle. Vous les assemblez réellement comme créateur.

Oui. Je défends donc cette approche et je vous encourage à la suivre. Le concept des embeddings est l’un des plus puissants et des plus centraux. Tout comme « API » n’est plus seulement un terme technique, mais aussi un terme d’affaires que les dirigeants doivent connaître depuis 10 ou 15 ans…

Je crois qu’« embeddings » deviendra [00:35:00] l’un de ces concepts, parce qu’il s’agit d’une composante centrale pour travailler avec les grands modèles de langage et construire des systèmes de plus en plus complexes. En bref, les embeddings sont des représentations numériques du texte. Ils peuvent représenter des mots. Par exemple, des méthodes comme Word2Vec attribuent à chaque mot une série de nombres qui le représente et saisit son sens.

Mais au-delà des mots, nous pouvons aussi créer des embeddings de texte, soit une liste de nombres qui représente un texte complet, une phrase, un email ou même, en quelque sorte, un livre. Ce concept devient donc extrêmement important si vous choisissez de créer des produits avec les LLMs. Vous commencez alors à comprendre ce que sont les embeddings.

L’un des meilleurs projets que je conseille aux gens de construire fait appel à la recherche sémantique. Prenez un jeu de données, disons la page Wikipédia du film The Matrix. Divisez-la en phrases, créez un embedding pour chaque phrase, puis vous pouvez [00:36:00] construire, disons, un moteur de recherche simple sur ce jeu de données.

Le moteur de recherche fonctionne ainsi. Vous lui donnez une requête, par exemple : quand The Matrix a-t-il été filmé ou quand est-il sorti? Ce texte reçoit lui aussi un embedding. Vous l’envoyez donc à un modèle d’embedding, comme l’endpoint Embed de Cohere. Vous récupérez les nombres, puis vous pouvez effectuer une simple recherche des plus proches voisins.

C’est aussi très simple, environ deux lignes de code. Vous trouvez ces plus proches voisins, ce qui vous donne les trois ou cinq phrases les plus proches de cette requête. Ce qui est merveilleux, c’est que peu importe les mots employés, les LLMs saisissent le sens.

Même si vous n’utilisez pas les mêmes mots, le modèle saisit l’intention. Voilà pourquoi, lorsque ces modèles ont été déployés, particulièrement BERT en 2019, Google l’a intégré six mois plus tard à Google Search et l’a décrit comme l’une des plus grandes avancées de l’histoire de la recherche.

Simplement grâce à l’ajout de ce [00:37:00] modèle. La recherche sémantique possède donc ces deux capacités que vous pouvez construire. Ce que nous venons de décrire s’appelle la recherche dense : vous créez les embeddings de vos archives, celui de votre requête, puis trouvez les plus proches voisins. Voilà un concept majeur avec lequel je conseille aux gens de construire.

L’autre s’appelle le reranking. Le reranking consiste simplement à utiliser un LLM pour modifier l’ordre des résultats de recherche produits par une étape précédente. Vous lancez votre requête dans votre moteur de recherche actuel, récupérez les 10 meilleurs résultats et les envoyez au reranker. Celui-ci change leur ordre, ce qui améliore énormément la qualité des résultats si vous possédez déjà un système de recherche.

Ces deux composantes possèdent chacune leur endpoint et des modèles de très haute qualité du côté de Cohere. Elles sont peut-être les deux meilleures façons de commencer à travailler avec les grands modèles de langage, parce qu’elles représentent aussi l’avenir de la génération. En effet, [00:38:00] la génération augmentée par la recherche est assurément l’un des domaines les plus passionnants.

Il s’agit, vous savez, de l’un des domaines qui vous permettent de vous appuyer sur de l’information que vous fournissez au modèle au moment nécessaire. Vous pouvez mettre ces données à jour quand vous le voulez. Vous pouvez donner à différents utilisateurs l’accès à différents jeux de données. Vous ne dépendez pas de données stockées dans le modèle. Vous voulez les mettre à jour? D’accord, entraînons encore le modèle pendant neuf mois.

Et puis, vous savez, le modèle peut aussi… cela augmente les hallucinations du modèle. Alors oui, ce domaine qui réunit la recherche sémantique et la génération suscite énormément d’enthousiasme. Nous pensons qu’il mérite vraiment, vraiment toute cette attention. Oui.

La recherche d’information est assurément, comme vous l’avez dit, une excellente façon de ne pas éviter, mais de limiter le problème des hallucinations. Vous pouvez presque… cela ne fonctionne pas toujours, mais vous pouvez essayer de forcer le modèle à répondre uniquement à partir de la réponse et à fournir une référence [00:39:00] pour celle-ci. Lorsqu’il cherche dans sa mémoire et trouve les plus proches voisins, vous pouvez lui demander de répondre seulement avec ce qu’il a trouvé et d’en donner la source.

C’est extrêmement puissant comparativement à ChatGPT, qui vous donne simplement du texte en espérant qu’il est vrai, sans même vous dire d’où il vient. C’est donc assurément plus sécuritaire. Et comme vous l’avez dit, c’est aussi plus facile à construire. Vous n’avez pas à réentraîner tout le modèle et pouvez créer plusieurs applications très facilement. Mais je connais moins bien leur système de reranking. Pourriez-vous donner un peu plus de détails sur son fonctionnement, sur la façon dont il réordonne réellement les réponses et améliore les résultats?

Bien sûr. Oui. Alors, les rerankers sont des modèles où, disons que vous êtes Google et que vous déployez un reranker dans Google Search. Vous possédez votre système actuel, créé avant les Transformers.

Vous lui fournissez une requête et il vous donne une centaine de résultats. Oui. La façon la plus simple d’améliorer votre recherche avec des LLMs, avec de grands modèles de langage [00:40:00], consiste à dire : d’accord, prenons ces cent résultats, la requête et chacun des résultats, puis présentons-les au modèle pour qu’il évalue la pertinence de ce résultat par rapport à ce texte.

D’accord. Le reranker est donc essentiellement un classificateur qui classe deux parties de texte. C’est ce que l’on appelle un cross-encoder. Vous lui donnez des exemples composés d’une requête et de sa réponse, puis le résultat devrait être 1, disons, parce que la correspondance est vraie. Vous lui donnez ensuite une requête et un document qui n’est pas pertinent, et l’étiquette d’entraînement vaut 0.

Cela signifie que ce document n’est pas pertinent pour cette requête. Voilà comment vous l’entraînez. Une fois l’entraînement terminé, vous le branchez simplement à un système de recherche existant. L’étape précédente peut utiliser ou non des embeddings, ce n’est pas un problème. Le modèle attribue ensuite un score de pertinence à chacun des cent résultats. Vous les triez selon cette pertinence, qui devient un signal pour votre recherche. Vous pouvez [00:41:00] simplement utiliser ce signal et trier selon le résultat le plus pertinent, ou encore utiliser d’autres signaux.

Si vous déployez de véritables systèmes de recherche, vous voulez d’autres signaux. Vous pouvez dire : je veux les résultats les plus récents. Attribuez donc un signal aux documents récents. Si vous construisez une recherche pour Google Maps, vous pouvez dire : d’accord, donne-moi les endroits les plus proches de ce point. Il s’agit d’un autre signal de recherche.

Vous pouvez aussi injecter une préférence ou d’autres éléments. Voilà comment fonctionnent les rerankers. Vous pouvez trier directement les sources selon leur pertinence ou simplement utiliser celle-ci comme signal supplémentaire dans un reranker plus complexe.

D’accord. C’est beaucoup plus clair maintenant. Il s’agit essentiellement de la façon la plus simple d’utiliser les grands modèles de langage lorsque vous possédez déjà un système source ou, surtout, un jeu de données. Par exemple, pour une personne dans une entreprise, un gestionnaire ou quelqu’un qui rencontre un problème dans son travail habituel, comment savoir si les LLMs peuvent aider à résoudre ce problème?

Existe-t-il [00:42:00] une astuce ou un conseil pour savoir : ah, maintenant je devrais utiliser un LLM, des embeddings ou un produit de Cohere? Comment peut-on déterminer qu’un problème profitera d’un LLM?

Oui. Oui. C’est un excellent point. La sagesse commune consiste à utiliser le meilleur outil pour la tâche. Les LLMs conviennent très bien à certains cas d’utilisation, mais pas à tous. Dans beaucoup de cas, une personne veut utiliser un LLM et je lui conseille : non, vous devriez employer une expression régulière, spaCy, ou simplement les chaînes Python et la correspondance de texte.

Les LLMs ne sont qu’un outil supplémentaire qui ajoute un niveau de capacité à votre système et devrait compléter les approches existantes qui fonctionnent avec lui. Il est assez important de le comprendre. Certaines personnes seront motivées par l’engouement et voudront intégrer l’IA [00:43:00] d’une façon ou d’une autre.

Elles ont dit à leurs investisseurs : nous intégrerons l’IA à notre prochaine version du produit. Comment le faire? Trouvons maintenant n’importe quelle façon d’y arriver. Mais le point de départ devrait vraiment être le problème de l’utilisateur et ce que vous essayez de résoudre. Vous pouvez y distinguer deux grandes catégories. La première est peut-être l’amélioration d’un problème précis de traitement du texte où vous obtiendrez de meilleurs résultats en essayant un LLM.

Vous devez donc choisir la métrique qui améliorera votre produit ou résoudra votre problème, puis comparer les LLMs à de solides approches de référence existantes. Vous savez, beaucoup de choses peuvent être accomplies avec des approches qui ne… Mais une fois que le LLM fournit cette valeur, vous pouvez aller de l’avant.

Les fournisseurs de LLMs comme Cohere simplifient le processus, puisque vous n’avez pas à vous préoccuper du déploiement d’un modèle, ni de modèles qui manquent de mémoire parce qu’ils doivent tenir sur des dizaines de GPUs. Préoccupez-vous simplement de la tâche. Vous voulez faire du reranking? D’accord, envoyez-moi la [00:44:00] requête et les 10 textes. Je vous retournerai la liste ordonnée, qui sera encore meilleure lors de votre prochaine requête parce que je mets le modèle à jour ou l’entraîne sur de nouvelles et meilleures données chaque mois ou à chaque version.

Il s’agit donc d’un nouveau type de fournisseurs de cette technologie. Mais oui, concentrez-vous assurément sur le problème que les modèles peuvent… L’amélioration du traitement actuel du texte, comme un système de recherche ou de classification, représente une catégorie. Mais il existe aussi cette nouvelle capacité de génération de texte. Les systèmes d’écriture basés sur l’IA n’étaient pas possibles il y a trois ans.

Ce sont de nouvelles catégories. Vous voulez peut-être innover. Je vais créer, je ne sais pas, le prochain AI Dungeon, des jeux interactifs basés sur l’IA ou le prochain format médiatique. Ou je veux créer un monde comme GTA avec toutes ses stations de radio, mais dont tout le contenu sera généré par les ordinateurs. Je vais créer quelque chose de nouveau.

Et c’est la deuxième catégorie de choses à [00:45:00] expérimenter. Elle permet la naissance de nombreuses nouvelles applications, simplement parce qu’avant, eh bien, il n’y a pas si longtemps, lorsque l’IA a commencé, vous deviez entraîner votre propre modèle. Et comme vous, comme vous l’avez mentionné, l’héberger dans le nuage ou ailleurs, avec énormément d’éléments à gérer.

Mais maintenant, grâce à OpenAI, Cohere et d’autres entreprises, vous pouvez essentiellement confier ce travail à quelqu’un d’autre. Il reste tout de même certains défis dans la création d’applications basées sur les grands modèles de langage. Par exemple, si je possède un jeu de données précis dans mon entreprise et que celle-ci est très privée, au point où les données ne peuvent pas quitter son intranet, que puis-je faire puisque Cohere et OpenAI, par exemple, se trouvent à l’extérieur? Que puis-je faire si je veux construire une sorte [00:46:00] de chatbot basé sur la recherche?

Oui, c’est une excellente question et une préoccupation très courante. C’est l’un des principaux sujets rencontrés par les entreprises du secteur, mais particulièrement par les grandes entreprises, oui, celles qui travaillent dans des domaines réglementés. Cohere répond justement à ce besoin.

Il existe une solution qui consiste à apporter les modèles dans votre propre nuage privé virtuel. Grâce à un déploiement avec AWS SageMaker, le modèle peut être déployé dans votre propre nuage. Les données ne passent pas nécessairement par l’infrastructure de Cohere. Elles restent dans leur propre centre de données, tandis que le modèle s’exécute par l’endpoint SageMaker.

Et tout, vous savez, reste sur place. C’est l’un des cas d’utilisation pour lesquels nous constatons énormément de demande. L’accent de Cohere sur les entreprises lui permet de se concentrer sur de tels cas d’utilisation. Plutôt que de viser précisément les consommateurs, il s’agit de se demander quels sont les grands problèmes d’affaires liés à la création de la prochaine génération d’applications intelligentes. J’aime que vous l’ayez souligné, parce que ce besoin [00:47:00] revient souvent. Et vous savez, nous aimerions voir plus de gens construire avec SageMaker.

C’est bon de savoir que c’est possible. Et pour les personnes qui rencontrent d’autres problèmes, qui ne travaillent pas dans de grandes entreprises, par exemple quelqu’un qui apprend et veut créer une application, quels sont les principaux défis de la création d’applications basées sur Cohere ou OpenAI, où l’on utilise essentiellement les modèles très puissants qui…

existent déjà, mais que l’on veut ajuster ou adapter à une application précise, soit avec un jeu de données, soit simplement avec des commandes précises? Quels sont les défis typiques ou les éléments que les personnes qui veulent créer des choses cool avec ces modèles doivent affronter et surmonter?

Oui. Les défis ne sont pas tous [00:48:00] techniques. Comme par le passé, vous devez toujours trouver l’adéquation produit-marché de votre produit. Vous avez besoin de la validation de vos utilisateurs. Vous devez vraiment résoudre un problème et ne pas seulement créer quelque chose d’agréable avec les modèles génératifs. Plus précisément…

La détermination de cas d’utilisation fiables est un aspect où beaucoup de personnes ont besoin d’être accompagnées. Elles voient une démonstration extraordinaire sur Twitter ou ailleurs, sans comprendre que beaucoup de ces démonstrations ont été soigneusement sélectionnées. Par exemple, il a peut-être fallu produire 20 générations pour obtenir celle qui est présentée.

Disons que si vous en faites un produit, celui-ci ne peut pas fonctionner seulement trois fois sur 10. Il doit fonctionner neuf fois sur 10. Comment atteignez-vous ce niveau de production? Comment comblez-vous l’écart entre une preuve de concept où ce prompt peut fonctionner, dont je prends une capture d’écran et que je publie sur Twitter, et un comportement système fiable que je sais [00:49:00] pouvoir présenter à mes utilisateurs avec la certitude qu’il fonctionnera?

Combler cet écart représente toujours l’un des défis auxquels beaucoup de gens doivent faire face. Il existe des solutions et des méthodes, et nous écrivons et enseignons beaucoup à leur sujet. Elles comprennent, oui, l’utilisation de la recherche et des embeddings.

Le fine-tuning en est une autre. Les grands modèles vous permettent de créer un prototype et produisent des comportements extraordinaires. Une fois que le modèle peut adopter le comportement souhaité avec un exemple dans le prompt ou, vous savez, cinq exemples, vous pouvez réduire le coût et accélérer le système en recueillant ce jeu de données et en ajustant un plus petit modèle capable d’accomplir la même tâche que le grand modèle.

Cela réduit la taille du contexte parce que vous n’envoyez pas les mêmes cinq exemples few-shot avec chaque prompt. Alors oui, c’est utile. Une autre partie [00:50:00] concerne aussi ce dont nous avons parlé : la recherche sémantique, la récupération des éléments pertinents et leur injection dans le prompt. Certaines personnes pensent qu’une très longue fenêtre de contexte résoudra tous les problèmes.

Si vous disposez d’un très long contexte, cela réglera tout. Vous envoyez donc, je ne sais pas, la documentation de votre logiciel au modèle de langage avec chaque question à son sujet. Vous voyez clairement le gaspillage si vous devez répondre à un millier de questions. Le modèle doit traiter la même documentation des milliers et des milliers de fois, tandis que l’embedding représente vraiment une façon de mettre ces connaissances en cache et de récupérer les éléments importants.

Alors oui, expérimenter et réfléchir à un comportement fiable fait partie des courbes d’apprentissage que beaucoup de gens doivent franchir.

Quelles compétences et quel matériel faut-il pour y arriver? D’abord, une seule personne peut-elle le faire? Si je veux créer une [00:51:00] application, ai-je besoin d’une équipe complète et d’un serveur?

Dois-je suivre un cours avant de commencer? Quelles sont les compétences et le matériel nécessaires pour se lancer? Est-ce tout simplement impossible pour une seule personne, ou celle qui nous écoute maintenant avec une idée peut-elle commencer et apprendre pendant le processus? Qu’est-ce qui est accessible et à quel point?

En logiciel, de façon générale, vous avez besoin d’une interface utilisateur, n’est-ce pas? Si vous ciblez des utilisateurs, comment interagiront-ils avec votre produit? Ou créez-vous, disons, un endpoint d’API auquel d’autres personnes peuvent simplement se connecter? Il existe plusieurs obstacles logiciels qui ne concernent pas nécessairement la modélisation du langage ni le prompt engineering, notamment la circulation de cette information et la façon dont vos utilisateurs s’y connectent.

Si vous connaissez Python et JavaScript, une seule personne peut aller très, très loin en investissant dans ces deux aspects. Si vous connaissez seulement Python et [00:52:00] l’apprentissage automatique ou la science des données, vous pouvez créer une preuve de concept. Vous pouvez utiliser un outil comme Streamlit pour créer une application et une interface utilisateur que vous présenterez peut-être à des investisseurs. Ceux-ci pourront vous aider à construire le prochain niveau. De plus en plus, nous voyons aussi des entreprises comme Vercel simplifier un peu le passage du front-end à l’IA.

Les modèles de langage continueront de faciliter le travail des généralistes dans plusieurs domaines. Nous ne sommes encore qu’au début, mais il est évident que les personnes déjà productives deviendront énormément plus productives grâce à ces technologies et à leurs possibilités. Oui, de plus petits groupes pourront accomplir beaucoup plus. Mais pour le moment, vous devez tout de même savoir comment construire l’interface utilisateur et comment la présenter aux utilisateurs.

Vous pouvez la publier dans l’App Store, [00:53:00] passer par une marketplace. Pouvez-vous le faire individuellement? Connaissez-vous ce segment de clientèle? Connaissez-vous vraiment le problème que vous pouvez résoudre pour lui? Mais oui, beaucoup de gens dirigent des entreprises d’une ou deux personnes. Ils peuvent facturer des cartes de crédit, utiliser différents frameworks, puis ajouter une belle interface utilisateur par-dessus.

En effet, vous avez expliqué comment les généralistes peuvent maintenant accomplir plus de choses grâce à l’IA et que cela ne fera qu’augmenter. C’est vraiment cool, parce que je crois être moi-même un peu généraliste. J’aime vraiment connaître un peu de tout et, même si je fais un doctorat, je ne suis pas entièrement certain de vouloir me spécialiser extrêmement profondément dans une chose en oubliant toutes les autres.

J’aime vraiment tout apprendre, et c’est un sujet qui revient souvent dans le balado. C’est drôle : il y a quelques années, beaucoup de gens affirmaient que l’IA allait [00:54:00] accroître l’écart entre les riches et les pauvres et rendre les choses encore plus injustes. Maintenant, je crois que nous observons presque l’inverse. Je ne suis pas certain de posséder toutes les données et toute l’information, mais dans mon cas et celui de beaucoup de gens que je connais, l’IA permet réellement d’accomplir des choses auparavant impossibles, ce qui est assez cool.

C’est pratiquement l’inverse. Elle démocratise énormément de choses, comme la création d’applications. Une de mes amies relève actuellement un défi où elle essaie d’apprendre à utiliser ChatGPT. Elle publie chaque jour pendant 30 jours sur ChatGPT et sur ce qu’elle accomplit avec lui.

Elle travaille en ressources humaines et ne connaît absolument rien à la programmation. Pourtant, elle a programmé une application de liste de tâches [00:55:00] entièrement grâce à ChatGPT, sans aucune notion de Python, de JavaScript ni de code. Je ne sais pas. C’est incroyable. C’est, c’est, c’est tellement cool.

[00:55:30] Absolument. Et vous savez, je prédis que nous commencerons bientôt à voir non pas une, mais plusieurs entreprises de cinq personnes atteindre une valorisation d’un milliard de dollars, simplement aidées et augmentées par l’IA. Beaucoup d’occasions sont assurément créées, mais il existe aussi beaucoup de défis, et nous devons rester prudents.

Il existe des possibilités d’utilisation malveillante. Les gens doivent aussi continuer d’apprendre, de développer leurs compétences et d’intégrer ces nouvelles technologies à leurs workflows pour améliorer constamment leur travail. Vous ne pouvez pas simplement vous appuyer sur ce que vous avez appris à l’université cinq ans après l’obtention de votre diplôme.

Le monde continue de changer très rapidement. Plus vous apprenez vite, vous vous adaptez et intégrez ces outils à votre travail, plus vous saisirez les occasions et résisterez aux [00:56:30] défis.

En parlant de ces défis, un dernier problème que je rencontre souvent avec ChatGPT ou d’autres modèles est celui des hallucinations. Existe-t-il une autre solution que la recherche dans une mémoire? Si c’est la seule façon de le résoudre, d’accord, mais existe-t-il une autre méthode pour réduire les hallucinations ou, plus généralement, rendre ces applications plus sécuritaires et, comme le dit OpenAI, mieux alignées sur ce que vous voulez vraiment?

Oui. Cette question possède deux côtés. Vous pouvez évidemment agir pendant l’entraînement, comme le fait OpenAI. Mais que faire si vous utilisez un produit d’OpenAI ou de Cohere et voulez le sécuriser de votre côté? Pouvez-vous atténuer les hallucinations du modèle même si vous ne contrôlez pas le processus d’entraînement?

Nous avons déjà mentionné l’une des grandes solutions : injecter [00:57:30] l’information exacte pour ne pas dépendre des données paramétriques du modèle. C’en est une. Comme ingénieur, vous pouvez construire des systèmes autour de différentes méthodes. Plusieurs sont présentées dans l’article de Google sur le modèle Minerva, qui résout beaucoup de problèmes mathématiques très complexes. Nous y avons découvert des approches comme la chaîne de pensée, où le modèle ne devrait pas répondre immédiatement à une question complexe, mais produire les étapes qui lui permettent d’arriver à la réponse. Il existe aussi une autre méthode appelée vote majoritaire, où le modèle ne doit pas produire un seul résultat, mais peut-être 10. Parmi ces 10 résultats, vous choisissez ceux qui reviennent plus d’une fois et les utilisez comme votes.

Cette approche s’applique précisément aux situations où un seul output final est possible. C’est donc une autre méthode. Il existe un article scientifique à son sujet, et elle s’appelle le vote majoritaire. Une idée proche, [00:58:30] plus récente, est celle de l’arbre de pensée, qui ressemble à la chaîne de pensée, mais avec plusieurs chaînes de pensée.

Vous pouvez ainsi réduire le… Disons qu’il s’agit d’une façon d’évaluer le modèle en lui faisant générer la réponse quatre, cinq ou 10 fois. S’il répète toujours la même chose, il y a probablement de bonnes chances qu’il le sache. Mais si ses cinq ou 10 générations varient, cela indique probablement qu’il fait simplement preuve de créativité. Il existe aussi des réglages comme la température. Il faut choisir la bonne température et ajuster ces arguments à un certain niveau.

Oui. C’est une façon simple d’au moins atténuer les réponses très aléatoires. Cela augmente toutefois le coût, puisque vous devez générer plusieurs fois. Mais oui, c’est une méthode très facile. J’ai une dernière question, très précise, sur les grands modèles de langage [00:59:30]. Comment les modèles comme ChatGPT, qui fonctionnent dans plusieurs langues, sont-ils construits et entraînés sur autant de langues? Je sais qu’il existe assurément une différence entre ChatGPT, qui fonctionne avec presque toutes les langues, et un modèle, par exemple, publié par Facebook et entraîné précisément sur le français. Ce n’est assurément pas la même chose. Quelles sont donc les différences avec ChatGPT? Pourquoi et comment fonctionne-t-il avec n’importe quelle langue que vous écrivez?

Les modèles multilingues sont simplement créés en intégrant d’autres langues au jeu de données d’entraînement et en optimisant le modèle ou, disons, en initialisant les tokenizers. Il s’agit d’une étape avant l’entraînement du modèle qui choisit comment diviser les mots. Mais cela reste réellement le même [01:00:30] processus d’entraînement : la modélisation du langage, où le modèle prédit le prochain mot, sauf que notre jeu de données contient beaucoup d’autres langues.

Nous les utilisons aussi pour évaluer les modèles. À quel point le modèle est-il exact dans cette langue et dans cette autre? Vous les intégrez donc à votre processus parce que, si vous fournissez ces modèles, par exemple Cohere Command, celui que nous publions n’est pas le seul modèle que nous avons entraîné.

Non. Vous devez entraîner des dizaines ou des centaines de modèles avec beaucoup d’expériences différentes. Oui. Il faut trouver le modèle qui offre les meilleures performances et effectuer beaucoup d’évaluations complexes. Si le multilinguisme fait partie de vos priorités, comme c’est assurément le cas pour nous, vous devez beaucoup l’intégrer aux données d’entraînement, mais aussi aux évaluations.

Nous nous concentrons beaucoup sur le multilinguisme du côté des embeddings. Nous possédons un modèle d’embedding qui prend en charge plus de cent langues et qui est entièrement conçu et concentré sur la recherche [01:01:30] dans un contexte multilingue. Vous devez porter une attention supplémentaire aux langues pendant la création du modèle, parce qu’au début, il était très facile de se concentrer uniquement sur l’anglais et de ne pas considérer que la vaste majorité des gens parlent aussi d’autres langues et en ont besoin dans leur quotidien, leurs entreprises et leurs usages.

Il est donc principalement entraîné avec encore plus de données. D’après la recherche, vous pouvez peut-être le confirmer, mais tout comme chez les humains, l’entraînement dans différentes langues améliore aussi les résultats en anglais.

Oui, oui. Certaines choses étranges se produisent ainsi. Par exemple, l’entraînement sur du code améliore aussi la génération de texte, avec, vous savez, le sens commun ou les capacités de raisonnement. Alors oui, plus vous fournissez de données de haute qualité, plus les résultats semblent toujours s’améliorer.

Oui, c’est comme chez les humains. Je ne me rappelle pas exactement de l’effet sur le cerveau, mais apprendre à jouer d’un instrument de musique [01:02:30] vous aide à mieux comprendre d’autres choses et vous rend, pas nécessairement plus intelligent, mais cela vous aide assurément.

Apprendre l’art ou un instrument de musique n’est pas sans intérêt. C’est aussi le cas des différentes langues, puisque vous êtes essentiellement une autre personne lorsque vous parlez une autre langue. C’est extrêmement intéressant. Je me demande si les grands modèles de langage se comportent eux aussi différemment selon la langue.

Mais oui, les distributions diffèrent dans chaque langue. Oui. J’adore aussi la façon dont cela s’étend aux modèles multimodaux. Lorsque vous ajoutez l’audio ou les images, comment cela peut-il aussi améliorer la génération de texte? Oui. Vraiment passionnant.

Comment voyez-vous l’IA évoluer au cours des, je ne sais pas, c’est une question classique, cinq prochaines années? Comment voyez-vous l’IA et les grands modèles de langage évoluer dans les prochaines années? Vers quoi [01:03:30] allons-nous? Allons-nous surtout revenir à des applications précises avec des systèmes de recherche, construire un modèle général encore meilleur et qui hallucine moins, ou autre chose? Quelle est notre direction?

Oui, la génération et les approches basées sur les embeddings sont, selon moi, là pour rester. Des choses comme la recherche sémantique ou la recherche d’information sont parfois impossibles à accomplir avec des modèles génératifs.

Les modèles eux-mêmes continueront de beaucoup évoluer, notamment grâce à la qualité des données qui leur sont présentées, à leur quantité et à leurs types. Nous avons maintenant du texte à l’échelle d’Internet. Quelle est la prochaine étape? Nous avons parlé de multimodalité. C’est un autre domaine où les modèles se sont améliorés en pouvant observer ou même générer des images, traiter l’audio ou accéder à d’autres modalités.

Au-delà de cela, il existe l’idée d’incarnation, où les modèles [01:04:30] peuvent interagir avec des environnements et apprendre de ces interactions. Ce sera une autre source d’information et de feedback pour améliorer leur comportement. Puis il y a l’interaction sociale. Comment les modèles peuvent-ils interagir socialement avec de grands groupes de personnes plutôt qu’avec une seule personne qui fournit un prompt et reçoit un résultat?

Les interactions sociales représentent… trois des cinq domaines du monde que présente un article scientifique dont j’ai parlé sur ma chaîne YouTube. Il montre cet avenir et se demande où nous trouverons plus de données maintenant que nous avons entraîné les modèles sur celles d’Internet. Voilà pour la modélisation et l’amélioration des modèles.

Assurément, de nouvelles architectures et des améliorations matérielles continueront d’être développées. Même si nous constatons aujourd’hui une certaine convergence et qu’aucune avancée majeure n’a eu lieu du côté de la modélisation depuis un certain temps, il reste énormément de travail en ingénierie. Il faut déployer ces modèles et construire des systèmes autour de leurs capacités actuelles.

Il y a [01:05:30] tellement de choses à accomplir que cela occupera énormément de gens pendant les deux ou trois prochaines années. Il faudra aussi inventer d’autres usages et formats médiatiques maintenant que l’on peut générer des images, du texte, des histoires complètes ou des balados entiers. Alors oui, le monde sera un peu différent et beaucoup de gens feront preuve d’une immense créativité dans ce qu’ils déploieront. Une grande partie viendra de l’ingénierie, mais pas seulement. La modélisation suivra elle aussi.

De votre côté, existe-t-il une chose que l’IA ne peut pas accomplir aujourd’hui, mais que vous aimeriez vraiment la voir faire? Oui. Quelque chose vous vient-il à l’esprit? Oui.

Une chose qui m’obsède, même si elle est un peu aléatoire, vient de la nature même de l’apprentissage sur l’intelligence dans les logiciels et de la façon dont ceux-ci résolvent des problèmes intelligemment. Cela m’intrigue énormément au sujet des autres formes naturelles d’intelligence au-delà des humains.

L’intelligence animale : les [01:06:30] dauphins, les pieuvres, les colonies de fourmis, les singes. Il existe des initiatives comme le projet CETI. CETI cherche, vous savez, à appliquer toute notre technologie de NLP au décodage du langage et des vocalisations des baleines pour déterminer si nous pouvons commencer à comprendre, peut-être même à communiquer avec ces autres formes de vie intelligente autour de nous, avec lesquelles nous n’avons pas encore de moyens de communication.

Je suis absolument passionné par la capacité du langage à nous permettre de mieux communiquer avec les autres formes de vie plus intelligentes qui nous entourent.

Oui, c’est tellement cool. J’ai toujours été attiré par notre façon de comprendre les choses, mais aussi par la façon dont un chat voit le monde, puis par tous les animaux et les êtres vivants.

C’est vraiment cool que… c’est [01:07:30] comme les neurosciences et tout cela. C’est un domaine complètement… eh bien, pas complètement, mais différent. Maintenant, beaucoup de gens viennent uniquement du logiciel et commencent à s’intéresser aux neurosciences et à ces sujets grâce aux modèles de langage et à la façon dont ils nous font réfléchir à la compréhension. C’est, c’est vraiment cool.

Et j’ai hâte de voir comment l’IA et mon domaine, notre domaine, peuvent aider l’humanité à comprendre d’autres choses. C’est vraiment cool. J’ai une dernière question pour vous, simplement parce que le sujet m’intéresse particulièrement. De votre côté, puisque vous êtes blogueur et maintenant même YouTubeur…

D’abord, utilisez-vous l’aide de l’IA pour créer du contenu éducatif? Pas nécessairement un LLM, mais peut-être de l’édition par IA, de la génération, des questions, [01:08:30] du brainstorming. Utilisez-vous des outils basés sur l’IA pour améliorer votre processus d’écriture ou simplement votre processus créatif?

De temps à autre. Pas quotidiennement, disons, mais oui, parfois pour des plans ou la génération d’idées, ce qui est très utile.

Ou encore pour certaines illustrations de miniatures. Midjourney m’a parfois été utile pour cela. Mais comme tout le monde, j’apprends simplement à intégrer ces outils à mes workflows et à évaluer l’investissement.

Je ne me voyais pas les utiliser jusqu’à tout récemment, et j’ai maintenant trouvé un cas d’utilisation précis pour moi. Lorsque je… C’est principalement parce que je suis francophone et que l’anglais n’est pas ma langue maternelle, mais ces outils m’aident vraiment à améliorer mes formulations et ma syntaxe. C’est un aspect, simplement parce qu’il m’aide à progresser. Mais il y en a un autre. J’apprends encore beaucoup de nouvelles choses et j’essaie toujours de les expliquer pendant mon apprentissage. Lorsque je vois [01:09:30] un mot que je ne comprends pas ou un sujet qui semble un peu flou, même si j’ai l’article scientifique et que je crois le comprendre, poser la question à GPT ou à un autre modèle est assez utile. Il reformule et peut rapidement fournir une compréhension générale de sujets précis. C’est quelque chose que j’utilise depuis peu, et il m’a fallu du temps pour commencer, ce qui est étrange puisque nous expliquons réellement le fonctionnement de ces modèles sans les utiliser autant que nous le pourrions.

Mais maintenant, maintenant, je vois un meilleur cas d’utilisation. Évidemment, plus nous passons de temps avec eux, mieux nous les utilisons. Et oui, je vois que c’est vraiment prometteur. C’est vraiment cool. Mais vous devez assurément revérifier les outputs et vous assurer qu’ils n’hallucinent pas ou ne commettent pas d’autres erreurs.

Cela, cela, cela exige encore l’intervention humaine, mais c’est vraiment utile. [01:10:30] Alors, ce n’est pas vraiment une question, mais la dernière chose que je voulais mentionner : souhaitez-vous partager quelque chose avec le public? Avez-vous des projets autres que Large Language Model University, que tout le monde peut évidemment suivre gratuitement maintenant chez Cohere pour apprendre énormément sur les Transformers et sur tout ce dont nous avons discuté dans cette entrevue?

C’est une excellente ressource. Je la recommande assurément, mais y a-t-il autre chose que vous avez hâte de partager, de publier bientôt ou sur laquelle vous travaillez? Oui.

Oui. En plus de LLM University, nous avons le Discord de Cohere, où nous répondons aux questions. Si vous avez des questions pendant votre parcours dans LLM University, rejoignez-nous.

Dites-nous ce que vous souhaitez apprendre. Nous serons heureux de vous aider dans votre formation et votre apprentissage. Puis, lorsque vous construisez quelque chose, nous vous invitons aussi à le partager et à nous expliquer les problèmes rencontrés et la façon dont vous les avez résolus. C’est une grande communauté où nous apprenons ensemble, et tout le monde est le bienvenu sur le Discord [01:11:30] de Cohere.

C’est extraordinaire. Quelque chose s’en vient-il sur votre chaîne YouTube ou votre blogue?

Je crée beaucoup de courtes vidéos. Je plonge plus profondément dans ces outils construits par-dessus les LLMs, comme LangChain et LlamaIndex. J’ai donc réalisé quelques-unes de ces courtes vidéos, et c’est un peu mon domaine d’intérêt actuel.

Mais pour ce qui est des sujets, si je peux trouver le temps de parler du feedback humain et du RLHF, c’est très haut sur ma liste.

Oui, j’adorerais voir cela. Parfait. Eh bien, merci énormément pour tout le temps que vous nous avez donné et pour ces idées extraordinaires. C’était une discussion vraiment cool avec vous. Je, je ne vous connais malheureusement que depuis deux ans.

Je ne connaissais pas votre blogue avant, mais il contient des ressources extraordinaires. C’est aussi le cas de LLMU. Je suis, oui, vraiment reconnaissant envers vous et votre équipe pour sa création, mais aussi envers vous personnellement pour YouTube et le blogue. C’est vraiment cool que des gens comme vous existent. Alors [01:12:30] merci, et merci de participer au balado.

Merci beaucoup. C’est très gentil. Vous savez, je suis simplement un étudiant comme les autres, et nous apprenons tous ensemble. Merci beaucoup de m’avoir invité. J’ai hâte, oui, d’interagir et de discuter à nouveau ensemble à l’avenir.

FAQ

Que couvre l’entrevue avec Jay Alammar?

Elle explore la création d’applications avec les LLMs, les embeddings, la recherche d’information, les mises à jour de modèles et les nouveaux produits rendus possibles par ces capacités.

Pourquoi diviser les documents avant de créer leurs embeddings?

De plus petits segments permettent au système de recherche de retourner le passage pertinent pour une question plutôt qu’un document complet sans rapport.

Que peuvent apporter les embeddings à une application?

Ils permettent la recherche sémantique, le regroupement, les recommandations et la recherche selon le sens plutôt que des mots-clés exacts.

Pourquoi les mises à jour de modèles sont-elles importantes pour les équipes produit?

Les nouvelles versions peuvent améliorer le comportement, mais aussi modifier la qualité des outputs, le coût, la latence et les prompts qui fonctionnaient de façon fiable.

Qu’est-ce qui a changé lorsque les APIs d’IA pré-entraînées sont devenues accessibles?

Les équipes ont pu créer des fonctionnalités d’IA utiles sans recueillir les données ni entraîner elles-mêmes chaque modèle sous-jacent.

Comment un modèle de type GPT génère-t-il une réponse?

Il prédit un token, ajoute ce token à l’input et répète le processus, tandis que l’attention l’aide à utiliser les parties pertinentes du contexte.

Pourquoi Jay recommande-t-il d’écrire publiquement pendant son apprentissage?

La publication crée un résultat concret et vous oblige à vérifier votre explication à l’aide des articles scientifiques, du code et des commentaires plutôt que de supposer que vous avez compris.

Quand un créateur devrait-il utiliser un LLM plutôt qu’un outil plus simple?

Partez du problème de l’utilisateur et comparez le résultat à de solides approches de référence comme la recherche, les expressions régulières ou la correspondance de texte. Utilisez un LLM seulement s’il apporte une valeur mesurable.

Qu’est-ce qui transforme une démonstration de LLM en fonctionnalité de production?

L’équipe doit remplacer un prompt soigneusement choisi par un comportement reproductible, de l’évaluation, de l’ancrage, une validation auprès des utilisateurs ainsi qu’un coût et une latence acceptables.

Une seule personne peut-elle créer une application basée sur un LLM?

Oui, les APIs et les frameworks Web simples permettent à une personne d’aller très loin, mais le produit a tout de même besoin d’une interface, d’un déploiement, d’une connaissance des clients et d’un logiciel fiable autour du modèle.