Bienvenue dans un autre épisode passionnant du What’s AI Podcast ! Dans cet épisode, j’ai eu le plaisir d’interviewer Luis Serrano, scientifique en IA, YouTubeur (Serrano.Academy) et auteur du livre populaire « Grokking Machine Learning ». Luis travaille actuellement chez Cohere, où il construit la Large Language Model University (LLM U), une ressource fantastique pour apprendre le fonctionnement des LLMs (grands modèles de langage).
L’entrevue explore le parcours universitaire de Luis, son cheminement en IA et sa passion pour l’enseignement. Avec un doctorat en mathématiques et de l’expérience comme chercheur, ingénieur en machine learning chez YouTube et enseignant chez Udacity et Apple, Luis nous apporte énormément de connaissances et de perspectives. Son expertise dépasse les LLMs et couvre des domaines de pointe comme l’informatique quantique et le deep learning.
Luis explique sa fascination pour les LLMs et pourquoi ils ont capté son attention (jeu de mots volontaire). Il raconte comment ces modèles ont dépassé ses attentes en générant du langage d’une manière semblable aux humains. Cette découverte l’a poussé à en apprendre davantage sur les LLMs, puis à contribuer à leur développement.
La conversation aborde aussi les prérequis pour apprendre le traitement du langage naturel (NLP) et l’IA en général. Luis insiste sur l’importance de réunir des parcours variés et de combiner différents domaines et points de vue afin d’enrichir la communauté de l’IA. Même si des compétences en programmation et une compréhension de base des mathématiques sont utiles, il encourage les personnes qui souhaitent apprendre à se lancer immédiatement dans des expériences pratiques.
Nous parlons également de la possibilité de faire un doctorat en IA. Luis partage son expérience personnelle et réfléchit à la valeur d’un doctorat. Même s’il a trouvé cette expérience enrichissante, il souligne qu’il s’agit d’un choix personnel et que ce n’est pas une exigence absolue pour faire carrière en IA. Il insiste plutôt sur l’importance d’un esprit ouvert et créatif, de bonnes aptitudes en résolution de problèmes et d’une passion pour l’expérimentation.
Luis nous aide aussi à comprendre les LLMs et l’IA générative. Il explique comment l’IA générative est passée de simples tâches de classification au monde passionnant de la génération de texte et d’images. Les LLMs, en particulier, peuvent créer du texte réaliste à partir de très peu d’input, ce qui transforme notre façon d’interagir avec le contenu généré par l’IA.
Pour approfondir cette discussion captivante avec Luis Serrano, écoutez l’épisode complet sur ma chaîne YouTube ou sur Spotify. Découvrez le potentiel des LLMs, obtenez de précieux conseils sur le monde de l’IA et explorez le parcours fascinant d’un scientifique et enseignant en IA (avec d’excellents conseils sur l’enseignement et la communication vers la fin !). Ne manquez pas cette conversation remplie de valeur !
Écoutez l’épisode sur Spotify.
La transcription française complète se trouve ci-dessous.
Transcription complète :
Podcast 3 - Luis Serrano Audio_v1
[00:00:00] Voici une entrevue avec Luis Serrano. Luis possède un doctorat en mathématiques. Il est scientifique en IA, YouTubeur et auteur, toujours dans le domaine de l’IA. Il construit maintenant la Large Language Model University, ou LLM U, chez Cohere. Cette entrevue présente l’ensemble de la LLM University ainsi que son parcours, d’excellents conseils pour enseigner et beaucoup d’autres sujets liés au prompting et aux grands modèles de langage.
J’espère que vous apprécierez cette entrevue. Ma première question est la même que celle que je pose à toutes les personnes qui viennent sur le podcast. En gros, qui êtes-vous ? Plus précisément, quel est votre parcours universitaire et quels sont les différents éléments de votre expérience qui vous ont mené chez Cohere ? Bonjour, je m’appelle Luis Serrano et je suis très heureux de participer à votre podcast, Louis.
Merci pour l’invitation. Mon parcours comporte six étapes, mais j’ai toujours gravité autour de l’enseignement. Ma vie professionnelle a commencé dans les mathématiques. Mon objectif était de devenir professeur. J’ai donc fait des études de premier cycle et un doctorat, puis j’ai été chercheur [00:01:00] à l’université pendant un certain temps. J’ai ensuite découvert l’IA et trouvé cela fascinant. C’était très semblable aux mathématiques que je faisais, tout en étant incroyablement applicable. J’ai donc changé de direction et rejoint Google, où j’ai travaillé comme ingénieur en machine learning au sein de l’équipe de recommandation de YouTube pour recommander des vidéos.
C’était très amusant, mais je revenais toujours vers l’éducation. J’aimais beaucoup enseigner, alors je suis passé chez Udacity. Pendant un certain temps, j’y ai donné des cours avec une excellente équipe. Nous enseignions le machine learning, le deep learning et tous ces sujets. C’est une période pendant laquelle j’ai énormément appris.
C’est aussi à ce moment que j’ai lancé ma chaîne YouTube, Serrano Academy, où je publie tout le matériel que j’enseigne. J’essaie d’enseigner simplement parce que j’essaie moi-même de tout comprendre simplement, sans formules ni rien de ce genre. J’ai aussi écrit un livre à cette époque, intitulé Grokking Machine Learning.
J’ai continué dans le domaine de l’éducation, mais plus précisément dans l’éducation technologique. Je suis passé chez Apple pour enseigner. Apple possède une entité appelée Apple University, qui offre des formations internes aux employés, et j’y donnais aussi des cours de machine learning. Puis, différentes passions m’ont piqué. J’ai notamment attrapé la piqûre de l’informatique quantique et commencé à m’y intéresser.
Sous l’influence d’un de mes amis, qui est scientifique en informatique quantique, [00:02:00] je suis passé chez Zapata Computing à Toronto comme chercheur en informatique quantique. J’ai trouvé le domaine fascinant et j’ai également commencé à créer des vidéos éducatives sur le sujet. Enfin, la dernière piqûre que j’ai attrapée est celle des grands modèles de langage, parce que c’est le grand sujet du moment.
Après quelques années comme scientifique en informatique quantique chez Zapata, je suis passé chez Cohere, où je travaille sur les grands modèles de langage tout en créant des cours et du matériel éducatif. Nous avons récemment créé la LLM University. Je crois que nous en reparlerons plus tard, mais voilà mon parcours.
Oui, nous allons certainement approfondir la LLM University, mais je voudrais d’abord vous demander ce qui vous a piqué dans les LLMs. Pourquoi vouliez-vous en apprendre davantage et vous y consacrer professionnellement ? Ils m’ont vraiment renversé lorsque j’ai commencé à les voir. J’observais la progression du machine learning et je trouvais les avancées plutôt prévisibles.
Le domaine avançait rapidement, mais je pouvais me dire : « Je crois que la prochaine étape sera d’identifier ceci et de classifier cela. » Lorsque j’ai vu ces modèles parler comme des humains, cela m’a renversé. Ils avaient franchi beaucoup plus [00:03:00] d’étapes que ce à quoi je m’attendais dans ce délai. Je me suis donc dit que je devais apprendre comment tout cela fonctionnait.
Je suis devenu très curieux et j’ai commencé à poser des questions à mes amis. J’ai commencé par tout demander à mon ami Jay et, tout à coup, je travaillais dans ce domaine. C’est super cool. Vous aviez aussi la chance, pas seulement la chance puisque vous avez fait un doctorat, d’avoir le bon type de parcours pour vous lancer dans les LLMs et le traitement du langage naturel en général. Vous connaissiez déjà le domaine, les mathématiques et la programmation. Mais selon vous, que faut-il pour commencer à apprendre le traitement du langage naturel et l’IA en général ?
Oui, excellente question. Je crois que n’importe quel domaine convient. J’ai eu la chance d’avoir fait beaucoup de mathématiques sans prévoir de me diriger vers l’IA, et cela m’aide à visualiser les choses dans les bonnes dimensions et de cette façon. Pour la programmation, j’ai dû beaucoup apprendre. Je dois constamment continuer parce que ce n’était pas mon parcours initial.
Je crois que c’est vrai pour tout le monde. Pas seulement pour les LLMs, mais pour le machine learning en général. Tout le monde possède un certain parcours, des sujets [00:04:00] qui l’intéressent et une façon de voir le monde. C’est très précieux lorsqu’on arrive en IA, parce que cela enrichit le domaine. Je ne voudrais donc pas que l’IA ne compte que des mathématiciens ou des informaticiens.
Je les veux aussi, mais je ne veux pas uniquement ces profils. Je veux des gens de tous les horizons. Plus les équipes de data science sont diversifiées, meilleures elles sont. Si nous essayons de faire agir ces systèmes comme des humains, il nous faut toutes sortes d’humains, pas un seul type. Plus l’équipe est diversifiée, mieux c’est.
Cela dit, il faut effectivement connaître certaines choses. Chaque fois que les connaissances se démocratisent, la barrière technique diminue en ce qui concerne les détails concrets. Les langages deviennent plus faciles. Il y a de nombreuses années, les gens écrivaient en assembleur. Aujourd’hui, nous écrivons en Python. Les packages deviennent toujours plus simples et nous aurons maintenant beaucoup de prompt engineering.
La dimension technique permet donc sans cesse à davantage de personnes d’entrer dans le domaine, ce que je trouve fascinant. Il reste toutefois nécessaire de connaître certaines bases de la programmation. Je dirais qu’un cours de Python qui vous aide à comprendre le fonctionnement de la programmation est utile. Les mathématiques sont également importantes, mais je ne suis pas d’accord avec la plupart des experts qui disent : « Rentrez chez vous, apprenez toutes [00:05:00] les mathématiques, puis revenez construire un modèle simple pour classifier le prix de maisons. »
Je ne suis pas d’accord. Vous devriez certainement comprendre les mathématiques pour mieux entraîner ces modèles et pouvoir effectuer leur fine-tuning, entre autres. Mais vous ne devriez pas attendre d’avoir appris toutes les mathématiques avant de commencer. Apprenez-les au fur et à mesure. À mon avis, les gens devraient entrer dans le machine learning en…
…entraînant des modèles et en les appliquant aux sujets qui les intéressent, aux types de problèmes qui les passionnent. Ils apprennent alors les mathématiques au fil du parcours. Ils voient par exemple une matrice dans un réseau neuronal et se disent : « D’accord, je vais apprendre un peu ce que c’est. » Mais ils le font en avançant. C’était une longue réponse. La version courte, c’est qu’il faut un peu de programmation et un peu de mathématiques, mais surtout se lancer et pratiquer concrètement.
Si des personnes veulent apprendre les LLMs, elles peuvent simplement choisir un laboratoire sur les LLMs, commencer à travailler, faire du prompting et voir ce qui arrive. Je suis aussi tout à fait d’accord avec cette approche très pratique. C’est certainement plus motivant. On finit par en faire davantage et par apprendre plus en construisant quelque chose qui nous intéresse. Mais si vous voulez devenir davantage expert, par exemple si votre objectif est de travailler chez DeepMind [00:06:00] ou OpenAI, ou vraiment de travailler en IA…
…diriez-vous qu’un doctorat vaut la peine pour faire de la recherche en IA et travailler dans le domaine ? C’est une question qui m’intéresse personnellement puisque je fais moi-même un doctorat et que j’y pense constamment. Qu’en est-il de votre propre expérience ? Est-ce que cela en valait la peine ? Recommenceriez-vous si vous reveniez à cette époque avec les connaissances que vous avez aujourd’hui ?
Que pensez-vous du doctorat ? Je crois qu’un doctorat est un choix personnel. J’ai aimé mon expérience. Au moment de prendre cette décision, je ne connaissais que les mathématiques pures et aucune compétence applicable, du moins aucune dont j’avais conscience. Je crois que j’en avais, mais je ne le savais pas. Je ne connaissais que les mathématiques pures, et la seule façon que je voyais de continuer dans ce domaine était…
…de faire un doctorat, puis un postdoctorat et enfin de devenir professeur. Je suivais ce chemin sans jamais le remettre en question. Je me demandais seulement où faire mon doctorat et quel type de mathématiques étudier. Nous étions un petit groupe de collègues, et nos seules questions portaient sur l’endroit où nous finirions ou le type de mathématiques que nous ferions. L’autre question ne m’est jamais venue à l’esprit.
Aujourd’hui, je suis reconnaissant d’avoir fait ce choix. Ce furent certaines des meilleures années de ma vie. C’était [00:07:00] stressant et nous travaillions tous énormément, mais ces années comptent parmi les meilleures que j’ai vécues. Les sujets précis appris pendant mon doctorat ne m’aident pas vraiment de manière concrète aujourd’hui. Je ne les utilise pas directement, mais cette expérience m’a donné plusieurs choses, notamment une très forte intuition des mathématiques.
J’en faisais toute la journée pendant cinq ans. Elle m’a aussi donné la capacité de continuer à travailler. Vous êtes vous-même doctorant, n’est-ce pas ? On continue. On frappe le même mur jusqu’à ce qu’il cède. Le doctorat vous donne cette persévérance et la montre aussi aux employeurs.
Lorsqu’un employeur voit un doctorat, il se dit : « D’accord, cette personne sait se concentrer et elle est déterminée. » Mais je ne dirais pas que les gens devraient faire un doctorat pour obtenir un emploi précis, à moins que cet emploi soit professeur, ce qui exige un doctorat. Je ne dirais pas non plus qu’un doctorat est nécessaire pour travailler en IA. Même pour faire de la recherche, je ne crois pas que ce soit absolument essentiel.
Je crois qu’un esprit ouvert, un esprit créatif et le désir d’expérimenter et de résoudre des problèmes sont ce qui compte vraiment. Il existe beaucoup de façons d’entrer dans le milieu de la recherche sans doctorat. Une personne peut commencer comme data scientist, participer à certains projets [00:08:00], puis intégrer une équipe de recherche.
J’ai rencontré beaucoup de chercheurs sans doctorat. Je ne crois donc pas que ce soit absolument nécessaire. Il existe d’autres chemins vers la recherche. Et parmi ces autres chemins, pensez-vous qu’une personne puisse tout apprendre en ligne sans jamais aller à l’université ni faire de maîtrise ou d’études plus avancées ? Je crois que nous nous en approchons.
Par exemple, tout ce que j’ai appris dans ma vie en dehors des mathématiques, je l’ai appris hors des salles de classe, en ligne. J’avais appris un peu de programmation à l’université, mais je l’avais oubliée. Tout le Python et tout le machine learning que je connais, je les ai appris en ligne. Je crois que nous y arrivons. Même si vous étudiez à l’université, vous devez encore apprendre certaines choses ailleurs.
Oui, parce que tout évolue tellement vite. Vous pouvez maintenant vous spécialiser en machine learning, mais au moment où les universités proposeront des cours sur les LLMs, une nouvelle technologie sera déjà apparue. Les universités ne peuvent pas avancer aussi rapidement que la technologie. Il faut donc compter sur l’apprentissage en ligne. L’idéal serait de combiner les deux lorsqu’on peut suivre des cours universitaires et apprendre en ligne.
Je crois toutefois que nous sommes rendus au point où les gens peuvent tout apprendre en ligne. Cela me réjouit parce que des personnes qui n’ont peut-être pas [00:09:00] la possibilité ou les moyens d’aller à l’université peuvent tout de même apprendre énormément et contribuer. J’ai certainement vu des gens extraordinaires apprendre une foule de choses en ligne et devenir des génies dans d’autres domaines. Cela me rend très heureux.
Oui, c’est vraiment cool de voir comment l’IA démocratise aussi beaucoup de choses alors que nous nous attendions au contraire. Beaucoup de gens craignaient les nouvelles technologies comme l’IA parce qu’elles rendraient les riches plus riches et les pauvres plus pauvres. En ce moment, j’ai plutôt l’impression que c’est l’inverse. Elles permettent à beaucoup de personnes qui ne savent pas faire certaines choses d’utiliser, par exemple, l’application gratuite ChatGPT pour apprendre à programmer, l’utiliser pour programmer ou faire tout autre chose.
Cela démocratise beaucoup de compétences qu’on peut maintenant apprendre très facilement, ou même appliquer sans les apprendre. Je trouve cela vraiment cool et cela rejoint aussi ce que vous faites chez Cohere avec la LLM University. Mais avant de plonger dans ce sujet très intéressant, j’aimerais peut-être [00:10:00] couvrir quelques définitions.
Par exemple, nous entendons souvent parler d’IA générative et de LLM. J’aimerais commencer par vous demander de nous expliquer ces deux concepts. En partant de la question « qu’est-ce qu’un LLM ? », nous arrivons à l’IA générative, n’est-ce pas ? Je vais rapidement introduire le sujet, puis parler des LLMs. Il y a environ 10 ans, ce qui était vraiment cool, c’était la classification.
Si un modèle pouvait dire si un texte parlait d’un sujet, s’il était heureux ou si une image montrait un chien, cela nous renversait. Aujourd’hui, même un bébé peut le faire. Maintenant, c’est l’inverse. Nous parlons de génération, de création. Vous fournissez très peu d’information, puis simplement une grande quantité de données.
Pour un humain, répondre à des questions est facile. Si je vous montre la photo d’un chien et vous demande ce que c’est, vous répondez que c’est un chien. Mais créer une image réaliste d’un chien est beaucoup plus difficile. C’est aussi beaucoup plus difficile pour les ordinateurs de dessiner ou d’écrire. C’est précisément ce que font les LLMs.
Ils génèrent simplement du texte. J’aime toutefois voir un LLM comme un ensemble de petites pièces mobiles. Chaque pièce est assez simple, mais lorsque nous les réunissons et que nous [00:11:00] ajoutons énormément de données et de puissance de calcul, elles produisent de la magie. Je dirais que les trois grandes pièces commencent par les embeddings. Selon moi, les embeddings constituent réellement la partie la plus importante d’un LLM, parce que c’est là que tout devient concret.
C’est là que l’ordinateur commence à parler. Il s’agit en quelque sorte de la traduction vers l’ordinateur. Nous parlons avec des mots, tandis que les ordinateurs parlent avec des nombres. Peu importe l’intelligence de l’humain, la puissance de l’ordinateur ou sa taille, il faut un bon pont entre les deux. Sans ce pont, rien ne se passe.
L’embedding est ce pont. Il transforme les mots en nombres, et de meilleurs embeddings produisent de meilleurs modèles. Si une personne invente un meilleur embedding demain, tous les modèles s’améliorent. Il faut trouver une bonne façon de transformer les mots en nombres. Pas en un seul nombre, mais en une série de centaines ou de milliers de nombres qui seront semblables…
…lorsque les mots le sont. Si je dis « pomme », le modèle me donne une série de nombres. Si je dis « poire », il m’en donne de semblables. Si je dis « camion », il me donne des nombres différents. L’embedding joue donc un rôle immense dans un grand modèle de langage. Ensuite, le Transformer est ce qui génère en quelque sorte le texte.
Il s’agit [00:12:00] d’un énorme réseau neuronal auquel nous ajoutons beaucoup de choses sur les côtés. Nous ajoutons notamment l’encodage positionnel pour indiquer à l’ordinateur comment les mots sont organisés, entre autres. Mais au fond, il ne s’agit que d’un grand réseau neuronal semblable à ceux que nous voyions il y a 10 ou 15 ans, avec beaucoup d’éléments supplémentaires.
Puis vient l’attention. J’ai déjà dit que les embeddings étaient la partie la plus importante, alors je ne peux pas aussi dire que l’attention l’est. Mais l’attention est vraiment ce qui a permis à ces systèmes de commencer à très bien fonctionner. Ce fut l’étape décisive, avec l’article « Attention Is All You Need ».
C’est à ce moment que les modèles ont commencé à très bien fonctionner. L’attention ajoute essentiellement du contexte. Si je dis par exemple « Apple », vous ne savez pas si je parle de la marque ou du fruit. Peu importe la qualité de l’embedding, il ne pourra pas le savoir à partir du mot isolé. L’attention commence donc à…
…modifier les nombres associés au mot « Apple » en fonction des autres mots de la phrase. Si je dis « apportez-moi une pomme et une orange », vous savez de quelle pomme je parle parce que le mot « orange » attire le mot « pomme ». L’attention est ce qui a réellement fourni le contexte. L’ordinateur [00:13:00] comprend maintenant de quoi il parle, pas seulement les mots individuels.
Cela a commencé à relier les mots au lieu de simplement avoir une série de mots séparés. Selon moi, le Transformer, l’attention et les embeddings sont donc les trois grands composants d’un LLM. Beaucoup de gens ne veulent pas nécessairement en apprendre davantage sur les grands modèles de langage. Ils veulent surtout les utiliser, par exemple avec ChatGPT, faire du prompting et les interroger.
Mais je crois qu’il est important de comprendre leur fonctionnement. Oui. Et puisque vous avez construit et continuez de construire la LLM University, je suppose que vous êtes du même avis. Pourquoi serait-il intéressant d’apprendre et de comprendre leur fonctionnement afin de peut-être mieux les utiliser ? Qu’est-ce qui vous motive à essayer de les comprendre ?
Je crois que c’est comme une voiture. Vous pouvez commencer à la conduire sans savoir comment elle fonctionne. C’est tout. Je n’ai pas besoin de connaître le moteur. Je peux simplement conduire, et c’est ce que les gens devraient faire. Il n’est pas nécessaire d’apprendre toute l’infrastructure d’une voiture avant de commencer à la conduire.
Mais si je commence à prendre la chose plus [00:14:00] au sérieux, à faire de longs voyages, la voiture finira un jour par tomber en panne et je devrai savoir quoi faire. Peut-être que je veux devenir pilote de course. Si je veux vraiment m’y consacrer, je dois alors comprendre son fonctionnement. Pour être pilote de Formula One, je dois connaître chaque recoin de la voiture, comprendre comment l’air circule et absolument tout le reste.
On peut commencer de la même manière avec les LLMs, et c’est aussi vrai pour tout le machine learning. Pour commencer à travailler avec les LLMs, vous n’avez pas besoin de connaître leur infrastructure. Vous devez seulement savoir leur donner des prompts et récupérer leurs réponses, puis intégrer l’appel API dans votre code et votre pipeline.
Vous pouvez ensuite aller un peu plus loin et vouloir vraiment les utiliser ou effectuer correctement leur fine-tuning. Il vous faut alors connaître une partie de leur infrastructure. Enfin, si vous voulez devenir le pilote de Formula One des LLMs, donc un chercheur ou une personne qui les construit et les utilise en profondeur, vous devez connaître chacune de leurs pièces mobiles.
Vous devez savoir où va l’attention, où intervient le fine-tuning et tout le reste. Plus vous voulez aller loin avec ces modèles, plus [00:15:00] vous devez les comprendre. Mais la porte d’entrée consiste simplement à commencer à leur donner des prompts. Je suis tout à fait d’accord. J’imagine que quelques personnes très rares n’ont même pas encore utilisé ChatGPT. Selon vous, quelle est la meilleure utilisation, ou quels sont certains cas d’usage très pratiques, des grands modèles de langage ?
Ce que nous avons surtout vu jusqu’à maintenant avec ChatGPT et les autres modèles, c’est un système qui vous répond, parce que c’est l’application la plus cool. Il s’agit simplement d’un chatbot auquel je peux poser n’importe quelle question et qui me répond. C’est certainement une application.
Une autre application très importante est la recherche, que vous vouliez simplement chercher ou aussi discuter. Comme vous l’avez vu, ces modèles peuvent halluciner. Ils affirment parfois quelque chose avec une confiance totale alors que c’est complètement faux, et il est difficile de le savoir. Si vous les enrichissez avec de la recherche, leurs réponses peuvent devenir exactes et citer la provenance de l’information, entre autres.
La recherche est donc certainement l’une des plus grandes applications actuelles. Il y a aussi des tâches comme la classification. Il y a 10 ans, il fallait fournir 10,000 exemples de données pour entraîner un modèle de classification. Aujourd’hui, avec un bon LLM et [00:16:00] de bons embeddings…
…quatre ou cinq exemples peuvent suffire à entraîner un modèle. C’est une autre application majeure des LLMs en général. Avec un très bon embedding, vous pouvez aussi en apprendre beaucoup sur vos données. Vous pouvez transformer votre texte en embeddings, les regrouper en clusters et obtenir beaucoup d’informations utiles.
Je dirais donc que la génération, notamment pour parler avec des chatbots, la recherche, la classification et les embeddings sont des cas d’usage très solides. Pour discuter, vous pouvez évidemment utiliser ChatGPT immédiatement. Pour les embeddings ou la classification, vous pouvez utiliser les APIs de Cohere.
Oui. Mais si vous avez par exemple un dataset ou des données dans votre entreprise et souhaitez créer un chatbot lié à un système de recherche et de récupération en mémoire, une personne qui n’est qu’entrepreneure et connaît le Python de base, ou même pas, peut-elle construire ce type d’application avec Cohere ou un autre outil ?
Est-ce accessible à tout le monde ? Oui, absolument. L’endpoint Generate de [00:17:00] Cohere fonctionne comme ChatGPT. C’est la partie qui génère le langage, et vous pouvez l’appliquer à votre propre dataset. Si une organisation possède un dataset précis dont elle veut tirer ses réponses, elle peut le connecter à un modèle de recherche.
Lorsqu’il reçoit une requête, le modèle cherche les bonnes réponses et trouve les candidats, donc l’emplacement de l’information. Vous pouvez ensuite utiliser un endpoint pour générer une réponse à partir de ce petit ensemble. Le résultat est beaucoup plus exact. La recherche apporte la précision, puis la génération formule la réponse dans une phrase cohérente.
Donc, il faut combiner la génération et la recherche. Si vous utilisez ce genre d’API et des outils déjà construits que vous ne faites qu’implémenter, en quoi est-il utile d’en apprendre davantage et, par exemple, de suivre la LLM University ? Si vous ne faites que suivre de courts tutoriels pour les intégrer à votre entreprise, pouvez-vous améliorer quoi que ce soit ? Qu’est-ce que ces connaissances vous apportent-elles ?
Excellente question. La LLM University [00:18:00] comprend aussi ces tutoriels et vous montre comment connecter les composants. Il existe un défi technique : savoir réunir ces endpoints, déployer le tout et ainsi de suite. Mais comme vous l’avez dit, vous conduisez la voiture sans avoir besoin de savoir comment elle fonctionne.
Cette partie ne pose aucun problème. Cela dit, un LLM offre beaucoup de paramètres et de possibilités pour effectuer son fine-tuning et simplement améliorer son fonctionnement, notamment en travaillant avec les embeddings et en reliant différentes choses. Pour obtenir un excellent résultat, il est donc utile de comprendre une partie de ce qui se passe.
Nous proposons aussi des tutoriels sur le fine-tuning, et chacun va aussi loin qu’il le souhaite. Vous avez comparé les LLMs à des voitures. Pour conduire une voiture, il nous faut essentiellement deux mains, une jambe et beaucoup de pratique. Mais quelles sont les compétences de base nécessaires pour utiliser des LLMs dans le site Web ou l’application de votre entreprise ?
Faut-il apprendre quelque chose au préalable ? Oui, il vous faut 10 doigts et beaucoup de pratique. Non, je plaisante. Plus vous avez de maturité en programmation, [00:19:00] mieux c’est. Tout repose sur la pratique. Si vous avez déjà fait de la data science, entraîné des modèles et déployé des systèmes, cette expérience aide beaucoup.
Recommanderiez-vous un langage de programmation ? Prenons un exemple concret. Une personne veut construire une application à laquelle elle donne le lien d’une vidéo YouTube afin de générer une publication intéressante sur Twitter. Que lui conseilleriez-vous d’apprendre ?
J’imagine que Python n’est pas vraiment le langage recherché ici. Il faut surtout du front-end, puis uniquement ce qui est nécessaire pour connecter une API. Peut-on tout faire avec Python ? Que recommanderiez-vous ? Je dirais que les gens devraient apprendre le langage dont leur application a besoin.
Si une personne veut travailler directement sur les LLMs, [00:20:00] je recommande certainement Python, parce que les packages apparaissent toujours d’abord en Python, entre autres. Mais si elle travaille sur le front-end, elle devrait apprendre le langage dont elle a besoin. Un autre concept très important et nouveau est le prompting. Qu’en pensez-vous ?
Je vais d’abord partager mon intuition sur le prompting. Corrigez-moi ou dites-moi simplement si vous n’êtes pas d’accord. Beaucoup de gens disent que le prompt engineering est un métier d’avenir et que c’est ainsi que nous ferons tout, mais j’ai l’impression que ce n’est pas vraiment l’avenir.
Il s’agit plutôt d’une transition. Comme vous l’avez dit, de meilleurs embeddings produiront de meilleurs modèles. En ce moment, puisqu’ils ne sont pas parfaits, nous devons encore faire du bon prompt engineering afin de préparer le langage naturel pour le modèle. J’ai donc l’impression qu’à mesure que nous progresserons vers de meilleurs embeddings [00:21:00] et de meilleurs modèles, nous n’aurons plus besoin d’être aussi bons pour préparer les prompts.
Au bout du compte, les grands modèles de langage et l’IA en général deviendront très facilement accessibles avec une requête toute simple que n’importe qui pourra formuler. Je ne suis donc pas certain d’être d’accord avec l’idée que le prompt engineering est un métier d’avenir. J’aimerais beaucoup savoir ce que vous en pensez.
Ces choses changent tellement que je ne sais pas. La seule constante dans l’avenir, c’est que tout changera sans arrêt. Le prompt engineering pourrait donc…
…être le métier d’avenir pendant cinq ans, jusqu’au prochain. La même chose est peut-être arrivée avec les data scientists. C’était le métier du moment, mais nous n’en aurons peut-être plus besoin parce que les modèles deviendront bien meilleurs. Ce pourrait donc être un métier d’avenir pendant un certain temps.
Je crois qu’il existe deux écoles de pensée. La première affirme que le prompt engineering est la data science de demain. L’autre dit qu’il ressemblera simplement au fine-tuning de modèles aujourd’hui. C’est important, [00:22:00] mais personne n’est embauché uniquement comme spécialiste du fine-tuning.
C’est une tâche parmi toute la boîte à outils d’un data scientist. À mon avis, le prompt engineering prendra de l’importance, comme vous le dites. Un jour, nous n’aurons peut-être plus besoin de formuler correctement nos prompts parce que le modèle comprendra beaucoup mieux. Mais le niveau auquel nous communiquons avec un ordinateur continuera de monter.
Vous voyez ce que je veux dire ? Les générations précédentes programmaient en assembleur. Aujourd’hui, nous écrivons en Python, un langage beaucoup plus clair qui contient de vrais mots. La prochaine génération parlera peut-être à l’ordinateur avec des mots et devra trouver les bons mots. Plus tard, les mots eux-mêmes n’auront peut-être plus beaucoup d’importance parce que l’ordinateur comprendra ce que vous faites et ce dont vous parlez.
Il restera toutefois une structure de plus haut niveau à maîtriser pour bien faire les choses. C’est également vrai dans les emplois qui n’exigent pas d’ordinateur. Vous parlez toujours en anglais, en français ou dans votre langue, mais il faut un niveau élevé de compréhension.
Un CEO ne programme jamais. Il ne fait qu’utiliser des mots, mais il doit leur donner une certaine structure. J’utilise les mêmes mots, mais [00:23:00] je ne saurais pas nécessairement gérer certaines situations de haut niveau. Je crois que notre niveau d’abstraction continuera d’augmenter. La prochaine étape sera le prompt engineering, puis une personne qui réfléchit à un niveau encore plus élevé que le prompt engineer.
Nous verrons bien. Vous demeurez donc plutôt optimiste au sujet du prompt engineering en général ? Je crois que oui. Personne ne sait ce qui arrivera, mais ces modèles seront de plus en plus omniprésents. Une personne qui sait leur donner de bons prompts occupera en quelque sorte le prochain grand emploi. Je crois donc que le domaine grandira.
Quel est le secret pour bien leur donner des prompts ? Est-ce comme conduire une voiture, donc uniquement une question de pratique ? Faut-il en apprendre davantage sur les modèles ou plus précisément sur les embeddings ? Que faut-il apprendre ou faire pour devenir meilleur en prompt engineering ? Je l’apprends moi-même en ce moment.
Je ne crois pas que connaître les mathématiques à l’intérieur du modèle soit extrêmement utile, mais il faut savoir comment il se comporte dans certaines situations. C’est un peu comme être bon pour chercher sur Google. On apprend à formuler certaines phrases d’une meilleure manière pour obtenir de meilleurs résultats qu’une personne qui découvre Google [00:24:00] pour la première fois.
Il faut donc une partie de cette compétence, beaucoup de pratique et une excellente connaissance du résultat recherché. Peu importe votre application, vous devez aussi très bien connaître le sujet. Si vous faites du prompting pour une application médicale, il faut également connaître une partie de la médecine. L’enchaînement des prompts est aussi utile, même si cette compétence pourrait disparaître lorsque l’ordinateur saura le faire lui-même.
Pour l’instant, je crois que l’enchaînement de prompts est très utile. Vous créez un prompt simple pour produire quelque chose, puis vous transformez ce résultat avec un autre. Si vous voulez construire une histoire très élaborée, les modèles sauront peut-être le faire directement dans quelques années.
Mais aujourd’hui, vous pouvez construire une histoire avec un premier prompt, ajouter des éléments avec un deuxième, puis travailler sur les chapitres, les personnages et le reste. Il faut donc beaucoup de pratique et une certaine connaissance de haut niveau. Selon vous, qui devrait apprendre l’IA ?
Je vais essayer de vous mettre un peu au défi avec un exemple concret. J’ai un ami recruteur dans une entreprise précise. Il cherche des personnes pour pourvoir les postes de son entreprise. Il utilise [00:25:00] LinkedIn, parcourt des CVs et mène des entrevues. Que pourrait-il faire avec l’IA s’il ne connaît rien à la programmation ni à Python, a étudié en ressources humaines et est directement entré sur le marché du travail, mais s’intéresse à l’IA et veut améliorer son travail ou gagner en efficacité ?
Je suppose qu’il aurait certainement avantage à en apprendre plus sur l’IA, mais que pourrait-il faire exactement ? Pourriez-vous lui proposer une voie à suivre et nous dire quels résultats il pourrait espérer ? Absolument. Vous avez d’abord demandé si les gens devraient apprendre l’IA. Je me souviens que lorsque j’étais enfant, ce qui trahit un peu mon âge, les gens demandaient : « Devrions-nous apprendre à utiliser un ordinateur ? »
Aujourd’hui, la question ne se pose même plus. Les enfants apprennent à utiliser un ordinateur avant de parler. Ils jouent simplement avec des applications. Puis la question était de savoir s’il fallait apprendre à utiliser Internet, et elle ne se pose plus non plus. Je crois que l’IA suivra le même chemin.
La question « devrais-je apprendre à utiliser l’IA ? » disparaîtra parce que l’IA sera partout. Nous n’apprendrons plus à faire nous-mêmes beaucoup de tâches répétitives. Vous et moi ne savons pas faire du feu avec deux pierres, alors qu’à une certaine époque, [00:26:00] tout le monde devait savoir le faire pour survivre.
À l’avenir, les gens ne sauront plus effectuer beaucoup de tâches répétitives et nous compterons sur l’IA pour les accomplir. Ce n’est pas un problème, parce que nous passerons à des niveaux de réflexion de plus en plus élevés. Pour votre ami, je crois que le recrutement est…
…l’exemple parfait d’une personne qui devrait adopter l’IA sans devenir très technique. Un recruteur peut utiliser un modèle, lui donner des prompts ou entraîner quelque chose de simple afin d’examiner mille CVs plutôt que cinq ou 10.
Cette partie est facile. Entraîner un modèle pour proposer de bons candidats est certainement quelque chose de simple. Vous l’entraînez à partir de tous les CVs des personnes que vous avez embauchées et de celles que vous n’avez pas retenues afin qu’il trouve des motifs.
Les compétences de votre ami deviennent toutefois particulièrement utiles dans la partie qui ne relève pas de l’IA. Il faut s’assurer que le modèle ne contient aucun biais. L’IA appliquée au recrutement est l’un des domaines où il faut travailler le plus [00:27:00] fort, parce que les biais du passé, notamment le sexisme et le racisme…
…explosent. Ces comportements sont essentiellement multipliés. Grâce à son expérience de nombreux CVs, un recruteur doit savoir quels éléments sont corrélés, ce qu’il faut surveiller et les types d’erreurs commises par le modèle.
Les corriger ne consiste pas uniquement à supprimer le nom. Beaucoup d’éléments de l’information sont corrélés, et le modèle peut les repérer et perpétuer ces biais. Votre ami peut donc profiter de l’IA pour travailler beaucoup plus rapidement, mais il peut aussi fournir son expertise et dire : « D’accord, ce modèle commet ces erreurs. »
Corrigeons-les. Vous avez dit que l’une des options les plus simples serait d’entraîner un modèle avec tous les CVs pour l’aider à les traiter. Existe-t-il toutefois une autre façon de faire qui ne l’oblige pas à entraîner un modèle ? Pour entraîner un modèle, il devra commencer par apprendre Python, puis comprendre l’entraînement, la régularisation et [00:28:00] tout ce qui s’y rattache.
Est-il possible d’utiliser un système préconstruit qui saurait déjà reconnaître un bon CV, auquel on pourrait simplement donner des prompts ou fournir une base de données de CVs ? Existe-t-il une application Web simple où il pourrait téléverser ses CVs et obtenir un résultat ? Que peut-il faire sans aucune connaissance en programmation ? Je suis certain que votre ami peut y arriver sans écrire une seule ligne de code. Je n’ai pas de service précis en tête, mais il existe assurément de nombreux endroits où utiliser des modèles d’IA préentraînés avec vos…
…fichiers pour mettre le modèle au travail. Il n’a pas besoin d’écrire une ligne de code, et certainement pas de faire de la régularisation ou quoi que ce soit de ce genre. Il peut utiliser des modèles préentraînés qui ont déjà fait l’objet d’un fine-tuning. Je lui conseillerais donc d’explorer les APIs et les services Web de ce type.
Tout cela existait même avant les LLMs. Avec les LLMs, on peut notamment faire du few-shot learning. Comme je l’ai dit plus tôt, il n’est plus nécessaire d’avoir 10,000 [00:29:00] exemples pour classifier des éléments. Il en faut quatre ou cinq. Vous pouvez utiliser un LLM et lui dire : « Regarde, ces 10 CVs sont bons. »
Vous les collez dans le prompt, puis vous ajoutez : « Ces autres CVs sont mauvais », avant de les coller aussi. Le modèle commence déjà à vous donner des résultats. Plus vous lui fournissez d’exemples, meilleur il devient. Comme je l’ai dit, avec les embeddings qui sont maintenant très bons, le modèle peut repérer ce qui caractérise un bon ou un mauvais CV sans écrire beaucoup de code.
Oui, c’est vraiment cool. En gros, la seule compétence requise est celle que nous possédons déjà tous sans même y penser : savoir utiliser Google et Internet. Oui, essentiellement du gros bon sens. Existe-t-il un emploi qui n’exige pas d’apprendre l’IA ?
Y a-t-il des personnes qui ne devraient même pas penser à l’intelligence artificielle ou essayer de comprendre ce que c’est ? Est-elle pertinente pour tout le monde, peu importe le parcours ? J’ai de la difficulté à trouver un contre-exemple. Il en existe sûrement, mais j’ai [00:30:00] de la difficulté. Si je nomme un emploi aujourd’hui et que nous réécoutons ce podcast dans six mois, les gens diront : « Luis, taisez-vous. »
Cet emploi utilisera déjà l’IA. Non, je crois que c’est comme lorsque les machines sont arrivées et que nous avons commencé à les utiliser à la maison ou au travail. Nous finirons par utiliser l’IA pour tout. Elle retirera la partie mécanique de notre travail, et chaque emploi comporte un volet intuitif et un volet mécanique.
Nous ne savons peut-être pas encore exactement lequel est lequel, mais la réponse est simple : tout ce que la machine peut faire appartient au volet mécanique. Tout ce que nous pouvons encore faire relève de l’intuition. Un écrivain peut par exemple imaginer l’idée d’une histoire, ce qui exige beaucoup d’intuition.
Le choix des mots et l’écriture représentent ensuite la partie mécanique. Un modèle peut donc l’aider. C’est la même chose pour un artiste. Les architectes, par exemple, ne dessinent plus tout au crayon. Ils utilisent beaucoup d’outils de modélisation, mais ils continuent d’imaginer le bâtiment dans leur [00:31:00] tête.
J’ai donc beaucoup de difficulté à trouver un emploi qui ne serait pas concerné. Je dirais toutefois que les tâches les plus difficiles pour un modèle sont celles qui exigent une forme d’intelligence émotionnelle. Je pense aux leaders, à tout ce qui demande de l’empathie ou une réflexion de groupe. Ce seront les dernières capacités à être remplacées.
Elles représentent le plus haut niveau. L’IA peut servir d’outil, mais elle ne prendra pas ces décisions. Elle prend des décisions lorsqu’il faut maximiser ou minimiser un nombre, par exemple réduire le nombre d’erreurs ou le temps nécessaire, ou encore maximiser le nombre de…
…résultats réussis. Les décisions qui exigent de l’empathie et de l’intelligence émotionnelle ne comportent souvent aucun nombre à maximiser. Il faut simplement réfléchir comme un humain. Je crois donc que ce seront les plus difficiles à confier à une machine. J’ajouterais également que les modèles ne font qu’interpoler à partir des données et qu’ils ne savent pas vraiment extrapoler.
Il leur est donc difficile d’innover ou de créer [00:32:00] quelque chose de nouveau, même si les images ou les textes générés semblent parfois nouveaux. Il s’agit surtout d’un mélange de ce qui existe déjà, ce que les humains font également. Mais je crois que nous pouvons tout de même innover un peu plus. Il est difficile de déterminer quelle proportion de ce que font les humains consiste à interpoler à partir de ce que nous avons déjà vu.
Oui, et quelle proportion est réellement nouvelle. Si quoi que ce soit, toute cette technologie nous obligera à extraire cette différence. Nous découvrirons certainement des choses que la machine ne sait pas faire, et ce sera peut-être précisément notre contribution. Oui. Puisque nous parlons des grands modèles de langage, nous avons abordé beaucoup de sujets directement liés à ce que vous construisez chez Cohere. J’aimerais donc approfondir ce que vous faites avec la LLM U, ou Large Language Model University.
Pour commencer, pourriez-vous nous donner un bref aperçu de ce qu’elle est, des sujets qu’elle couvre et des principaux apprentissages auxquels les gens peuvent s’attendre en suivant cette université ? Absolument. [00:33:00] Je suis tellement enthousiaste à ce sujet. C’est un immense plaisir d’y travailler. Dès le début, nous avons décidé que nous voulions aider tout le monde…
…à se mettre à niveau sur les LLMs de toutes les façons possibles. Le matériel peut évidemment être suivi à votre propre rythme. Vous pouvez choisir un sujet ou un autre, ou parcourir le contenu dans l’ordre. L’idée est simplement de tout réunir. J’aime toujours comprendre les choses de la façon la plus simple possible. Je n’utilise donc aucune formule.
Je n’utilise aucune matrice. Je place simplement de petits mots, des voitures et des fruits un peu partout. C’est le premier module, une introduction conviviale aux LLMs. Nous parlons des embeddings, des modèles d’attention et de la similarité, donc essentiellement de l’architecture d’un Transformer. Nous parcourons cette architecture et abordons aussi des sujets comme la recherche sémantique, qui repose sur les embeddings.
Tout reste conceptuel. L’objectif est de vous donner une idée de ce qui se passe derrière l’ordinateur. Ne vous inquiétez pas des matrices ni des nombres que je peux multiplier. Il suffit de comprendre, d’une manière [00:34:00] simplifiée, ce qui se trouve sous le capot. Les modules deux et trois portent ensuite sur la représentation du texte, soit essentiellement tout ce qui n’est pas de la génération.
Nous abordons donc la recherche, la classification et les embeddings. Il y a aussi beaucoup de laboratoires. Ce module comprend essentiellement des laboratoires de code avec toute l’information nécessaire. Tout le contenu propose des articles de blogue, des vidéos et des laboratoires de code. Il vous apprend à utiliser les endpoints et à analyser les résultats.
Par exemple, il vous fait transformer un grand dataset en embeddings à l’aide de l’endpoint, puis créer des clusters dans cet espace et observer les informations que vous en tirez. Voilà pour le module deux. Le module trois porte sur la génération. Il vous apprend à utiliser l’endpoint Generate, puis couvre beaucoup de prompt engineering.
Il comprend de nombreux laboratoires. L’un d’eux consiste à construire une histoire comme je le disais plus tôt, en enchaînant les prompts. Nous présentons beaucoup de cas d’usage où utiliser l’apprentissage génératif, entre autres. C’est ce que nous proposons actuellement et nous ajoutons beaucoup de contenu. Le prochain module que nous ajouterons [00:35:00] très bientôt…
…portera sur le déploiement. Nous couvrons le déploiement de modèles sur AWS, SageMaker et beaucoup d’autres plateformes. Les endpoints de Cohere sont indépendants du fournisseur cloud. Nous proposons donc des exemples de déploiement sur la plupart des plateformes. Nous ajoutons aussi un module complet sur la recherche, puisque c’est l’un des plus grands domaines d’intérêt de Cohere, celui où beaucoup d’innovations ont eu lieu et où l’entreprise joue un rôle de leader.
Nous ajouterons donc un module entier sur de nombreuses applications et technologies de recherche, dont la génération augmentée par la recherche. Comme je l’expliquais, on commence par chercher, puis on génère des réponses à partir des résultats. Nous couvrons aussi le rerank, une étape qui améliore beaucoup la recherche.
Nous présenterons plusieurs de ces technologies. Nous ajoutons aussi davantage de prompt engineering, puisque c’est ce que tout le monde veut apprendre. Nous avons beaucoup d’excellent matériel sur le sujet et continuerons d’en ajouter. À l’avenir, nous proposerons aussi du contenu destiné aux entreprises, par exemple pour une personne qui prend des décisions dans une organisation.
Cette personne n’a pas besoin de connaître tous les détails des modèles, mais elle doit [00:36:00] comprendre la vue d’ensemble : quel outil utiliser et quel type d’équipe construire, entre autres. Nous ajoutons constamment du contenu et organisons beaucoup d’événements intéressants. Le canal Discord est très actif. Nous donnons des conférences mensuelles, parfois par moi et parfois par les autres instructeurs. La communauté propose aussi beaucoup d’activités, des heures de bureau, entre autres.
C’est très amusant. Oui, c’est super cool. Je veux simplement préciser que vous venez de nommer plusieurs termes relativement complexes ou que certaines personnes ne connaissent peut-être pas, comme le clustering, le rerank et d’autres concepts liés à l’IA et aux grands modèles de langage. Je veux toutefois confirmer qu’il s’agit bien d’un cours dans lequel n’importe qui peut se lancer et…
…apprendre en suivant le parcours comme un débutant. Tout le monde devrait pouvoir le suivre, n’est-ce pas ? Absolument. Peu importe votre niveau, nous proposons du matériel d’introduction au ML. Vous n’en avez pas besoin pour les LLMs [00:37:00], puisque nous présentons chaque concept utilisé, mais les gens peuvent également parcourir le matériel de base sur le ML s’ils le souhaitent.
Nous fournissons des liens pour tout. Le clustering consiste simplement à regrouper des points, par exemple, et nous avons une ressource à ce sujet. Nous renvoyons essentiellement vers une ressource pour chaque concept. Il faut très peu de prérequis pour se mettre à niveau ici.
Pour suivre les laboratoires de code, il faut connaître le Python de base et quelques mathématiques de base. Mais je n’utilise jamais de variable, seulement des nombres. Je dis « trois plus quatre », pas « X plus Y ». Tout est entièrement gratuit. Oui, la plateforme est complètement gratuite et ouverte. Vous pouvez vous lancer.
Nous proposons un ordre recommandé dans lequel il suffit de cliquer sur « suivant », puis « suivant ». Mais si vous voulez apprendre un sujet précis, vous pouvez y accéder directement et avancer à votre rythme. Nous n’avons pas de cohortes, mais des personnes étudient ensemble dans le canal Discord.
Nous avons des groupes d’étude. Nous essayons de rendre l’expérience aussi communautaire que possible. La plateforme grandit, et l’accueil a été excellent. Tellement de [00:38:00] personnes nous ont répondu et ont rejoint la communauté que nous accélérons vraiment son développement. Notre objectif est d’en faire une académie dotée de toute l’infrastructure d’un cours.
Nous y arrivons progressivement. Je recommande vraiment d’essayer ou au moins de commencer à lire les premiers cours et modules de la LLM U. Je veux toutefois clarifier une autre chose. Lorsque vous parlez de Discord, s’agit-il du Discord de Cohere ou d’un autre serveur ? Oui, excellente question. Il se trouve dans le Discord de Cohere, avec une petite…
…communauté consacrée à la LLM U. Parfait. J’ai vu vos vidéos sur les embeddings et les Transformers. Votre façon d’expliquer est incroyable et vous êtes un excellent enseignant. J’aimerais donc bifurquer un peu vers l’enseignement. Que vous vouliez enseigner, travailler dans une entreprise, faire une présentation ou…
…discuter avec des coéquipiers ou des collègues, vous devez toujours expliquer vos idées ou au moins les rendre [00:39:00] plus simples et plus claires. Avec toute votre expérience sur YouTube, chez Cohere, chez Apple et dans l’industrie de l’enseignement, avez-vous des conseils pour mieux expliquer les concepts ou les sujets sur lesquels nous travaillons ?
Oui, excellente question. Merci. Tout le monde apprend à sa façon. Certaines personnes construisent des choses, tandis que d’autres doivent écrire tous les détails. Moi, j’apprends en enseignant. Même pendant les périodes de ma vie où j’ai essayé de ne pas enseigner et occupé un emploi qui ne l’exigeait absolument pas, je suis toujours revenu vers l’enseignement, parce que c’est ma façon de comprendre.
En fait, cela vient de mes difficultés. J’ai eu de la difficulté à apprendre toute ma vie à l’école. J’étais complètement perdu en classe. Je me laisse très facilement distraire pendant les réunions et les conférences. Si vous me voyez un jour dans une conférence, regardez-moi. Je suis comme ceci parce que je me perds facilement. Lorsque j’assiste à une présentation remplie de formules, soit je suis perdu, soit je dois travailler extrêmement fort pour la comprendre à l’aide [00:40:00] d’un exemple simple.
Mon premier conseil est donc d’examiner vos faiblesses, parce qu’une force cachée peut s’y trouver. Lorsque j’enseigne, je dois m’adresser à la personne la plus lente dans la salle, parce que cette personne, c’est moi. Si je réussis moi-même à comprendre, tout le monde comprendra, puisque l’explication doit être assez simple pour que même moi, qui me perds dans tout, je ne décroche pas.
J’explique donc les choses pour moi-même. Comme conseil concret, ne tenez rien pour acquis. Dans le milieu universitaire et dans l’industrie, il existe un certain ego qui pousse les gens à vouloir parler comme des professeurs et à adopter un registre un peu élevé. Je crois que personne n’aime réellement cela. Nous faisons semblant de l’aimer parce que tout le monde le fait.
Les gens ont peur que s’ils présentent quelque chose de trop simple, les autres rient ou les croient stupides. Je vous garantis que ce n’est pas le cas. Cela fait des années que je dis des choses simples devant tout le monde. En fait, j’ai de la difficulté à les rendre compliquées. Si j’essaie d’avoir l’air technique, je n’y arrive pas.
Je vous garantis que personne ne vous croit stupide lorsque vous présentez une idée de la façon la plus simple possible. Cherchez donc toujours [00:41:00] l’exemple le plus simple. Je me demande constamment : « Quel est l’exemple le plus simple que je peux utiliser pour illustrer ce concept ? » Je vais vous en donner un.
Prenons la reconnaissance d’images. Je pourrais l’expliquer en disant que vous avez une immense matrice de pixels qui représente votre image, que vous la multipliez par un vecteur, puis que vous appliquez une fonction d’activation, et ainsi de suite. Mais si l’image mesure 28 par 28, pourquoi ne pas la réduire à deux par deux ? Et pourquoi ne pas la rendre en noir et blanc ?
Tout à coup, je n’ai que quatre nombres. Au lieu de devoir multiplier cette matrice par un vecteur, je peux réellement effectuer toutes les opérations. Je dis : « Ceci est gris, donc 0.5. Ceci est blanc, donc zéro. Ceci est noir, donc un. » Je peux utiliser de vrais nombres. Une personne qui ne connaît ni les matrices, ni les vecteurs, ni la multiplication matricielle peut suivre, parce qu’elle sait additionner un et zéro.
Vous voyez ? J’essaie toujours de ramener le sujet à l’exemple le plus simple possible. Si je peux trouver une analogie, c’est encore mieux. Voici ce qui arrive : les gens disent toujours qu’ils sont mauvais en mathématiques, [00:42:00] mais ce n’est pas vrai. Les gens sont excellents en mathématiques. Vous ne pourriez pas survivre autrement. Vous utilisez la logique pour vous déplacer dans le monde et comprendre que si un endroit est ouvert de deux à quatre le samedi, mais pas le vendredi, et qu’aujourd’hui nous sommes vendredi…
Cette logique est la même que celle des mathématiques. C’est aussi vrai en physique. Si je demande aux gens de dessiner un enfant qui saute, ils dessinent une parabole. Ils le savent. Mais si je leur demande de dessiner y égale moins 9.8 x au carré, ils ne sauront pas quoi faire. Les gens ne sont pas mauvais en mathématiques. Ils ont de la difficulté avec l’abstraction.
Malheureusement, la majorité de l’éducation retire la réalité des concepts. Elle vous remet quelque chose de très abstrait, puis vous l’enseigne. Il devient alors impossible de l’apprécier. Si vous écoutez une chanson et que je retire toute la musique pour ne vous donner que les notes…
…vous ne la reconnaîtriez pas. Seuls les experts le pourraient. Je m’appuie donc sur les connaissances que les gens possèdent déjà. Ils savent fonctionner dans le monde. Plutôt que de leur donner une formule, je leur présente un scénario réel où cette formule [00:43:00] apparaît sans être visible, puis je leur demande ce qu’ils feraient.
Ils savent exactement quoi faire. Je leur dis ensuite : « D’accord, dans cette formule, voici ce que vous venez de faire. » Mon conseil aux enseignants est donc essentiellement de rester humbles devant les connaissances et leurs collègues. N’ayez pas peur d’avoir l’air stupide en étant trop simple. Ce n’est pas ce qui arrivera. Essayez toujours de vous appuyer sur la réalité…
…et sur l’exemple le plus simple possible qui illustre le concept. Merci, ce sont d’excellents conseils, particulièrement celui sur la peur d’être trop simple. C’est encore quelque chose que je dois surmonter. J’ai récemment fait une présentation dans le cadre de mon doctorat et il est effectivement assez difficile de savoir quel niveau utiliser lorsqu’on ne connaît pas vraiment le public.
Qui sera présent ? Il est difficile de le savoir. Jusqu’où faut-il simplifier ou approfondir ? Vous êtes aussi devant des professeurs, des postdoctorants et des experts. Vous ne voulez donc pas avoir l’air stupide ni donner l’impression de les prendre pour des imbéciles en expliquant [00:44:00] les fondements mêmes d’une convolution ou un concept qui est essentiellement simple pour eux.
J’ai de la difficulté à surmonter cette peur. Ce n’est pas exactement la peur de décevoir, mais celle de sembler tout expliquer à l’excès alors que c’est simple et qu’il faudrait passer à l’étape suivante. Je crois toutefois que vous avez raison. Cela vaut certainement la peine de le mentionner, même si le concept semble extrêmement simple. Pendant mon doctorat, j’avais particulièrement ce problème, parce que je crois que tous les étudiants aux cycles supérieurs vivent le syndrome de l’imposteur.
On se dit : « Je suis la seule personne ici qui ne comprend pas », ou qu’on explique quelque chose que tout le monde sait déjà. Mais lorsqu’on commence à parler aux autres, on découvre la réalité. Dans une conférence de mathématiques, par exemple, je disais discrètement à quelqu’un : « Je n’ai absolument rien compris. » La personne me répondait : « Moi non plus. »
Pourtant, elle agissait comme si elle avait tout compris avec une confiance totale. Au bout du compte, tout le monde ressent la même chose. Je crois qu’un peu de gentillesse peut aller loin. Si vous présentez votre sujet de façon à ce que les étudiants au doctorat ou au premier cycle puissent le comprendre…
[00:45:00] …alors, si un professeur s’offusque parce que votre explication était trop simple, laissez-le faire. Je destine toujours mes présentations aux étudiants du premier cycle et des cycles supérieurs. Oui, c’est fou à quel point c’est vrai. Dans la plupart des conférences auxquelles j’assiste, même à CVPR où j’irai la semaine prochaine…
…et où je suis allé l’an dernier, j’assistais parfois à une présentation, regardais mon ami et croyais qu’il suivait alors que j’étais le seul à être perdu. Mais à la fin, il n’avait lui non plus aucune idée de ce dont la personne parlait. C’était toujours comme cela. À l’inverse, je n’ai jamais entendu quelqu’un dire qu’une présentation était trop simple.
Cela n’arrive pratiquement jamais. Dans le pire des cas, le contenu est simple et constitue simplement un excellent rappel. Il ne peut pas vraiment être trop simple. J’ai par exemple vu plusieurs fois la présentation de Yann LeCun parce qu’il réutilise sensiblement la même. Elle est assez directe et simple, mais demeure intéressante chaque fois.
Personne ne dit qu’elle est trop simple et inutile. Elle demeure [00:46:00] intéressante et permet ensuite d’aller un peu plus loin. Revoir les bases et recommencer est certainement utile, voire nécessaire, pour être compris et intéressant. Absolument. Il arrive même que des experts me disent quelque chose à ce sujet. Les experts réfléchissent à un niveau très élevé et restent toujours à ce niveau.
Ils parlent et comprennent à ce niveau. Puis, à l’occasion, un expert me dit : « Wow, vous avez ramené le concept à ce niveau plus simple et m’avez aidé à mieux comprendre quelque chose que je connaissais déjà. » Si vous simplifiez, il est possible qu’ils n’aient jamais pensé de cette façon.
Ils ont peut-être toujours abordé le sujet à un haut niveau. En leur donnant un autre angle et une autre façon de comprendre, vous leur apportez encore quelque chose. Vous offrez donc aux débutants une excellente vue d’ensemble de votre travail et aux experts une nouvelle façon d’approfondir le sujet. J’essaie ainsi de ne pas ennuyer les experts tout en enseignant aux…
…débutants. Si l’explication est assez intéressante, votre excellente comparaison avec la voiture, par exemple, ou toute vue de bas [00:47:00] ou de haut niveau qui est innovante, intéressante et capte l’attention demeure aussi très utile pour un expert. Je vais essentiellement voler votre idée parce qu’elle me permettra d’expliquer plus facilement mon travail aux autres, puisque vous l’avez si bien présentée.
Cela peut aussi aider les chercheurs à réfléchir autrement à leur problème et peut-être à trouver un autre type de solution, simplement en recadrant le problème. Oui, il est toujours utile de comprendre les choses à leur niveau fondamental. Lorsque je fais de la recherche, je dois le faire, sinon je ne comprends pas vraiment le sujet à ce niveau.
Je remarque parfois que lorsque je parle à des chercheurs et les force à descendre à mon niveau d’exemples, de nouvelles idées apparaissent parce que nous regardons le problème sous un autre angle. Restons dans le monde de l’enseignement. Vous travaillez dans ce milieu du machine learning depuis un certain temps.
Avez-vous remarqué une différence, notamment grâce à votre expérience sur YouTube ou ailleurs, [00:48:00] chez les personnes qui veulent apprendre l’IA ? Leur profil a-t-il changé ? Avant, s’agissait-il par exemple surtout d’étudiants qui voulaient devenir chercheurs, alors qu’aujourd’hui ce sont plutôt des entrepreneurs qui veulent créer des applications ?
Voyez-vous une différence chez les personnes qui veulent entrer dans le domaine et apprendre l’IA ? Une différence immense. Lorsque j’ai commencé en IA il y a environ 10 ans, seuls des programmeurs et des statisticiens s’intéressaient au domaine. Ils arrivaient avec leur connaissance de la programmation et des statistiques et tentaient de résoudre des problèmes d’autres secteurs.
Il leur manquait évidemment beaucoup de choses. Si vous vous attaquez à un problème médical avec le machine learning, vous ne pouvez aller bien loin sans médecin pour l’examiner. Aujourd’hui, tout le monde s’intéresse à l’IA. Chaque personne arrive avec sa propre expertise et ses connaissances pour contribuer à l’IA et profiter de ses avancées. Ce n’est plus un domaine isolé. L’IA est maintenant tellement omniprésente qu’avant, on disait : « Je fais de l’IA. »
Aujourd’hui, on dit plutôt : « Je fais de l’IA avec ceci. » Personne ne fait seulement de l’IA. On l’utilise [00:49:00] avec une certaine saveur ou on l’applique à un domaine. La question n’est plus de savoir si nous utilisons l’IA, mais à quoi nous l’appliquons. C’est une relation dans les deux sens. Toute personne qui arrive avec un nouveau domaine et lui applique l’IA contribue aussi à l’IA.
C’est l’une des choses que j’adore. Oui, c’est un nouveau domaine extraordinaire. C’est incroyable. Comme vous l’avez dit plus tôt, des gens peuvent maintenant venir de la linguistique, des arts ou de n’importe quel parcours et aider à créer un meilleur modèle. C’est tellement cool.
Le domaine n’est pas réservé aux programmeurs ou aux mathématiciens. C’est fantastique. Ces personnes possèdent leur propre façon de penser. J’ai travaillé avec des musiciens, des artistes et même des joueurs d’échecs. J’ai rencontré l’une des meilleures personnes en planification par IA, et son parcours était très différent. C’est vraiment cool. Voilà toutes mes questions. J’invite donc toutes les personnes qui nous écoutent à découvrir l’IA en suivant gratuitement la LLM University de Cohere et à rejoindre le Discord, puisque les événements qui y sont organisés sont également gratuits. Sinon, j’aimerais vous demander si vous…
…travaillez sur d’autres projets [00:50:00] professionnels ou personnels que vous aimeriez présenter au public. J’ai toujours mes projets d’enseignement, qui me passionnent énormément. J’invite donc tout le monde à découvrir la chaîne YouTube Serrano Academy, comme mon nom de famille : Serrano Academy sur YouTube.
Il existe aussi une version espagnole et une version chinoise. Quelqu’un a eu la gentillesse de traduire beaucoup de mes vidéos. Découvrez donc Serrano Academy. C’est là que je publie toutes mes connaissances. Mon livre, Grokking Machine Learning, présente tout le machine learning de la façon dont j’aime l’expliquer et dont je le comprends.
J’ai aussi récemment lancé une spécialisation avec Coursera et DeepLearning.AI avec Andrew. Elle s’intitule Mathematics for Machine Learning and Data Science Specialization. J’y enseigne les mathématiques que les gens doivent connaître pour le machine learning. Elle comporte trois cours de quatre semaines chacun.
Le premier porte sur l’algèbre linéaire, le deuxième sur le calcul et le troisième sur les statistiques et les probabilités. Tout est orienté vers le machine learning. Nous avons choisi les sujets réellement utilisés en machine learning ou qui donnent une certaine intuition. [00:51:00] Nous abordons notamment des notions comme le rang d’une matrice…
…les tests d’hypothèses, les probabilités et le maximum de vraisemblance. Je recommande cette spécialisation aux personnes qui travaillent en IA ou qui s’y lancent et veulent apprendre les mathématiques en parallèle. C’est vraiment cool. Je ne savais pas que vous veniez de la créer. Elle semble très utile et je la recommande également si vous visez…
…un emploi en IA, si vous voulez faire un doctorat ou une maîtrise. Personnellement, j’ai suivi un parcours classique en ingénierie à l’université. Même pendant mes études, je suivais encore des cours en ligne sur les mathématiques et tous ces sujets. Même si vous êtes à l’université, je recommande donc de découvrir ces cours et de continuer à progresser par vous-même.
Cela en vaut vraiment la peine. Je suis certain que ces ressources sont aussi bonnes, sinon meilleures, que tout ce que vous faites sur YouTube et chez Cohere. Super. Je vais aussi les consulter et peut-être les ajouter à mon guide pour se lancer en IA en ligne. [00:52:00] Je vais certainement les examiner. Merci beaucoup.
Bien sûr. Je suis aussi un grand admirateur de votre contenu et de votre chaîne. C’est un honneur de vous parler. Merci, et merci beaucoup pour tous les excellents conseils que vous avez donnés. Cette discussion était vraiment très amusante pour moi. Je suis aussi un admirateur de votre chaîne YouTube et de votre travail. C’était donc vraiment cool pour moi.
Et oui, merci beaucoup pour votre temps et pour toutes les excellentes perspectives que vous avez partagées avec nous. Merci à vous également pour cette excellente conversation. Vous avez posé d’excellentes questions et je suis très heureux d’avoir été ici.
FAQ
Qu’explore l’entrevue avec Luis Serrano ?
Elle couvre son parcours en IA, son approche pédagogique, les fondements des LLMs, les embeddings, le fine-tuning et son travail chez Cohere.
Les débutants devraient-ils apprendre toutes les mathématiques avant de construire un modèle ?
Non. De petits projets peuvent rendre les mathématiques concrètes, puis la théorie plus avancée peut être ajoutée lorsque les problèmes l’exigent.
Pourquoi peut-on expliquer un LLM à partir de petits composants ?
L’attention, les embeddings, la prédiction et l’optimisation sont des éléments compréhensibles, même si leur échelle produit des comportements complexes.
Comment les développeurs peuvent-ils améliorer une application LLM sans réentraîner le modèle de base ?
Ils peuvent modifier les prompts, la recherche, les embeddings, le contexte, les outils, les contraintes d’output et l’évaluation autour du modèle.
Quelle est une bonne façon d’apprendre la science de l’IA ?
Alternez l’étude claire des concepts avec de petites implémentations qui montrent concrètement ce que chaque composant modifie.
Un doctorat est-il nécessaire pour faire carrière en recherche en IA ?
Non. Un doctorat peut développer la profondeur et la persévérance, mais la résolution créative de problèmes, le travail pratique et l’habitude d’expérimenter peuvent ouvrir d’autres chemins vers la recherche.
Qu’enseigne d’abord la Large Language Model University ?
Elle commence par une introduction conceptuelle aux embeddings, à la similarité, à l’attention et à l’architecture Transformer, avant de passer à la recherche, à la classification, à la génération, au prompting et aux laboratoires de code.
Pourquoi la diversité des parcours améliore-t-elle les équipes d’IA ?
Les experts de différents domaines apportent des problèmes, des contraintes et des façons de penser qu’une équipe composée uniquement de programmeurs ou de mathématiciens pourrait manquer.
Qu’est-ce qui rend une explication technique plus facile à comprendre ?
Commencez par le plus petit exemple concret, utilisez de vrais nombres lorsque c’est possible et n’ajoutez l’abstraction qu’une fois le mécanisme visible.