Dans cet épisode passionnant du podcast avec Aleksa Gordić, ancien ingénieur de recherche chez DeepMind maintenant lancé dans l’aventure de sa propre startup, nous abordons un vaste éventail de sujets liés à son expérience et à ses réflexions. Au fil de l’entrevue, nous explorons ses priorités actuelles, son travail chez DeepMind, sa décision d’abandonner sa maîtrise et la façon dont il a décroché un poste d’ingénieur logiciel en apprentissage automatique chez Microsoft, puis chez DeepMind, sans diplôme officiel.
Aleksa raconte son parcours d’apprentissage autonome et la façon dont il a acquis de l’expérience pratique en participant à des compétitions, des hackathons et des projets de science des données. Il souligne l’importance d’acquérir de solides bases en mathématiques et recommande des ressources comme le livre « Cracking the Coding Interview » et les cours de fast.ai aux personnes qui souhaitent entrer dans le domaine de l’IA. Je partage aussi ces ressources dans mon guide pour apprendre l’IA.
En parlant de son passage chez DeepMind, Aleksa insiste sur la diversité des rôles au sein de l’entreprise, du génie logiciel à la recherche. Il raconte son expérience dans des équipes appliquées, sa collaboration sur des modèles vision-langage et l’intégration de datasets. Il souligne aussi la nature dynamique de la recherche et explique que les projets de grands modèles de langage reposent souvent autant sur des avancées d’ingénierie que de recherche.
Aleksa répond à la question de savoir si une maîtrise ou un doctorat est nécessaire pour réussir dans l’industrie. Il souligne que la motivation personnelle, l’autodiscipline ainsi qu’un solide portfolio de projets et d’expérience pratique peuvent avoir autant de valeur. Il raconte son propre passage d’un parcours axé sur le matériel au génie logiciel, puis à l’apprentissage automatique.
Tout au long de la conversation, Aleksa offre des conseils pratiques aux personnes qui souhaitent travailler en IA. Il suggère de réaliser des projets concrets, de reproduire des articles scientifiques et de se familiariser avec les APIs pertinentes. Aux personnes intéressées par des rôles en recherche, il rappelle l’importance d’approfondir leurs connaissances dans des domaines de niche et de se démarquer par des contributions open source, des articles de blogue de grande qualité ou d’autres perspectives uniques.
L’épisode couvre un vaste éventail de sujets au-delà du parcours d’Aleksa, notamment sa startup actuelle, Ortus, qui se concentre sur l’analyse de contenu propulsée par l’IA. En gros, elle vous permet de discuter avec des vidéos YouTube, y compris les miennes! Nous parlons aussi des défis rencontrés, de l’avenir de l’IA dans la création vidéo, de conseils de productivité et bien plus encore.
Pour explorer pleinement ces sujets fascinants et approfondir votre compréhension, je vous invite à écouter l’épisode complet sur YouTube, Spotify ou Apple Podcasts :
Transcription complète de l’épisode :
[00:00:00] Voici une entrevue avec Aleksa Gordić. Aleksa a travaillé chez Microsoft et DeepMind comme ingénieur de recherche en apprentissage automatique. Il développe maintenant son propre projet, Ortus, une extension Google Chrome à utiliser sur YouTube pour répondre à toutes vos questions sur des vidéos précises. C’est vraiment génial et cela utilise de grands modèles de langage.
Aleksa possède beaucoup d’expérience dans sa contribution au domaine de l’IA tout en créant ses propres projets. Il anime aussi la chaîne YouTube AI Epiphany, que vous connaissez sûrement. Sinon, vous devriez vraiment aller la voir. J’espère que cette entrevue vous plaira.
Vous gérez déjà beaucoup de choses avec YouTube, Ortus et tout le reste. Prévoyez-vous encore faire des vidéos ou allez-vous tout miser sur Ortus, l’entreprise et votre… Je prévois toujours, toujours, toujours, toujours faire des vidéos. La fréquence est évidemment réduite parce que je, je n’ai pas [00:01:00] autant de temps disponible, mais je prévois réellement d’en publier au moins une toutes les deux semaines. Ce sera peut-être un peu plus axé sur mon parcours entrepreneurial que sur du ML très poussé.
Qui sait? Peut-être, je ne sais pas, peut-être que je reviendrai aussi aux articles scientifiques. Tout reste à déterminer. Pour l’instant, je me concentre simplement sur, sur, sur la création d’une startup. C’est ma priorité numéro un, mais je ne vais pas abandonner, abandonner YouTube. Donc, oui.
Oui, c’est, c’est vraiment difficile de tout gérer. Je ne sais pas comment vous faisiez chez DeepMind et Microsoft pour aussi tenir une chaîne YouTube. Avec le, le doctorat, mon horaire est assez… il n’est pas libre, mais je décide de mon propre horaire. Il est donc beaucoup plus facile d’essayer de tout équilibrer, mais cela reste assez difficile. J’essaie de faire des vidéos tout en rédigeant la thèse et tout le reste. Alors je, je n’arrive pas à imaginer cela avec un vrai, un vrai emploi. Je pense que c’est semblable. Vous avez tout de même beaucoup de flexibilité lorsque vous travaillez pour une bonne entreprise. Au bout du compte, ce qui compte, c’est votre [00:02:00] output. Personne ne vous surveille en disant : « Ah, vous n’avez pas travaillé huit heures et demie aujourd’hui », ou quelque chose du genre.
Si vous pouvez accomplir des choses intéressantes et du bon travail en cinq ou six heures, c’est parfait. La fois suivante, vous pourrez peut-être compenser, ou… au bout du compte, c’est l’output qui compte, pas, pas les heures. Et je, je, j’espère que beaucoup d’entreprises fonctionnent ainsi, non? En fin de compte, vous ne payez pas les gens simplement pour qu’ils passent du temps au travail, parce qu’ils vont, ils vont trouver une façon de combler les trous, de faire autre chose et de ne pas être productifs.
Alors, oui. Oui. Malheureusement, je pense que la plupart de mes amis vont travailler sur place et doivent faire huit heures par jour, peu importe la situation. Alors c’est, oui, c’est certainement mieux si vous pouvez simplement avoir une, une charge de travail précise. Une charge de travail. Si vous êtes plus efficace, vous terminez plus vite et vous pouvez faire, oui, davantage d’autres choses. C’est la, la solution idéale.
Et à quoi ressemblait votre, votre travail chez DeepMind? Que faisiez-vous? Je [00:03:00] suppose que DeepMind est davantage axé sur la recherche. Vous concentriez-vous donc plus sur l’implémentation de la recherche, la rédaction d’articles scientifiques, le code, la gestion de personnes? Que faisiez-vous là-bas?
Cela, cela dépend vraiment beaucoup de votre équipe. En gros, je faisais partie d’une équipe appliquée, ce qui signifie que je travaillais davantage sur l’inférence. À mon arrivée, je collaborais surtout avec les gens de l’équipe Flamingo, donc sur les, les modèles vision-langage. J’ai contribué à l’intégration de certains datasets. On peut donc considérer cette partie de mon travail comme davantage axée sur la recherche.
Au bout du compte, tous ces grands projets reviennent maintenant à de l’ingénierie très poussée. Tout dépend de votre définition de la recherche, non? Je dirais que tous ces projets de grands modèles de langage et de VLMs relèvent davantage d’efforts d’ingénierie que de projets de recherche. Évidemment, un nouvel article scientifique paraît et quelqu’un reprend une idée comme FlashAttention ou autre chose.
Encore une fois, c’est plutôt une avancée d’ingénierie, non? FlashAttention optimisait simplement le fonctionnement du mécanisme d’attention pour le rendre [00:04:00] plus efficace. Je pense donc que cet état d’esprit qui consiste à toujours regarder ce qui se passe dans le domaine, à rester à la fine pointe, à lire les articles scientifiques et à reprendre des idées, même lorsque ces idées relèvent beaucoup plus de l’ingénierie que, que de la recherche…
Je pense que c’est ce que nous pouvons aujourd’hui qualifier de recherche, du moins, du moins pour, pour ce type de projets. Comme je l’ai dit, c’est essentiellement ce que j’ai fait. J’ai peut-être aussi contribué à la révision de l’article scientifique sur Flamingo. J’ai reçu une petite mention dans l’annexe ou quelque chose comme « Merci à Aleksa Gordić », parce que je, je suis arrivé alors que le projet touchait déjà à sa fin. Je n’étais donc pas là depuis, depuis, depuis le début.
Pour cette raison, je ne pouvais pas être coauteur. Oui. Ensuite, pendant les six ou sept derniers mois environ, je me suis surtout concentré sur, sur la mise en production de modèles vision-langage dans différents produits Google. Cela, cela signifie que je travaillais surtout sur l’inférence et faisais tourner ces grands modèles, jusqu’à 80 milliards de paramètres, comme vous le savez. C’est une information publique. Évidemment, je ne partagerais rien qui ne l’est pas.
Et [00:05:00] je les exécutais sur des clusters de, de TPUs. Le problème, c’est que chez Google et, et dans ces grandes entreprises technologiques, tous ces outils sont internes. Une grande partie de la complexité vous est donc abstraite. Je n’avais pas vraiment une intuition concrète de tout ce qui se passait en tout temps.
J’ai aussi parlé à certaines personnes centrales du projet Flamingo et je leur ai posé des questions comme : « Hé, comprenez-vous comment fonctionne cette partie liée au partitionnement? » Elles répondaient : « Non, quelqu’un d’autre l’a implémentée. Je me concentre seulement sur cette autre couche d’abstraction. » Au bout du compte, quand vous participez à de grands projets, vous vous spécialisez, vous vous concentrez sur un sous-domaine précis. Et vous ne voyez pas nécessairement l’ensemble, à moins d’être peut-être chef d’équipe ou quelque chose du genre. À mon arrivée chez DeepMind, j’avais donc clairement d’autres attentes quant à ce que signifiait participer à un projet. Mais encore une fois, c’était très subjectif, car l’expérience aurait été complètement différente dans un petit projet dont l’output était un article scientifique.
Et honnêtement, je, je, je n’ai pas vécu cette expérience. Alors…
Et [00:06:00] vous êtes plutôt généraliste, non? Vous préférez toucher un peu à tout, tout faire ou, du moins, tout gérer? Cent pour cent. Je, je, j’aime avoir une vue d’ensemble et c’est en partie pour cette raison que je ne me suis jamais imaginé à long terme dans, dans, dans une grande entreprise technologique.
Vous allez toujours être… Je pense que cette réalité est trop idéalisée. Honnêtement, je crois que l’expérience de la plupart des gens n’est pas si extraordinaire. Imaginez le nombre de produits en production chez Google et Microsoft. Quelqu’un doit corriger les bogues. Quelqu’un doit faire fonctionner ces systèmes.
Et, et ce n’est pas le travail le plus passionnant au monde. Mais encore une fois, cela dépend. Certaines personnes sont passionnées par une partie précise de la stack, finissent dans ce rôle et adorent l’optimisation. Pour elles, c’est peut-être un choix parfait. Mais je, je pense qu’en, en, en moyenne, la plupart des gens ne sont probablement pas aussi heureux que s’ils lançaient leur propre projet. Oui. Cela dit, il faut un état d’esprit complètement différent. Il faut être [00:07:00] plus entrepreneurial. Ce n’est, ce n’est pas pour tout le monde. C’est donc une préférence personnelle, je suppose.
Diriez-vous que c’est aussi pour cette raison que vous avez abandonné votre maîtrise et que vous n’avez pas fait de doctorat? D’après ce que j’ai vu et ce que je sais, plus vous avancez dans les, les études, plus vous vous spécialisez et moins vous pouvez rester généraliste.
Pendant, pendant ma maîtrise, je pourrais dire que je travaillais en vision par ordinateur et en classification. C’est assez général. Hum-hum. Pour le, le, le doctorat, je travaille maintenant sur l’imagerie médicale et la segmentation. C’est déjà beaucoup plus… pas du fine-tuning, mais beaucoup plus précis. Précis, précis. Ma question, en gros, est donc : pourquoi avez-vous abandonné la, la maîtrise?
D’accord. Peut-être, peut-être que je devrais d’abord parler du doctorat en général. D’après mon expérience et mes discussions avec beaucoup de titulaires d’un doctorat, cela varie énormément. Certaines personnes commencent immédiatement, dès les premiers mois, à approfondir une niche précise [00:08:00]. Oui. D’autres passent 2, 3 ou 4 ans à chercher leur sujet, puis finissent peut-être par publier un seul article scientifique.
Par exemple, un, un gars avec qui j’ai parlé récemment se trouve exactement dans, dans, dans cette situation. Pendant ses trois premières années, il est resté très généraliste et ne s’est pas spécialisé, même s’il faisait un doctorat. Je pense donc que le doctorat forme aussi un spectre. Ce n’est pas une seule expérience uniforme dans toutes les universités.
Mais pour revenir à votre question sur, sur la maîtrise, je l’ai abandonnée parce que je, je ne la supportais plus. Ce n’était pas fait pour moi. Je, je, je ne suis pas fait pour rester assis dans une classe et, et, et écouter des cours génériques sans aucune autonomie. Je, je me disais : d’accord, je sais, je sais ce que je veux accomplir. À ce moment-là, j’avais déjà décidé de quitter l’électronique pour le génie logiciel. Je, je savais donc que je devais approfondir les algorithmes, les structures de données et la conception logicielle. La maîtrise restait très générale et je, je savais qu’elle ne représentait pas le, le, le chemin le plus rapide pour, pour atteindre mon objectif. [00:09:00]
Et puis, quelles sont les chances, quelle est la probabilité que les professeurs de votre faculté soient les meilleurs experts au monde dans le domaine précis qui vous intéresse? Cela correspond davantage au doctorat, si vous avez de la chance et trouvez le bon directeur. Alors, alors je, je, je ne rejette pas cette voie. Dans une autre vie, j’aurais peut-être fait un doctorat, mais je sauterais encore la maîtrise.
Je, je, je, je ne pense simplement pas que la maîtrise soit très utile. Beaucoup de gens la sautent et passent directement au, au doctorat. Alors oui, compte tenu de ma façon d’apprendre, de mon degré d’autonomie et de mon autodiscipline, je n’ai pas besoin de cette structure externe pour, pour me motiver. À tous les autres égards, je la trouve simplement inefficace.
Vous pouvez faire un bien meilleur travail si vous êtes autodiscipliné. Si vous pouvez sélectionner et personnaliser votre propre parcours d’apprentissage, aucun programme générique ne pourra vous convenir aussi bien. Pour cette raison, la décision a été assez, assez facile pour moi, honnêtement.
Mais dans de grandes entreprises comme Microsoft, par exemple, il faut parfois les, [00:10:00] les qualifications et, en gros, le, le titre. Vous venez de dire que vous y êtes arrivé en, en, en apprenant par vous-même. Mais comment avez-vous réussi à travailler dans une grande entreprise comme Microsoft comme ingénieur logiciel en, en apprentissage automatique, sans, sans diplôme officiel dans ce domaine? Oui.
Oui. Alors, l’histoire remonte à 2017, je crois. Je faisais un stage Android en Allemagne. J’ai communiqué avec un ami qui était très, qui était excellent dans ce domaine. Il avait déjà fait plusieurs stages en logiciel chez Facebook, Google et toutes les FAANGs. L’, l’, l’, l’acronyme a changé depuis, mais vous, vous voyez l’idée. Il m’a essentiellement conseillé de lire le livre « Cracking the Coding Interview ».
À mon retour de, de ce stage en Allemagne, à, à Belgrade, j’ai redoublé d’efforts pour apprendre le plus d’algorithmes possible. Je participais à des hackathons, à des datathons, j’utilisais tous ces sites de programmation compétitive et, et j’essayais simplement de, de mettre en pratique toutes ces [00:11:00] ressources.
Je, je savais, je savais qu’elles étaient bonnes, comme « Cracking the Coding Interview ». Puis j’ai commencé à postuler. J’ai reçu des refus. Je pense que partout où j’ai postulé une première fois, j’ai toujours été refusé. Presque toujours. Je pense, je pense que c’est aussi assez courant. Pour une raison quelconque, probablement par manque de communication, la plupart des gens imaginent que tous ces ingénieurs extraordinaires postulent une fois et, oui, vous, vous y êtes.
Je pense donc que cette expérience est aussi un peu romancée. Après toute cette préparation, j’ai participé à un camp d’été en apprentissage automatique que j’avais découvert complètement par hasard. Je, je crois que la date limite arrivait dans environ, environ trois jours. Quelqu’un m’a dit : « Hé, il y a ce camp d’été en ML, va voir. »
Je me suis dit : d’accord, laissez, laissez-moi voir de, de quoi il s’agit. J’ai immédiatement postulé. Plus tard, comme les organisateurs du camp travaillaient chez Microsoft, cela m’a aidé à décrocher, décrocher un emploi chez Microsoft, d’abord comme ingénieur logiciel. Je [00:12:00] postulais aussi chez Microsoft en parallèle.
Ces deux éléments combinés m’ont donc permis de, de, de décrocher ce poste. J’ai rejoint Microsoft et l’, l’équipe Microsoft HoloLens. J’ai été extrêmement chanceux. Avec le recul, intégrer cette équipe est la meilleure chose qui pouvait m’arriver. C’était, je dirais, la meilleure équipe de Microsoft à l’époque.
Peut-être même encore aujourd’hui, quoique maintenant, travailler avec OpenAI ou plus près d’OpenAI représente probablement ce qu’il y a de plus passionnant chez Microsoft. Mais à l’époque, HoloLens était un appareil vraiment, vraiment digne de la science-fiction. Si vous avez vu l’Apple Vision Pro, HoloLens 2 pouvait déjà accomplir la plupart de ces choses en 2018. Probablement pas avec la même qualité, mais les interactions étaient déjà intuitives.
Vous pouviez déjà utiliser vos mains pour faire des gestes. Vous pouviez regarder des hologrammes et le système savait que vous les observiez parce que nous suivions essentiellement le vecteur de votre regard. Je travaillais moi-même sur le suivi oculaire. Bref, c’était un projet extraordinaire avec beaucoup, beaucoup de vision par ordinateur. Évidemment, le projet reposait énormément sur ce domaine.
[00:13:00] Pour cette raison, il fallait utiliser l’apprentissage automatique, non? Aujourd’hui, la, la meilleure façon que nous connaissons d’analyser des images reste l’apprentissage automatique. Cela m’a donc naturellement amené à, à devoir en apprendre davantage. J’ai commencé à étudier de, de, de mon côté, avec Andrew Ng et, et en lisant des articles scientifiques. Puis, oui, c’est, c’est une tout autre histoire, mais c’est ainsi que tout a commencé.
Vous vouliez donc depuis le début devenir ingénieur logiciel, puis vous avez abouti en apprentissage automatique parce qu’il s’agissait de la, la principale solution au problème. Vous n’êtes pas entré dans ce domaine parce que vous vouliez faire de l’apprentissage automatique?
Oui, oui, parce que je me suis inscrit au, au camp d’été par intérêt pour l’intelligence artificielle. Mais le génie logiciel représentait aussi un rôle de transition pour moi, non? Mon, mon baccalauréat portait beaucoup sur l’électronique et je me concentrais sur l’électronique numérique. Je concevais même certains circuits électroniques à haute fréquence radio, à, à un niveau de détail douloureux. Je dessinais littéralement la disposition du métal et du polysilicium [00:14:00] d’un circuit radio de conversion ascendante, ainsi que des microcontrôleurs, du logiciel embarqué et des systèmes d’exploitation en temps réel.
Alors, alors ma formation officielle vient vraiment, vraiment du matériel de bas niveau. Oui. Puis j’ai lentement gravi les couches d’abstraction, jusqu’à la couche applicative du logiciel et finalement à l’apprentissage automatique. Karpathy l’a appelé « Software 2.0 », une couche encore plus abstraite et de plus haut niveau que le travail des, des gens sous nous, ceux des compilateurs et du logiciel embarqué. Alors oui.
Avant ce, ce camp d’été et, et Microsoft, vous avez dit avoir participé à beaucoup de compétitions pour acquérir différentes expériences pratiques. Si une personne en a assez de l’université, abandonne ses études ou termine son diplôme sans vouloir faire de maîtrise ni de doctorat, comme vous, que lui recommanderiez-vous pour entrer en IA en 2023? [00:15:00] Le mieux serait-il d’aller sur Kaggle ou sur d’autres sites de compétitions? Que lui conseilleriez-vous pour finir par travailler chez DeepMind ou OpenAI?
Tout dépend du rôle que vous visez. Voulez-vous travailler en logiciel? Vous, vous pouvez être ingénieur logiciel chez DeepMind ou travailler aux ressources humaines chez DeepMind. Tout dépend donc de ce que vous voulez faire, non? Si vous voulez devenir ingénieur de recherche, le rôle que je connais le mieux, je peux probablement donner les, les, les meilleurs conseils. Oui. Mais je connais aussi les autres parcours, par exemple pour devenir chercheur scientifique, et cetera, et cetera.
Vous avez mentionné Kaggle. Je pense que Kaggle forme, forme une communauté distincte. En suivant cette voie, vous vous dirigez probablement davantage vers la science des données. Oui. Et, et, et, et vous travaillerez probablement moins avec des données non structurées, comme le texte, les images ou les vidéos, et davantage avec des données tabulaires.
Je, je sais que Kaggle organise une foule de compétitions, mais historiquement, la plateforme s’est davantage concentrée sur… Je [00:16:00] connais Bojan Tunguz, par exemple, l’un des, des, des, des grands maîtres de Kaggle, et il utilise toujours XGBoost. XGBoost. Les modèles employés montrent clairement l’importance accordée aux données tabulaires.
Pourtant, je pense que tout ce qui s’est produit de passionnant dans le domaine ces dernières années concernait davantage les données non structurées, donc les images, la vision et tout le reste. La façon d’obtenir le rôle souhaité dépend donc d’abord du rôle lui-même. Ensuite, certaines grandes étapes s’appliquent peu importe votre choix, que vous visiez un poste d’ingénieur en apprentissage automatique ou de chercheur.
Vous devez posséder de bonnes bases en mathématiques. J’ai d’ailleurs écrit tout un article de blogue sur ce, sur ce, sur ce sujet. Je vais donc vous en dire autant que, que possible maintenant, mais je vous encourage à le consulter. Réalisez aussi le plus grand nombre de projets possible.
Essayez peut-être de reproduire quelques articles scientifiques. Commencez par certains cours de haut niveau. Je pense que fast.ai est probablement le meilleur aujourd’hui, même, même devant Andrew Ng. Andrew Ng possède surtout le nom. C’est le professeur de Stanford. [00:17:00] Ses qualifications sont impressionnantes. Jeremy possède lui aussi d’excellentes qualifications, mais pas de la même façon.
Il, il, il n’est pas aussi connu parce qu’il n’a pas, en gros, l’étiquette Stanford. Voilà ce que j’essaie de dire. Mais je, je pense que ses cours sont probablement encore meilleurs pour beaucoup de gens, surtout ceux qui viennent du génie logiciel. Il propose littéralement un cours conçu pour aider les ingénieurs logiciels à passer au ML.
Ce serait probablement l’une des premières choses que je ferais. Ensuite, commencez immédiatement à construire. Construisez. Évidemment, ces conseils s’adressent davantage aux rôles d’ingénierie, mais commencez à créer, peut-être en reproduisant un article scientifique. Même cela n’est probablement pas nécessaire. Vous devriez sans doute simplement vous familiariser avec, avec le prompting et l’utilisation des APIs.
Cela représente donc la, la couche d’abstraction supérieure. Vous pouvez ensuite descendre lentement vers la reproduction d’articles scientifiques. Cela se trouve un peu au, au, au, au bas de cette pyramide d’abstraction des connaissances, si l’expression convient, mais vous comprenez ce que je veux dire. Voilà [00:18:00] quelques, quelques conseils.
Pour les chercheurs, ce sera différent. Dans ce cas, vous, vous voudrez probablement suivre la voie du doctorat. Vous devrez surtout lire et, et implémenter autant d’articles scientifiques que possible, vous familiariser avec la littérature et faire tout ce qu’il faut pour, pour devenir un véritable expert dans un domaine très, très pointu.
Prenons l’, l’exemple de la recherche. Si une personne fait un doctorat, comment peut-elle s’assurer qu’elle, qu’elle pourra finir par faire de la recherche chez DeepMind? Oui. Beaucoup de gens font un doctorat et souhaitent y travailler. Comment pouvez-vous devancer la concurrence ou simplement bâtir un meilleur parcours?
C’est un, c’est un bon point. Je, je reconnais tout à fait que suivre la voie classique, même lorsqu’il s’agit du doctorat, reste une voie assez standard, surtout ces dernières années. Maintenant, avec tout ce qui se passe, les gens hésitent peut-être davantage à faire un doctorat parce qu’il devient de plus en plus…
Le mot est peut-être mauvais, mais de moins en moins pertinent pour une proportion croissante, je pense, des, des, des [00:19:00] tâches que vous finirez par accomplir. Vous devez donc trouver une façon de vous démarquer. Il existe, il existe tout un éventail de moyens. Vous pouvez notamment créer un dépôt open source que les gens trouvent utile.
Les gens de DeepMind et d’OpenAI le verront, et vous démontrerez ainsi votre grande maîtrise du sujet. Voilà une première méthode. La deuxième consiste à écrire un blogue où, encore une fois, vous vous attaquez à un problème encore inexploré, ou à un problème existant avec une perspective complètement nouvelle. Assurez-vous de, de rédiger un article de très grande qualité.
Si les gens vous remarquent, cela devient encore une, une preuve de vos compétences. Je pense qu’un seul article de blogue, un seul excellent article, peut vous valoir ce rôle ou au moins l’occasion de postuler auprès de, de ces entreprises. Au bout du compte, vous devrez tout de même vous préparer à, à, à, à passer les entrevues. Voilà la deuxième méthode.
Dans mon cas, YouTube m’a vraiment aidé parce que je présentais des articles scientifiques très complexes. Bien avant que je [00:20:00] rejoigne l’entreprise, plusieurs personnes de DeepMind commentaient mes vidéos en disant : « Vous avez mieux expliqué cela que je ne l’aurais fait. » Pour moi, c’était une reconnaissance énorme. J’étais là, sans aucune formation dans tous ces domaines, à travailler sans relâche et à apprendre.
Puis, tout à coup, je, je, j’atteignais ce niveau de connaissances et j’obtenais aussi, aussi ces preuves de compétence. S’il existe un projet open source de l’entreprise que vous visez, allez y contribuer. C’est une excellente façon de, de vous faire remarquer. Petite parenthèse : George Hotz a récemment lancé, je crois, son entreprise Tiny Corp, et il développe le framework tinygrad.
Sa méthode de recrutement consiste essentiellement à examiner les pull requests, à repérer celles de grande qualité et, et, et à interviewer leurs auteurs. Je, je pense que c’est la nouvelle façon de faire et que je recruterai aussi ainsi pour, pour, pour mon entreprise. Une startup possède notamment le, le luxe d’obtenir beaucoup plus d’informations que pendant quatre ou [00:21:00] cinq heures d’entrevues successives avec une personne, un processus qui peut très facilement être trompé.
Alors, oui. Oui, et vous avez beaucoup d’options si vous voulez contribuer. Par exemple, si vous faites un doctorat ou occupez un emploi à temps plein, vous devez essentiellement en faire plus que votre travail à temps plein pour exceller ou devancer les autres. Vous pouvez contribuer à, à des dépôts GitHub, créer quelque chose ou tenir une chaîne YouTube comme vous l’avez fait.
Je voulais vous demander pourquoi vous avez commencé à expliquer des articles scientifiques sur YouTube, ou simplement à partager sur YouTube, plutôt que de créer directement quelque chose ou de contribuer à des projets open source. Pourquoi, pourquoi avez-vous choisi YouTube?
En fait, j’ai fait tout cela. Je, je possède quelques dépôts open source très, très populaires. L’un d’eux portait sur les graph attention networks de Petar Veličković et comptait plus de 2 000 étoiles. À l’époque, c’était énorme. Maintenant, tous ces [00:22:00] projets liés à GPT accumulent des dizaines de milliers d’étoiles en quelques jours, mais cet engouement est un peu excessif. À l’époque, oui, c’, c’était important et les gens ont remarqué tout mon travail. Et ce n’était pas mon seul projet.
J’ai aussi implémenté des projets dans tous les sous-domaines. J’apprenais l’apprentissage par renforcement, le, le traitement du langage naturel, la vision par ordinateur et, et, et des domaines plus pointus comme le transfert neuronal de style ou DeepDream. J’ai tout implémenté à partir de zéro. Cela m’a aidé à comprendre le fonctionnement de ces méthodes et à obtenir, obtenir un peu de visibilité en publiant ces réalisations.
Diriez-vous que ces projets ont été plus utiles que YouTube, ou simplement différents? Qu’est-ce qui vous a apporté le plus d’occasions?
C’est, c’est difficile à estimer. Au bout du compte, Petar Veličković est la personne qui m’a recommandé. Et, et je pense qu’il m’avait déjà remarqué lorsque je présentais ses vidéos, pardon, pas ses vidéos, ses articles scientifiques, notamment celui sur les graph attention networks. Nous avons alors commencé à discuter de façon informelle.
Et, et nous sommes aussi [00:23:00] compatriotes. Nous venons tous les deux de Serbie, ce qui nous a également rapprochés. Plus tard, je lui ai aussi présenté le projet. Il était donc très, très à l’aise de me recommander, puisqu’il me connaissait personnellement comme être humain ainsi que pour mon expertise technique.
C’est donc ainsi, ainsi que j’ai obtenu, obtenu, obtenu cette recommandation. Concrètement, il a contacté le recruteur un vendredi. Le recruteur lui a répondu 30 minutes plus tard : « Ah, bien sûr, je, je suis déjà le travail d’Aleksa depuis, depuis plusieurs mois. » Je me suis dit : « Mon Dieu. Les recruteurs de DeepMind connaissent déjà mon, mon, mon travail? »
Dès le lundi, j’ai reçu un appel : « Hé, commençons, commençons le processus d’entrevue. » Et je n’avais absolument pas commencé à me préparer. C’était donc très drôle de, de, de… Les semaines suivantes ont été très intenses. Dire cela représente probablement l’euphémisme du siècle. Et oui, c’est, c’est ainsi que les choses se sont passées pour moi.
L’absence de, de maîtrise ou de doctorat a-t-elle posé problème pour entrer chez [00:24:00] DeepMind? Avez-vous dû contourner cet obstacle d’une façon quelconque?
Non. Non. Absolument pas. Comme je l’ai dit, le rôle d’ingénieur de recherche n’exige pas de doctorat. Donc, si je postulais comme ingénieur de recherche… Cela dépend d’OpenAI, de DeepMind ou des autres entreprises.
Certaines entreprises sont toutefois très strictes à ce sujet, et je pense que DeepMind en fait partie. Ne me citez pas là-dessus. Ce n’est pas, pas la position officielle de DeepMind, mais à ma connaissance, un rôle de chercheur scientifique exige officiellement un doctorat, même si vous êtes meilleur que 70 % des titulaires d’un doctorat chez DeepMind, ce qui est difficile.
Même, même dans ce cas, sans ce diplôme officiel, je, je pense que vous ne pourriez pas devenir officiellement chercheur scientifique. Je crois donc qu’ils sont assez rigides sur ce point. OpenAI me semble beaucoup, beaucoup plus flexible et ne distingue même pas les chercheurs des ingénieurs. Vous êtes simplement membre du personnel technique, je crois. C’est donc assez différent.
Toutes les autres entreprises, comme MosaicML et les autres, imposent probablement leurs propres exigences, précises et, et différentes. Mais au bout du compte, [00:25:00] comme je le disais à propos du nombre d’heures consacrées au travail, votre parcours ne devrait pas compter. Doctorat, maîtrise ou apprentissage autonome.
Nous avons des exemples extraordinaires. Chris Olah en est un bon. Il a, je crois, abandonné son baccalauréat. Il est probablement l’un des meilleurs chercheurs au monde en interprétabilité et travaille chez Anthropic comme l’un des ingénieurs fondateurs, fondateurs. À ma connaissance. Son titre est peut-être différent, mais je pense qu’il représente un bon exemple.
Il existe, il existe aussi d’autres exemples. J’aime penser que j’en fais, j’en fais partie. Je ne possède peut-être pas ce niveau d’expertise dans, dans un sujet précis, mais je suis plus généraliste. Alors, alors oui.
Bien sûr. Chez, chez DeepMind, vous avez surtout travaillé sur Flamingo. Vous avez donc parlé de modèles vision-langage et d’apprentissage multimodal, un sujet clairement très tendance que tout, tout le monde applique ou, ou explore actuellement, comme vous avec Ortus.
La principale raison pour laquelle vous avez [00:26:00] quitté DeepMind vient probablement du fait que vous étiez rattaché à quelque chose de trop précis, je suppose. Mais vous, vous auriez pu demander à changer d’équipe ou travailler, comme vous l’avez mentionné, sur un projet menant à un article scientifique, ou sur quelque chose de plus, plus général dans un sujet précis. Hum-hum. Pourquoi, pourquoi avez-vous finalement décidé de partir et de lancer votre propre projet plutôt que d’explorer d’autres possibilités là où vous, vous étiez déjà?
Avant même mon arrivée, le compte à rebours avait déjà commencé pour moi. Peu importe la qualité de l’expérience, je savais que je ne resterais pas très longtemps.
C’était déjà une grande entreprise. DeepMind compte maintenant environ 1 600 personnes, ce qui m’a d’ailleurs surpris parce que je ne le savais pas. Il y a aussi eu la récente fusion avec Google Brain. Alors qui sait quelle taille l’entreprise atteint aujourd’hui. Ce n’est, ce n’est pas un petit environnement de startup. Pour cette raison, avant même mon arrivée, comme chez Microsoft…
Je savais qu’au bout du compte, je possédais peut-être trop d’autonomie. C’est sans doute une mauvaise expression [00:27:00], parce que beaucoup de ces gens en ont aussi énormément. Mais mon côté entrepreneurial est, est trop fort pour que j’accepte d’avoir quelqu’un au-dessus de moi, comme un gestionnaire qui me dit : « Hé, fais cette tâche, puis celle-là. »
Et, et concernant le changement d’équipe, je voulais vraiment changer et j’essayais de rejoindre une équipe qui construisait certains de ces modèles à grande échelle. C’était, c’était mon, mon, mon objectif. Mais encore une fois, c’est une énorme entreprise et ce genre de changement ne se produit pas du jour au lendemain.
Oui. Selon votre position dans l’organisation, changer d’équipe n’est pas si facile. Le processus était très pénible et, et comportait beaucoup de friction. Voilà. J’approchais déjà d’un an et demi. Je savais que même après une transition, je, je ne resterais que peu de temps et… je ne sais pas.
Pour moi, c’était donc le moment parfait. Et le jour de mon départ, je crois, un lundi, GPT-4 est sorti. C’était incroyable. Je me suis dit : d’accord, je, je, je pars au véritable sommet de, de, de l’engouement pour l’IA. [00:28:00] Enfin, cela reste à voir, je pense. Le domaine continue encore de progresser et je, je ne crois pas que cela s’arrêtera bientôt.
Diriez-vous que l’accessibilité de ces modèles, qui permet à tout le monde de, de créer de nombreuses applications incroyables, représente davantage une bénédiction? Ou rend-elle la concurrence si forte que les choses sont maintenant encore plus difficiles?
La concurrence avantage toujours les consommateurs et désavantage généralement les concurrents, non? C’est une course vers le bas, comme on dit. Je pense que le domaine du ML a perdu sa capacité à contrôler l’accès. Maintenant, un développeur logiciel ou Web possède, possède selon moi d’assez bonnes chances de concurrencer une personne très compétente en apprentissage automatique.
Si vous essayez de créer un produit et non seulement d’innover du, du côté des modèles, cette situation est à la fois stimulante et agaçante. Prenez Pieter Levels, je crois que c’est son nom. Je le prononce peut-être mal, mais [00:29:00] c’est un entrepreneur très connu qui a créé seul plusieurs entreprises. Littéralement un solopreneur, une seule personne avec peut-être quelques collaborateurs qui l’aident un peu.
Il a créé deux entreprises appelées Avatar AI, qu’il a ensuite renommée Photo AI ou quelque chose du genre, et Interior AI. Pour les deux, il a utilisé Stable Diffusion. Tout est devenu si simple qu’une personne comme lui, qui possède selon moi presque aucune, sinon aucune, connaissance ou expertise en apprentissage automatique, a pu faire le fine-tuning de Stable Diffusion et, et présenter les images aux utilisateurs dans une application Web.
Et ses revenus actuels, qu’il publie d’ailleurs très ouvertement, atteignent environ 100 000 $ par mois. Donc, donc ses, ses revenus mensuels récurrents, oui, sont de 100 000 $. Beaucoup d’entreprises soutenues par du capital de risque, y compris des startups de YC, n’atteignent jamais ce niveau. Elles, elles échouent avant.
Voilà donc une personne seule, sans connaissances en ML, [00:30:00] qui crée soudainement des choses intéressantes dans ce domaine. C’est terrifiant pour les acteurs établis qui croyaient que leur expertise en ML constituait une position défendable. Oui. Mais c’est aussi très stimulant, car n’importe qui peut maintenant construire des choses géniales.
Évidemment, si vous possédez une expertise approfondie, et je, je, j’aime croire que j’entre dans cette catégorie, il vaut beaucoup mieux vous positionner un peu plus bas dans la stack d’infrastructure plutôt que sur la couche applicative. Pour moi, il s’agit surtout d’exploration à ce stade.
J’explore et, et j’apprends. Je, je, j’ai énormément appris parce que j’ai dû tout construire : le frontend, le backend et les pipelines de données. Je termine actuellement la partie monétisation. J’ai donc dû apprendre à utiliser Paddle et tous ces webhooks. Il y a tellement d’éléments, y compris la connexion Google.
Et, et sur le plan technique, construire l’ensemble du produit est très stimulant. Mais honnêtement, je ne pense probablement pas qu’il s’agisse du meilleur niveau où je devrais livrer concurrence. [00:31:00] À cette couche de la, de la stack, vous, vous devez aller vite et, et bien connaître les technologies Web.
Vous vous retrouvez alors dans un immense bassin de concurrents, car beaucoup de gens très travaillants connaissent le Web. Ce n’est donc pas une position parfaite. Mais en descendant dans la stack, vous pouvez accomplir quelque chose comme l’équipe de MosaicML, que je trouve extraordinaire. Avec une expertise approfondie, vous pouvez créer une entreprise comme MosaicML, qui permet essentiellement d’entraîner vos propres modèles à moindre coût.
Vous profitez d’une plus grande flexibilité et vos données restent chez vous. Vous n’avez pas à les transmettre à des APIs tierces, peu importe leurs politiques de confidentialité. Il faut toujours leur accorder un, un, un, un certain degré de confiance. Ici, vous entraînez simplement le modèle de votre côté. Si vous possédez une expertise approfondie en ML, une position plus basse dans cette stack me semble donc avantageuse aujourd’hui.
De votre côté, vous aviez une expertise en apprentissage multimodal et en modèles vision-langage, ainsi qu’une grande expérience de YouTube. [00:32:00] Je suppose donc qu’Ortus représente aussi un excellent, un excellent choix compte tenu de votre expertise. Mais avant d’entrer dans les détails, pourriez-vous expliquer ce qu’est Ortus? Comment fonctionne-t-il et que fait-il?
À un niveau général, Ortus est actuellement une extension Chrome. Vous ouvrez une page YouTube et regardez une vidéo. Vous pouvez poser une question sur ce qui s’y passe, obtenir une réponse immédiate et recevoir le timestamp précis du passage pertinent dans la vidéo.
Voilà peut-être l’, l’essentiel, mais Ortus propose aussi des résumés. Il existe des résumés de l’épisode complet, des résumés par chapitre et, et beaucoup d’autres fonctionnalités. L’idée principale consiste à trouver l’information en O(1) plutôt qu’en O(n). Quand vous cherchez une information, vous devez normalement parcourir la timeline pour trouver les détails qui vous intéressent.
Ici, je pose simplement une question et j’obtiens immédiatement une réponse. C’est donc presque un moteur de recherche, même si sa portée se limite à une seule vidéo. Oui. Et, et oui, voilà ce que c’est, [00:33:00] à un niveau général.
C’est drôle, parce que j’ai l’impression qu’Ortus vise le même objectif que les Shorts. Pour un long contenu, nous essayons de trouver les meilleurs extraits d’information et de créer un Short afin de réduire la complexité de cette recherche. Vous faites essentiellement la même chose avec une simple requête textuelle, au lieu de chercher manuellement la meilleure séquence, de créer un Short et de le partager. Alors oui, je, je trouve cela vraiment génial. Le moment est excellent : les podcasts gagnent sans cesse en popularité, tout le monde en lance un et le contenu long est très populaire, ce qui n’est pas mauvais. Mais le contenu long est souvent beaucoup moins monté.
Il est beaucoup moins monté. Vous devez donc, donc le regarder et attendre que l’information arrive, même si la plupart du temps, vous voulez simplement vous détendre et profiter de la conversation. Cent pour cent. [00:34:00] Cent pour cent. Si, si vous cherchez à recueillir des idées et ce genre de choses, les podcasts n’offrent vraiment pas un bon rendement sur votre temps. Ils sont beaucoup trop longs par rapport à la quantité d’information.
C’est donc un excellent moment pour, pour créer de tels outils. Avez-vous vu… cent pour cent… avez-vous observé beaucoup de concurrence dans ce domaine? Personnellement, je, je, je n’en ai pas vu. J’ai évidemment vu certains résumés construits avec Whisper et, et d’autres outils du genre pour résumer des podcasts, mais ils ne sont, ne sont pas vraiment extraordinaires.
Mais je, je, je n’ai rien vu comme Ortus, où vous pouvez obtenir des résumés par chapitre et poser des questions. C’est, c’est vraiment génial et assez nouveau, je pense. De votre côté, puisque je suis sûr que vous, vous avez étudié le marché, avez-vous trouvé des concurrents intéressants? Comment avez-vous réussi à faire mieux ou à leur livrer concurrence?
Tout d’abord, merci pour le, pour le compliment. J’ai vu [00:35:00] beaucoup de gens créer en 30 ou 40 minutes un projet avec LangChain, puis déclarer sur Twitter : « Ah, je fais la même chose que vous. » Mais rien ne pourrait être plus loin de la réalité. Construire un véritable produit en production, à plus grande échelle et qui fonctionne mieux, est, est beaucoup plus difficile que de simplement connecter la transcription d’une vidéo, puis de l’interroger avec trois lignes de LangChain et une base de données vectorielle comme Chroma ou autre.
Dans ce sens, la concurrence est abondante, mais je n’ai vu aucun de ces projets pousser assez loin pour devenir utile à une échelle sérieuse ou offrir un véritable SLA. Nous, oui, notre produit est réellement disponible. Vous pouvez l’utiliser et, et, et, et en retirer de la valeur, je l’espère.
J’ai aussi vu certaines extensions qui font des choses semblables. ChatTube propose certainement quelque chose de très similaire, sinon identique à l’heure actuelle. [00:36:00] Mais comme je l’ai dit, nous évoluons. Pour moi, il s’agit davantage d’une exploration que, que de l’objectif final. Et, et je pense que l’extension Sider accomplit des tâches semblables sans se limiter, limiter aux formats vidéo sur YouTube.
Vous pouvez les installer pour n’importe quel blogue ou autre contenu et, et, et obtenir des fonctions de résumé et de réponse aux questions. Alors oui, les gens construisent des produits, produits semblables. Mais je n’ai vu personne se concentrer entièrement sur ce produit et, et, et accélérer.
Cherchez-vous aussi à ajouter des articles et d’autres contenus? Je, je suppose que vous travaillez avec des transcriptions. Sur le plan technique, il ne devrait donc pas être difficile de tout ajouter. Et du côté de, de l’apprentissage automatique, je suppose que le fonctionnement est assez semblable. Prévoyez-vous donc de, de les ajouter?
Pas vraiment. Pas vraiment, car cela nous disperserait dans une, dans une direction qui ne m’intéresse pas vraiment.
Comme je, comme je l’ai dit, je, je, je ne veux pas trop en révéler [00:37:00] maintenant. Je réfléchis à d’autres domaines où je pourrais bâtir une position défendable, plutôt que de, de simplement viser large. Je pense qu’il vaut beaucoup mieux se concentrer sur un vertical précis, actuellement YouTube dans notre cas, et y faire un travail extraordinaire, plutôt que de trop se disperser et d’offrir un peu de valeur partout.
Je pense qu’il vaut mieux offrir énormément de valeur dans une, dans une seule chose. Voilà, voilà, voilà mon raisonnement. Et si je veux élargir mon champ d’action, je, je préfère descendre dans la stack plutôt que de rester sur la couche applicative. Voilà comment je vois les choses.
Comment votre parcours plus technique en, en recherche et en apprentissage automatique vous a-t-il aidé à créer Ortus, comparativement à Pieter Levels, par exemple? Vous a-t-il, vous a-t-il aidé d’une façon quelconque, ou avez-vous dû tout apprendre, simplement utiliser des APIs et connecter des éléments? À quel point vous a-t-il été utile?
Oui, connaître l’apprentissage automatique m’a clairement aidé, [00:38:00] en particulier les grands modèles de langage ainsi que, que la tokenisation et ses problèmes.
Ces connaissances améliorent votre prompting. Elles vous donnent aussi l’état d’esprit nécessaire pour chercher, apprendre rapidement et trouver des idées intéressantes à essayer dans votre, dans votre système. Je pouvais par exemple parcourir LangChain et comprendre immédiatement tout ce qu’ils faisaient.
Toute mon expérience précédente m’avait appris le fonctionnement du ML, ses concepts et sa terminologie. Il m’était donc très facile de prendre une idée et, et, et de la réimplémenter de mon côté. Pour LangChain, j’ai en fait créé toute une logique personnalisée de routage et, et, et, et beaucoup d’autres éléments que je ne peux pas révéler puisque le projet n’est pas open source.
Plus tard, j’ai pu mettre des noms sur, sur certaines techniques que j’avais essentiellement réinventées de mon côté, simplement en parcourant LangChain et en comprenant : « Hé, ils appellent cela des chaînes de routage », ou peu importe. Alors, alors oui, cela m’a aidé. Voilà, voilà la version courte.
J’ai aussi dû apprendre beaucoup de nouvelles choses, particulièrement sur les extensions Chrome. [00:39:00] Construire une extension Chrome est extrêmement pénible. Google est passé de Manifest V2 à V3, et 95 % de la documentation en ligne est complètement obsolète et inutilisable. Créer une extension Chrome est vraiment, vraiment pénible.
Je, je ne le savais pas à, à l’avance. Il existe aussi de nombreux pièges. Vous avez un content script, un, un, un background script et les options. Chacun possède un accès différent aux différentes APIs. Vous devez parfois communiquer à partir du content script, l’élément que vous voyez réellement sur YouTube.
Le, le, le widget doit envoyer certaines données à un background script qui s’exécute en arrière-plan dans le navigateur. Ce script transmet ensuite d’autres informations. Il existe énormément de particularités et, et de choses que j’ai dû apprendre. Il y avait aussi le design Web, le, le, le développement Web et le backend, notamment la création d’un backend avec le framework NestJS.
J’ai eu de la chance pendant les premières semaines. Un, un, un ami m’a aidé. Aujourd’hui, je travaille seul avec ma copine, qui est extraordinaire en design de produit. Elle est designer de produit de, [00:40:00] de, de profession. Elle m’aide donc sur ce front ainsi que pour diverses autres idées. Mais oui, j’ai énormément appris et l’apprentissage automatique m’a aidé.
Génial. Je voulais vous demander quelle tâche s’est révélée beaucoup plus complexe ou difficile que vous ne l’aviez prévu. Je suppose que vous avez clairement sous-estimé l’extension Chrome.
Mais existe-t-il une tâche qui arrive en tête? Oui, oui, il y en a une. La connexion Google. Vous ne me croiriez pas. La connexion Google a été la plus pénible. Ce devrait être un simple bouton : vous cliquez, une fenêtre contextuelle s’ouvre, vous choisissez votre adresse email, vous vous connectez, oui, et c’est tout. Tout, tout à coup, vous utilisez cette plateforme dite d’identité.
C’était tellement pénible. Encore une fois, le, le, le problème venait de la complexité supplémentaire créée par son utilisation dans une extension Chrome. Je ne pouvais pas employer certaines bibliothèques React existantes. Je devais directement utiliser cette, [00:41:00] cette API Chrome avec d’autres APIs. Cela m’a pris beaucoup plus de temps que prévu.
Je pensais : « À quel point cela peut-il être difficile? Tous les sites Web et toutes les extensions Chrome au monde l’utilisent. » D’accord, peut-être un peu moins d’extensions Chrome. Mais c’était tellement difficile. Et, et c’est quelque chose que j’ai terminé la semaine dernière, donc c’était extrêmement pénible. À part cela, laissez-moi réfléchir.
Sur le plan technique, la construction du pipeline de traitement des paiements n’était pas difficile de la même façon. Il fallait surtout faire le travail, comprendre la documentation et implémenter les éléments. Avec la connexion Google, littéralement chaque extrait de code trouvé en ligne était brisé. J’ai dû fusionner cinq ou six sources différentes pour, pour obtenir quelque chose qui fonctionne.
Et je, je vais vraiment pousser cela en production. La mise à jour de lundi sera importante. La monétisation et la connexion Google feront désormais partie de l’application. Ce sera amusant. C’est une réalité que les gens sur Twitter avec LangChain ne voient certainement [00:42:00] pas ou n’abordent, n’abordent pas encore complètement.
Cent pour cent. Vous voyez seulement une connexion Google. Vous, vous, vous ignorez toute la complexité nécessaire pour faire fonctionner le produit sans problème et gérer toutes les exceptions et erreurs du, du, du Web. Tant de choses peuvent mal tourner. Vous pouvez rencontrer des problèmes de réseau ou de streaming.
OpenAI peut, peut par exemple subir une forte demande. Vous devez alors gérer ces erreurs. Cela représente beaucoup de travail d’ingénierie invisible pour la personne qui voit seulement un widget et pose des questions. C’est une, une bête qualitativement différente de la création d’un MVP pendant une fin de semaine en, en, en, en pensant qu’il s’agit de la même chose.
Exactement. À l’inverse, y a-t-il une tâche que vous pensiez difficile, mais qui s’est révélée beaucoup plus facile?
Pas vraiment. Je pense que si vous vous concentrez sur quelque chose, y consacrez du temps et des efforts, et me donnez assez de [00:43:00] temps, je vais… je vais résoudre le problème. Évidemment, dans la recherche exploratoire, il est possible de ne jamais trouver la solution.
Évidemment, on ne peut pas me confier l’AGI comme l’une de ces tâches. Mais généralement, il faut simplement travailler sans relâche et, et, et apprendre. Honnêtement, rien ne s’est révélé étonnamment difficile.
Vous, vous avez dit ne pas être nécessairement la bonne personne pour tout faire. Vous pourriez par exemple avoir besoin d’un expert du frontend et de toutes les, les, les différentes parties. Cherchez-vous déjà d’autres personnes pour vous aider?
Oui.
Alors c’est génial. Si quelqu’un souhaite, souhaite vous aider, vous avez maintenant construit toutes les, les fondations.
Mais si vous deviez recommencer, conseilleriez-vous à une personne de faire comme vous et d’essayer de tout accomplir seule, ou de commencer immédiatement avec une petite équipe aux parcours variés?
Tout dépend. Je ne me considère pas comme cette créature omnipotente [00:44:00] capable de tout faire. D’abord, mon, mon, mon, mon temps est limité. Si je travaille sur le backend, je ne fais pas de ML. Si je fais du ML, je ne travaille pas sur la connexion. Si je m’occupe de la monétisation, je ne travaille pas sur le frontend.
Je ne peux donc pas tout faire. J’apprécie, j’apprécie énormément les bonnes équipes et, et j’aime travailler avec des gens. Tous ces facteurs montrent très, très clairement que je devrais embaucher des personnes pour travailler avec moi. Par ma nature de généraliste, je ne suis le meilleur dans aucun domaine.
Je peux donc embaucher un ingénieur frontend meilleur que moi, même si je peux probablement apprendre la tâche et l’accomplir, je ne sais pas, peut-être 1,8 % plus lentement qu’un professionnel. Je suis devenu assez efficace à ce, à ce stade. Mais malgré tout, je, je ne veux pas faire ce travail.
Je veux une personne meilleure que moi au frontend. Je veux quelqu’un, quelqu’un de meilleur au backend. Puis il y a aussi tout le marketing et les discussions avec les investisseurs en capital de risque. Lorsque nous commencerons à lever des fonds, ce sera une tout autre bête. Jusqu’ici, j’ai plutôt refusé les offres [00:45:00], car je veux d’abord acquérir ma propre conviction. Mais oui, si vous pouvez trouver quelques amis et commencer à construire avec eux, faites-le.
C’est ainsi que j’ai commencé. Ne, ne vous méprenez pas, j’espère ne pas avoir donné cette impression. Comme je l’ai dit, ma copine m’a aidé dès le départ. J’avais aussi celui qui est maintenant mon ancien cofondateur, l’ami que j’ai mentionné. Mais pour des raisons personnelles et financières, il n’a pas pu continuer. Il, il travaille actuellement dans une startup qu’il ne peut pas quitter du jour au lendemain.
Alors, alors cent pour cent, à moins que vous ne sachiez pas travailler avec les autres. Mais dans ce cas, vous ne pourrez jamais bâtir une grande entreprise, selon moi. Cela inclut Pieter Levels. L’une, l’une des critiques que je lui adresserais, tout en reconnaissant que chacun possède ses propres objectifs, c’est qu’il n’est pas assez ambitieux.
Même, même dans le sens où il n’essaiera jamais de se concentrer sur une seule chose pour la rendre immense. Immense, immense. Oui. Et, et il s’oppose fortement au capital de risque. [00:46:00] Il ne reconnaît pas que ce financement peut accélérer votre croissance et vous aider à bâtir de plus grandes équipes. Jusqu’ici, il a créé plusieurs entreprises que quelques personnes suffisent à exploiter.
Et, et certaines connaissent un assez grand succès, ne vous méprenez pas. Nomad List est un site Web assez important, mais il y travaille seul depuis sept ans, avec peut-être quelques personnes qui l’aident occasionnellement comme, comme contractuels. Au bout du compte, si vous voulez passer à l’échelle, bâtir quelque chose d’immense, produire un impact mondial considérable et laisser votre marque dans l’histoire de la civilisation… Je, je commence à romancer tout cela.
Mais je pense que vous, vous devez alors bâtir de plus grandes équipes et lever des fonds, la plupart du temps. Certaines, certaines personnes peuvent financer leur croissance elles-mêmes, mais vous devez généralement accélérer. Si vos concurrents lèvent des fonds, comment allez-vous les surpasser? Oui. Voilà le point.
Vous avez dit que vous, vous vous remplaceriez par des experts du frontend et, et de tous, tous les, les domaines précis. Vous êtes généraliste et je, je [00:47:00] pense l’être aussi. C’est également pour cette raison que je suis sur YouTube et que je présente tous les, les différents articles scientifiques.
J’adore les lire, apprendre toutes sortes de choses et toucher à tout, comme vous l’avez vous-même dit. Vous embaucheriez des gens meilleurs que vous dans des domaines précis, donc des spécialistes et des experts. Mais à quel moment embaucheriez-vous un autre généraliste? Je…
Je pense qu’il s’agit d’une de ces formes de magie noire fondées sur l’intuition. S’il existait une règle heuristique simple à vous donner, tout le monde créerait des startups. J’ai, j’ai, j’ai récemment écouté un podcast où les généralistes étaient appelés des canons et tous les autres, je, je ne sais pas, des boulets de canon ou quelque chose du genre. Autrement dit, vous avez parfois besoin de leaders plus naturels et généralistes.
Mais le bon moment dépend trop de chaque entreprise et de chaque situation pour le déterminer à l’avance. Évidemment, si votre équipe compte, compte six personnes et que [00:48:00] toutes sont généralistes sans expertise particulière, ce n’est pas aussi bon qu’une équipe de six personnes expertes dans un domaine, mais généralistes partout ailleurs. C’est la, la, la classique forme en T.
Je pense que cette structure fonctionne probablement mieux. Vous voulez des gens qui vous complètent dans différents domaines. Et, et comme la startup en est à ses débuts, tout le monde, tout le monde devra tout faire. Ces personnes doivent posséder un esprit entrepreneurial et une certaine polyvalence, et ne pas être de simples rouages limités à une seule partie du système.
Sinon, lorsque tout brûle autour d’elle, vous ne pourrez pas demander à cette personne de venir éteindre les feux.
Il faut donc clairement une spécialité, mais aussi un intérêt pour, pour les autres domaines et la volonté d’en apprendre davantage, au moins pour collaborer efficacement. Cent pour cent. Vous devez vouloir apprendre, car vous devrez apprendre énormément. Tout est inconnu.
Si nous pensons au chercheur type, disons Einstein [00:49:00] ou quelqu’un du genre… Hum-hum. Nous imaginons une personne tellement plongée dans sa, sa propre recherche qu’elle ne peut même plus expliquer son travail aux autres, tellement elle maîtrise un seul sujet. Ce type d’expertise est probablement nécessaire dans, dans, dans certains domaines, mais particulièrement dans l’industrie…
Cela, cela ne peut pas fonctionner. Ou peut-être que oui, mais il faut un très bon gestionnaire ou quelque chose du genre. Je ne sais pas si… Oui. Enfin, non. Diriez-vous qu’une personne extrêmement compétente dans un domaine, qui fait un doctorat sur un sujet très précis, mais ne souhaite ni, ni apprendre autre chose ni, ni, ni travailler avec les autres, peut réussir simplement grâce à son excellence?
Cent pour cent, mais, mais pas, pas dans l’entrepreneuriat. Cette personne ne créera pas sa propre entreprise. Enfin, enfin, Larry Page et Sergey Brin étaient sans doute des experts dans leur domaine sans être vraiment doués pour autre chose.
Ils ont donc rapidement embauché Eric Schmidt pour les aider [00:50:00] comme PDG et bâtir l’entreprise. Vous, vous pouvez même réussir dans le monde des startups, même si vous ne deviendrez probablement jamais le, le PDG prototypique, comme Elon Musk ou quelqu’un du genre. Mais si vous travaillez comme contributeur individuel intégré, je pense qu’OpenAI et DeepMind sont principalement composés de ces personnes, non?
Elles excellent dans un domaine précis. Elles doivent aussi savoir communiquer, car un chercheur doit tout de même présenter son article scientifique. Mais seulement, seulement à ce niveau, pas davantage. Un bon exemple serait un gars appelé Alex Graves, je crois.
Il travaillait chez DeepMind. C’est l’un des coauteurs de l’article sur la Neural Turing Machine, ou NTM, qui était très, très intéressant. Il était IC, donc contributeur individuel. Ce n’était pas un gestionnaire et personne ne travaillait sous ses ordres. Pourtant, il se trouvait au niveau 8 chez, chez Google ou quelque chose du genre, un niveau incroyablement élevé, comparable à celui d’un vice-président.
Si vous êtes simplement une personne moyenne, comment pouvez-vous réussir dans, dans le monde des startups ou dans l’industrie? Si vous, si vous ne pouvez pas être le meilleur, puisqu’il y aura toujours quelqu’un de meilleur que vous…
Je, je suppose. Comment pouvez-vous tout de même réussir si vous ne pouvez pas devenir l’expert? La voie la plus facile consiste-t-elle à être plus généraliste, ou devriez-vous quand même essayer de, de devenir le meilleur dans un domaine, même si vous, vous n’y arrivez peut-être pas? Une voie vous semble-t-elle plus facile ou plus susceptible de mener au succès?
Oui. Quand vous dites [00:52:00] réussir, parlez-vous de bâtir une entreprise? Il s’agit d’un objectif précis à optimiser, non? Oui. Ou d’avoir une carrière réussie, avec des résultats supérieurs à la moyenne, bien sûr. Construire une entreprise est, est certainement un succès. Ou atteindre un poste plus élevé, plus élevé chez Google ou dans une, une grande entreprise.
Si vous êtes, si vous êtes moyen, vos outputs seront probablement moyens par définition, sauf si vous êtes extrêmement chanceux. Non? Alors, alors, alors vous devez vous démarquer d’une façon ou d’une autre. Quant au spectre entre une grande polyvalence et une expertise étroite, vous pouvez aussi le comparer au DFS et au BFS. Explorez-vous d’abord en profondeur ou en largeur?
Je pense que beaucoup de personnes réparties sur ce spectre ont atteint leur objectif final. Pour la création d’une startup, j’ai mentionné Larry Page et Sergey Brin, qui se trouvent peut-être à une extrémité. À l’autre, [00:53:00] je ne sais pas quel serait un bon exemple de personne extrêmement généraliste en technologie.
Il en existe beaucoup. Le secteur technologique compte probablement plus d’exemples de généralistes que de spécialistes extrêmement pointus. Et, et la même chose s’applique à la carrière des ingénieurs, cent pour cent. Des personnes très généralistes comme moi peuvent très bien progresser dans leur carrière.
Vous avez aussi des gens évidemment très spécialisés, dans les compilateurs par exemple, qui deviennent d’excellents ingénieurs. Chris, Chris Lattner serait peut-être un bon exemple d’expert exceptionnel, ou, ou, ou encore John Carmack. Ce sont des experts extraordinaires qui réussissent.
Bref, cela, cela, cela n’a pas vraiment d’importance. Votre position sur le spectre dépend de, de vos préférences personnelles. Dans tous les cas, si vous fournissez assez d’efforts et dépassez la moyenne, vous avez une chance d’y arriver. Je, je dis bien une chance, car rien n’est garanti. Le système comporte une part d’aléatoire.
[00:54:00] Même si vous êtes bon, vous pourriez échouer alors qu’une personne bien moins compétente réussit. Mais vous pouvez certainement augmenter votre, votre, votre chance. Vous pouvez, vous pouvez créer votre propre chance, comme on dit. Je suis tout à fait d’accord sur l’importance des, des efforts, mais pas sur la nécessité d’être au-dessus de la moyenne.
Je crois que même sous la moyenne, vous pouvez obtenir de bien meilleurs résultats que beaucoup de gens moyens en fournissant assez d’efforts. Bien sûr, bien sûr. Mais tout dépend alors de la définition. Cela signifie que vous êtes au-dessus de la moyenne dans votre capacité à, à fournir beaucoup plus d’efforts.
Alors, alors vous n’êtes pas sous la moyenne. Si vous êtes moyen, vous ne pouvez pas devenir le meilleur par définition, sauf avec un facteur de chance. Mais je, je pense que les efforts extrêmes sont très sous-estimés, particulièrement chez les intellectuels. Il s’agit probablement de l’un des traits les plus déterminants et du meilleur prédicteur du succès, peu importe le domaine.
Si vous êtes tenace, [00:55:00] si vous pouvez travailler de façon concentrée sur un sujet pendant 10 ans et y consacrer énormément d’efforts, votre niveau inférieur à la moyenne selon une mesure comme l’intelligence importe peu. Je pense que vous pouvez compenser beaucoup, beaucoup de choses. Mais si vous possédez cette capacité extrême à, à, à travailler ainsi, vous n’êtes clairement pas moyen. Impossible. Oui, c’est un, c’est un trait extrêmement rare. Dans ce sens…
Évidemment, si vous, si vous restez concentré et travaillez davantage que, que les autres, vous aurez essentiellement plus de chance parce que vous, oui, rencontrerez plus d’occasions. Mais c’est, c’est drôle : lorsque nous sommes jeunes ou, ou à l’école, la personne qui semble la plus intelligente et qui nous, nous impressionne le plus est celle qui étudie le moins. Cela, cela n’a aucun sens.
On a simplement l’impression que cette personne possède un talent inné. Mais [00:56:00] elle finit par ne pas assez étudier ni travailler et, et se repose sur ses capacités naturelles, ce qui ne représente clairement pas la meilleure approche. Oui.
Mais, mais cette image est peut-être encore une fois trop romancée. Vous rencontrez par exemple une personne au secondaire ou, ou pendant votre baccalauréat qui semble ne fournir aucun effort tout en obtenant d’excellentes notes. Vous oubliez qu’elle a reçu au moins 12 années d’éducation auparavant, ou le nombre correspondant dans son pays.
Et, et cette personne était peut-être extrêmement ambitieuse au primaire et au secondaire, et fournissait plus d’efforts que les autres enfants. Oui. Nous ne partons pas tous du même point et il est très difficile de tenir compte de notre parcours. Je pense que cela crée beaucoup de confusion.
Au bout du compte, le talent existe. Je ne le nie pas. Une personne de plus de deux mètres [00:57:00] réussira évidemment mieux un slam dunk qu’une personne de 160 centimètres. Je parle en centimètres. Je ne sais pas si vous utilisez… Oui, oui. Le système impérial ou… mais oui.
Oui, évidemment. Avant de terminer, je, je veux simplement revenir à Ortus. Si vous pouvez en parler, quelle est la prochaine étape? Vous avez mentionné la, la, la grande mise à jour à venir, mais quelle sera la prochaine avancée liée à l’apprentissage automatique, à la compréhension ou, ou aux vidéos elles-mêmes? Pouvez-vous nous dire ce que vous attaquerez ensuite?
Je, je dirai simplement que l’entraînement de modèles et, et, et, et le travail deep tech me passionnent. Certains problèmes rencontrés en construisant Ortus m’ont inspiré à potentiellement lancer quelque chose de plus. Alors oui, je reste aussi, aussi, aussi vague que possible, mais je peux au moins dire que, que je me dirige davantage vers la deep [00:58:00] tech.
Génial. J’ai hâte de voir cela. Vous avez dit vouloir rester dans la vidéo, et je sais que vous aimez les vidéos et la création de contenu en général. Alors comment, comment pensez-vous que l’IA transformera les vidéos et la création de contenu au cours des prochaines années? Observerons-nous une grande différence ou continuerons-nous d’écouter des podcasts et de regarder des Shorts et TikTok?
Tout change clairement, et certaines entreprises travaillent déjà dans ces domaines. Un bon exemple serait Descript, je crois. Oui, Descript. Ils construisent essentiellement un logiciel de montage vidéo conçu d’abord autour de l’IA. Oui.
Cet outil vous permet d’accomplir certaines tâches. Supposons par exemple que nous fassions une erreur en parlant maintenant. En postproduction, l’outil transcrit automatiquement votre discours, ce que les logiciels de montage classiques n’offrent généralement pas. Vous pouvez alors modifier la, la partie textuelle de votre vidéo, puis l’outil synthétise [00:59:00] votre voix.
Vous, vous devez simplement, comment dire, enregistrer votre voix au préalable. Vous pouvez ensuite littéralement modifier des éléments sans devoir les reprendre. Historiquement, il fallait refaire la prise, non? Personnellement, je, je suis généralement très paresseux et je manque de temps, alors je coupe simplement certains passages ou, ou les retire.
Mais c’, c’est très puissant. Voilà un exemple de ce que les gens créent. Je pense que les avancées toucheront autant le montage vidéo que la stylisation. Regardez ce qui se passe maintenant avec les images. L’exemple le, le, le, le plus récent est peut-être DragGAN, ce GAN qui vous permet simplement de déplacer des points dans une image pour la modifier.
Je pense que ce type de, de, de puissante capacité de montage arrivera clairement dans la vidéo. Ce n’est qu’une question de temps. Et oui, cela changera certainement beaucoup, beaucoup de choses.
Pensez-vous que le contenu vidéo généré arrivera bientôt? Nous voyons beaucoup [01:00:00] d’images générées, mais elles ne sont pas vraiment très utilisées. Dans les présentations, les publicités ou ailleurs, lorsqu’elles apparaissent, c’est souvent parce que les créateurs voulaient utiliser l’IA et précisent que le contenu est généré. Je, je n’ai pas l’impression qu’elles sont utilisées pour leur qualité intrinsèque. Pensez-vous que les vidéos deviendront bonnes au cours des prochaines années, ou faudra-t-il extrêmement longtemps? Quand pourrons-nous utiliser l’IA pour créer des vidéos et produire du contenu, le, le type de contenu le plus difficile à générer avec l’IA?
C’est une question difficile. Une réponse simple consisterait à dire que la vidéo se trouve aujourd’hui au même stade que les images avec DCGAN en 2015. Les résultats ne sont pas encore extraordinaires, mais vous savez qu’après [01:01:00] quelques années d’efforts, de recherche et d’ingénierie, nous y arriverons.
Cela dit, les vidéos demandent évidemment beaucoup plus de données et de traitement. Vous, vous avez besoin de beaucoup plus de FLOPs. Je ne pense pas que le, le, le matériel soit encore prêt, surtout pour des vidéos de cinq minutes. Peut-être pour des Shorts très courts, comme des GIFs de cinq, oui, oui, cinq secondes, ou des vidéos de dix secondes, voire jusqu’à 32 secondes.
Je pense que nous observerons probablement beaucoup de progrès au cours de la prochaine année, des deux ou trois prochaines années. Pour les formats plus longs, comme cinq minutes ou, ou davantage, le matériel doit clairement rattraper son retard. À l’heure actuelle, le coût économique me semble prohibitif.
Cela dit, prenez tout ce que je dis avec un grain de sel. Je ne suis pas vraiment les tout derniers articles scientifiques de ce sous-domaine, même si je, je remarque les grandes, grandes avancées. Pour cette raison, je suis assez sûr, je, je, je suis assez confiant que mes réponses [01:02:00] sont globalement justes.
Oui. Nous observons une tendance vers les podcasts et les émissions vraiment centrées sur l’humain. Les podcasts offrent beaucoup de contenu audio non monté, et c’est ainsi que nous voulons passer notre temps : écouter et profiter du contenu. Rien n’a besoin d’être parfaitement monté ni, ni parfait.
Nous voulons simplement des discussions humaines. Je, je me demande donc s’il vaut vraiment la peine de consacrer autant d’efforts au montage vidéo. Je, je, je, je vois l’utilité de Descript, par exemple, pour corriger l’audio et améliorer le contenu. Mais voulons-nous vraiment générer du contenu à consommer? Finirons-nous plutôt par générer du contenu informatif avec l’IA, puis utiliser Ortus pour le résumer [01:03:00], sans jamais le consommer? En gros, l’IA le créerait et l’IA l’ingérerait.
Voyez-vous une utilité au contenu vidéo généré? Oui, oui, absolument, surtout pour les créatifs et les designers. Il existe une forte demande économique pour produire de tels extraits, non? Toute une industrie existe pour, pour ce type de contenu. Je ne pense pas qu’il soit incompatible avec les podcasts longs.
Je pense que les longs formats resteront probablement humains dans un avenir prévisible. Les vidéos courtes seront sans doute de plus en plus générées par l’IA, surtout si votre objectif consiste à créer une publicité personnalisée dont le, dont le seul but est d’augmenter le taux de conversion de votre entreprise.
Dans ce contexte, le contenu vidéo généré représente probablement une bien meilleure solution. Il deviendra sans doute [01:04:00] meilleur que celui des humains, parce que vous pouvez définir l’objectif de maximiser votre taux de conversion et entraîner votre réseau neuronal avec une forme de RLHF ou une méthode dérivée d’alignement.
Pour, pour produire le, le, le type de courte vidéo le plus attrayant. Mais pour les formats longs et humains, nous restons au bout du compte les meilleurs pour être humains, et je ne pense pas que cela changera. Quoique je puisse me tromper, qui sait? Les réseaux neuronaux imitent très bien les humains et, et, et le jeu de l’imitation n’est pas si différent de ce que nous sommes déjà.
Enfin, ce débat existe depuis toujours. Mais oui, je, je pense qu’il y a, il y a de la place pour les deux et que nous continuerons de coexister avec, avec les machines, avec nos suzerains de l’IA comme on dit.
J’ai aussi vu une étude selon laquelle, pour, pour la beauté du visage, plus vous êtes moyen, plus vous êtes beau. Par exemple, si vos yeux sont parfaitement centrés [01:05:00] et votre nez, est parfaitement placé. Une IA représente essentiellement une moyenne, une population. Elle pourrait donc mieux imiter les humains qu’un seul individu.
Votre remarque sur le visage humain est intéressante, intéressante. Vous connaissez probablement le site This Person Does Not Exist. Je ne sais pas s’il fonctionne encore, mais les visages humains générés semblent généralement très beaux. Du moins, du moins lorsqu’un visage de femme ou autre est correctement généré. Maintenant que vous dites qu’il s’agit d’une moyenne, cela semble logique, non?
Tous ces visages assez génériques de belles femmes et, et, et de beaux hommes deviennent logiques compte tenu de la nature statistique de, de l’entraînement de ces systèmes. Oui.
Mais je suppose que le modèle est aussi entraîné sur le dataset de célébrités, dont j’oublie le nom. Celebrity quelque chose. Alors oui, oui, oui, il [01:06:00] favorise la, la beauté. J’ai une dernière question qui n’a aucun rapport avec notre discussion. Vous avez dit toujours essayer d’apprendre et de, de, de maximiser votre productivité. Vous aimez le sport, la santé et, et, et les façons d’améliorer l’apprentissage.
Je me demande donc si vous avez fait une découverte récente, lu un, un livre ou trouvé quelque chose qui pourrait aider les auditeurs à améliorer leur vie, que ce soit leur santé ou, ou simplement l’efficacité de leur apprentissage.
Honnêtement, aujourd’hui, je consomme la plupart de mes informations par l’intermédiaire de podcasts. Peut-être aussi de blogues, qui offrent des versions condensées. Je n’ai donc pas vraiment de livre à recommander. Je conseillerais clairement le podcast d’Andrew Huberman à toute personne intéressée par les astuces de vie, l’optimisation, le sommeil, la nutrition, [01:07:00] les suppléments et tout le reste. Pour moi, je, je pense que l’essentiel revient encore une fois à la ténacité. Créez un plan, une structure quotidienne, puis essayez de la maintenir pendant plusieurs mois ou plusieurs années.
Vous apprendrez sans aucun doute énormément en chemin. Vous ajusterez vos habitudes et vous, vous évoluerez. Au réveil, je vais boire ce verre d’eau avec peut-être une capsule d’acides gras oméga-3, puis je vais, je vais maintenir cette habitude.
Après trois mois, cela devient une seconde nature. Vous pouvez aussi, comme moi, programmer des alarmes sur votre téléphone. Oui. Elles vous rappellent d’accomplir certaines tâches. Vous pouvez ensuite introduire une deuxième habitude. Par exemple : d’accord, maintenant, chaque jour ou, ou tous les deux jours, selon mon programme, je vais aller courir.
Pendant 15, 20 ou 30 minutes. Peu importe votre niveau d’occupation, tout le monde possède 15, 20 ou 30 minutes pour faire de l’exercice [01:08:00] physique. Tout le reste n’est qu’une excuse. Vous vous mentez simplement à vous-même, évidemment. Ensuite, vous, vous, vous, vous maintenez cette habitude pendant trois ou six mois, ou peu importe, puis vous avancez vers l’avenir.
Si vous commencez jeune, dans cinq ou dix ans, vous aurez développé tellement d’habitudes que les gens vous prendront pour une sorte de prodige. En réalité, ce processus lent et pénible aura demandé des années et des années. C’est ce qui m’est arrivé. J’ai commencé vers 12 ans et j’en ai maintenant 29.
J’ai commencé à suivre ce type de programme très jeune. Cela représente, cela représente 17 années d’exploration et de constance. Et je ne me suis jamais vraiment arrêté. Ma, ma plus longue pause d’entraînement physique a peut-être duré trois semaines sur une période d’environ 17 ans. C’était ma plus longue période sans exercice. Vous accumulez donc énormément de connaissances.
Cela prend du temps. Oui.
Avez-vous lu ou écouté « Atomic Habits »?
[01:09:00] Je connais « Atomic Habits » et j’applique probablement déjà tout ce que le livre explique. Oui. Mais je ne l’ai jamais lu. J’en écouterai peut-être un résumé vidéo. C’est généralement ce que j’aime faire avec ces livres. Je, je manque vraiment de temps.
Il y a trop de livres. Vous regardez simplement un résumé de cinq ou six minutes. Si je constate que le contenu correspond essentiellement à ce que je sais déjà, je me dis que je n’ai pas le temps de lire un autre livre. Mais les, les, les livres audio sont vraiment extraordinaires pour moi. Ce sont simplement des podcasts. Je, je les écoute en m’entraînant, en courant, en, en faisant du vélo ou autre chose.
De mon côté, je, je préfère les livres audio aux podcasts, même si j’écoute aussi beaucoup de podcasts. Je pense qu’« Atomic Habits » est excellent pour, pour apprendre à créer des habitudes comme vous l’avez décrit. Par exemple, si vous essayez de devenir plus actif et de courir, ne commencez pas en vous disant : « Je dois courir deux fois par semaine pendant 30 minutes. »
Essayez plutôt, chaque jour, de mettre vos chaussures et de sortir. Faites, faites [01:10:00] seulement cela. Si vous n’avez pas envie de courir, rentrez chez vous, c’est tout. En commençant par cette étape, mettre vos chaussures et, et sortir courir devient plus facile. Une fois dehors, vous, vous vous direz souvent : « D’accord, peu importe. »
Je, je vais simplement courir. Je ne vais pas rentrer tout de suite. Alors oui, il est utile de réduire la, la, la première étape nécessaire à la création d’une habitude. Ne visez pas immédiatement l’habitude idéale. Commencez, commencez lentement et facilement. Oui.
Vous avez aussi mentionné un autre excellent principe : lorsqu’on veut créer une habitude, il est beaucoup plus facile de la rattacher à une autre. Prenons votre, votre exemple du verre d’eau. Vous pouvez commencer par le boire chaque matin au réveil, puis ajouter vos oméga-3, ensuite votre calcium ou un autre supplément que, que vous prenez au [01:11:00] début de la journée.
Excellent point. C’est une leçon que j’ai, j’ai, j’ai apprise naturellement au fil de ma vie, et c’, c’est l’une de mes meilleures habitudes. Même avec seulement 15 ou 20 minutes de libres, j’ouvre un article scientifique ou je lance un podcast. Ce n’est probablement pas pareil pour tout le monde, mais je peux entrer extrêmement vite en mode concentration.
Je, je n’ai besoin que de 30 secondes. Bien sûr, il existe encore un spectre. Après 30 minutes, j’atteindrai peut-être un état de flow plus profond, mais je peux déjà utiliser pleinement 15 minutes au lieu d’attendre le créneau parfait. Oui. L’occasion parfaite où j’aurai enfin quatre heures de libres.
Oui. Puis ces quatre heures arrivent et vous vous dites : « Mon Dieu, ces quatre heures semblent intimidantes. Je ne commencerai pas. » La plupart des gens continuent simplement à procrastiner. Oui. Ils se disent : « Je n’ai jamais le temps. Je travaille à temps plein », et cetera, et cetera. Puis la fin de semaine arrive et vous essayez de vous [01:12:00] occuper, ce qui revient essentiellement à procrastiner à grande échelle.
Oui. Pour des gens comme vous et moi, vous, vous et moi, qui lançons par exemple une chaîne YouTube et d’autres projets pendant un emploi chez Microsoft, la difficulté vient du travail à temps plein. Vous avez une occupation de, de huit heures dans votre vie et devez remplir les petits créneaux de 15 ou 30 minutes avec des tâches qui produisent réellement quelque chose.
Nous y arrivons, mais je, je pense que beaucoup de gens trouvent cela difficile. Ma, ma copine, par exemple, dit souvent : « Je, je n’ai que 20 minutes. Je ne peux pas faire cela. » Ou : « Il n’y a, il n’y a pas assez de temps. » Avez-vous une recommandation?
Est-ce génétique? Comment, comment pouvez-vous [01:13:00] contourner cela? Oui. Oui. D’abord, c’est difficile. Vraiment difficile. Tout découle de l’état d’esprit. Je sais que cela semble cliché, mais il faut ressentir une urgence. Personnellement, je, je, je, je ressens cette urgence toute la journée, honnêtement.
Si je ne travaille pas et ne me sens pas productif, c’est nul. Je ne me sens pas bien et je n’ai pas l’impression de récolter à long terme tous les bénéfices des intérêts composés du temps investi. Cette urgence fait monter dans mon corps une vigilance qui ressemble presque, sans être de la panique, à un besoin d’aller accomplir quelque chose. Je, je dois faire quelque chose de productif.
Évidemment, je sais aussi comment, comment, comment me détendre. Cette compétence s’apprend. Lorsque vous devenez très productif, vous pouvez facilement le devenir trop et, et vous rapprocher de l’épuisement, parfois jusqu’à l’atteindre. Vous devez donc aussi apprendre à vous détendre et à passer [01:14:00] d’un mode à l’autre.
La plupart des gens passent très facilement en mode détente. Mais après avoir développé le muscle nécessaire pour, pour, pour passer en mode alerte, vous devez aussi développer celui qui vous ramène du mode alerte au, au mode détente. Cela a du sens. Oui. Il faut posséder une grande tolérance à la douleur.
Parfois, la douleur devient littéralement physique. Vous pouvez la ressentir dans votre plexus solaire, je crois, dans cette partie du corps. Vous ressentez réellement une douleur et pensez : « Mon Dieu, je ne veux pas faire cela. Je préférerais sortir, m’allonger sur mon lit ou dormir. » Mais vous continuez.
À cet égard, je pense que cela ressemble beaucoup à l’entraînement physique. Bien sûr que c’est difficile, vos muscles brûlent. Vous préféreriez probablement laisser tomber la barre de vos épaules sur, sur le sol, mais vous continuez vos squats ou l’exercice en cours. Je, j’ai beaucoup appris sur cette capacité à persévérer grâce à ma routine de callisthénie et, et d’exercice physique, que je développe depuis l’âge de 12 ans environ.
Oui. Voilà. Il n’existe pas de [01:15:00] pilule magique. Vous, vous devez persévérer, puis les choses deviennent plus faciles avec le temps. Clairement plus faciles. Oui. Tout repose sur la douleur, et je pense que l’entraînement physique aide vraiment dans tous les domaines. De, de mon côté, au secondaire, je jouais simplement à des jeux vidéo sans vraiment étudier.
Quelques années après mon entrée à l’université, j’ai commencé à m’entraîner et je me suis senti beaucoup mieux. Puis j’ai essayé, essayé de fournir un peu plus d’efforts dans mes études, j’ai créé la chaîne YouTube et tout le reste. Tout a commencé avec l’entraînement. Je pense que c’est, c’est vraiment nécessaire dans la vie de tout le monde.
Oui. Pour beaucoup de gens, cela peut lancer le mouvement. Vous, vous, vous avez besoin d’énergie, non? L’aspect physique représente généralement la partie la plus facile à améliorer. Avec plus d’énergie physique, vous aurez probablement, mais pas, pas nécessairement, plus d’énergie pour le travail intellectuel.
Je pense que cela représente encore une [01:16:00] étape différente. La plupart des gens ne passent jamais de l’une à l’autre. Ils n’apprennent pas à canaliser le, le même type d’énergie dans leurs projets intellectuels et restent dans une activité plus physique. Mais oui, je suis cent pour cent d’accord avec, avec vous.
Oui. Cela ressemble au mal-être ou en partie à la dépression. Sans activité physique, vous finissez aussi par manquer d’activité mentale. Cela, cela crée simplement un cercle vicieux. Si vous, si vous améliorez un élément, il devrait aider tous les autres. Et tout cela se manifeste aussi dans la santé en général.
Je suppose donc que la forme physique produit le même effet. Elle vous met aussi en forme mentalement, prêt à, oui, relever de nouveaux défis, réfléchir, faire du brainstorming ou autre chose. Tout est, est vraiment lié.
Une petite remarque. Je, je, je ne pense vraiment pas qu’il s’agisse d’une condition nécessaire. Il existe [01:17:00] beaucoup d’entrepreneurs avec un surplus de poids. Oui, clairement pas en forme physique. Reid Hoffman représente probablement un bon exemple, l’, l’, l’, l’ancien fondateur, enfin le fondateur de LinkedIn. Et Elon Musk ne semble clairement pas prendre énormément soin de son, son corps.
Bon, récemment, il y a eu toute cette histoire entre Zuckerberg et, et Elon. Ils se font un peu concurrence ou quelque chose du genre. Mais historiquement, je pense qu’il, il s’entraînait très peu, voire pas du tout. Je serais très curieux de connaître sa routine, s’il en avait vraiment une. Je pense donc que vous pouvez tout de même réussir.
Oui. Si vous vous concentrez uniquement sur l’intellect, beaucoup de gens y arrivent. Et, et c’est justement l’image mentale stéréotypée des chercheurs ou des travailleurs intellectuels : une tête posée sur un corps qui sert presque seulement de véhicule pour la transporter du point A au point B.
Alors, oui. Oui. Mais je dirais que [01:18:00] sans activité physique, ils, ils sont peut-être beaucoup plus sujets à l’épuisement. Je ne sais pas s’il existe des études à ce sujet. Je, je, je trouve simplement beaucoup plus sain d’être en bonne santé globalement. Mais oui. Cent pour cent. Beaucoup de gens priorisent un aspect ou l’autre.
Et je pense que les deux sont tout aussi importants. Je, je veux inviter tout le monde à essayer ortusbuddy.ai sur de nombreuses chaînes YouTube. Elles ne sont pas toutes disponibles maintenant, mais je crois que vous les annoncez sur LinkedIn et ailleurs. Oui. Et lundi, beaucoup, beaucoup plus de chaînes seront ajoutées.
Génial. Je sais que vous proposez déjà Lex Fridman et Huberman. Si, si vous, l’auditeur, ne connaissez pas Huberman, vous pouvez utiliser Ortus pour résumer certains de ses épisodes. Ses podcasts sont vraiment longs, mais extrêmement intéressants. Je recommande clairement Ortus, mais aussi l’écoute de [01:19:00] Huberman. J’ajouterais le podcast de Tim Ferriss, si vous ne l’avez pas encore ajouté à Ortus. Je le trouve également très utile et intéressant.
Oui. J’ai de nombreuses chaînes en tête. Nous, nous essayons aussi de privilégier la qualité, alors nous ne nous développons pas aussi vite. Mais oui, Tim Ferriss se trouve clairement sur, sur la liste. Génial. Tout comme votre chaîne. Merci beaucoup. J’ai hâte de voir et d’essayer cela.
Oui. Merci. Merci beaucoup d’avoir pris le temps. Merci d’avoir partagé toutes vos réflexions et, simplement, votre vie en général. C’était vraiment génial de discuter avec vous. Alors oui, merci beaucoup.
Merci pour, pour l’invitation, Louis. Ce fut un plaisir. [01:20:00]
FAQ
De quoi parle cet épisode du podcast avec Aleksa Gordić?
Il retrace son parcours d’apprentissage autonome, son travail pratique en IA, son passage chez DeepMind et sa décision de partir pour créer sa propre startup.
Comment Aleksa a-t-il acquis de l’expérience pratique en dehors des cours traditionnels?
Il a participé à des compétitions, des hackathons et des projets de science des données pour transformer la théorie en travail qu’il pouvait tester, expliquer et améliorer.
Pourquoi la rédaction d’un blogue technique peut-elle aider une carrière en IA?
Un excellent article démontre votre compréhension, votre capacité à communiquer et votre point de vue distinct sur un problème, au lieu de simplement énumérer des outils ou des diplômes.
Qu’est-ce que la création d’un produit complet lui a appris?
Travailler sur le frontend, le backend et les pipelines de données lui a révélé les liens d’ingénierie qu’un exercice au périmètre étroit peut cacher.
Pourquoi la conversation aborde-t-elle l’entraînement physique?
L’épisode relie l’entraînement régulier au fait de se sentir mieux et de maintenir l’énergie nécessaire à un travail technique et entrepreneurial exigeant.
À quoi ressemblait le travail d’Aleksa comme ingénieur de recherche chez DeepMind?
Les grands projets multimodaux combinaient la recherche à beaucoup d’ingénierie, et les spécialistes prenaient souvent en charge une composante sans comprendre chaque partie du système.
Faut-il une maîtrise ou un doctorat pour travailler chez DeepMind?
Pas pour tous les rôles. Aleksa a démontré ses compétences grâce à du travail pratique, des explications techniques publiques et un portfolio visible, sans terminer de diplôme avancé.
Comment une personne autodidacte devrait-elle se préparer à un rôle d’ingénieur de recherche?
Choisissez d’abord le rôle visé, bâtissez les bases nécessaires, réimplémentez des articles scientifiques pertinents et publiez du travail qui montre votre façon de réfléchir.
Que faisait l’extension Chrome Ortus?
Elle permettait de poser des questions sur une vidéo YouTube, d’accéder au timestamp correspondant et de consulter des résumés de l’épisode ou de ses chapitres.
Qu’est-ce qu’Aleksa a sous-estimé en transformant une démo d’IA en produit?
La complexité de l’architecture d’une extension Chrome, de la connexion Google, du travail Web et backend ainsi que du pipeline de paiement l’a surpris. Ces détails du produit ont demandé beaucoup de travail au-delà de la démo du modèle de langage.