Joignez-vous à nous cette semaine pour une conversation fascinante dans le balado What’s AI, où Yotam Azriel, cofondateur de TensorLeap, nous parle de son parcours fascinant, de ses réflexions et de sa vision de l’avenir de l’IA explicable. Découvrez ce que la passion, la curiosité et la concentration peuvent accomplir ! Oui, j’ai volontairement omis de parler d’école ou d’université, car Yotam est un scientifique des données accompli… sans aucun diplôme universitaire officiel !
Voici quelques idées tirées de l’épisode de cette semaine avant que vous vous engagiez dans une discussion d’une heure bourrée d’information…
Même s’il n’a pas suivi un parcours universitaire traditionnel, Yotam Azriel s’est lancé très jeune dans une aventure scientifique, explorant des domaines fascinants comme les champs magnétiques en physique, la recharge sans fil et l’IA. Ces expériences variées ont façonné ses connaissances et l’ont préparé à ses projets entrepreneuriaux.
Ce qui distingue Yotam, c’est sa façon d’apprendre : l’expérience pratique ! En se plongeant dans des domaines qu’il ne connaît pas, avec des attentes, des objectifs et des échéances clairs, il acquiert des compétences essentielles tout en restant fermement concentré sur ses objectifs. Cette méthode offre une solution accessible et efficace aux autodidactes comme vous (si vous lisez ceci !).
Nous plongeons dans l’univers de la startup d’IA TensorLeap : une plateforme d’explicabilité appliquée qui donne plus de pouvoir aux scientifiques des données et aux développeurs travaillant avec des modèles d’IA. En s’attaquant au défi de comprendre les comportements complexes de l’IA, TensorLeap transforme le paysage de l’IA explicable, un nouveau domaine passionnant dans lequel il reste beaucoup à découvrir.
Approfondissez votre compréhension de l’IA explicable, dont l’objectif est de clarifier la prise de décision pour les utilisateurs et d’employer des techniques mathématiques pour comprendre les réseaux neuronaux. TensorLeap se concentre sur le deuxième volet et fournit de précieuses informations sur les systèmes d’IA.
Vous voulez entrer dans le domaine de l’IA ? Le conseil de Yotam Azriel est de poursuivre quelque chose d’appliqué et de concret ! En vous donnant des objectifs clairs qui produisent des résultats dans le monde réel, vous trouverez la motivation nécessaire pour apprendre et vous épanouir dans le monde passionnant de l’intelligence artificielle.
Ne manquez pas cet épisode captivant du balado, où Yotam Azriel est mon invité spécial. Je suis votre animateur, Louis-François Bouchard, pour le balado What’s AI. Écoutez-nous sur Apple Podcasts, Spotify ou YouTube, et approfondissez vos connaissances sur l’IA explicable !
Voici les questions et les codes temporels pour suivre la conversation ou passer directement à celle qui vous intéresse le plus…
00:26 Qui êtes-vous et quel est votre parcours ? 04:39 Et comment avez-vous trouvé cet emploi ? 06:14 Que recommanderiez-vous à une personne issue d’un autre domaine qui veut se lancer en IA ? 08:23 Recommanderiez-vous donc d’avoir une forme de motivation pour apprendre ? 10:05 Pourquoi supposez-vous que le milieu universitaire ne vous convient pas si vous aimez écrire et lire des articles scientifiques ? 15:00 Qu’est-ce que TensorLeap et qu’y faites-vous ? 21:28 Qu’est-ce que l’IA explicable et pouvez-vous donner un exemple de technique ? 27:35 Pourriez-vous donner un exemple de la façon dont une technique d’IA explicable pourrait aider à améliorer ou à comprendre le modèle SAM ? 31:39 La même technique d’IA explicable fonctionnerait-elle avec différentes architectures ? 36:30 Pouvons-nous faire quelque chose pour mieux comprendre les résultats du modèle lorsque nous travaillons avec des modèles préentraînés ? 40:20 Quelles notions de base une personne qui découvre le domaine doit-elle connaître pour se lancer en IA explicable et l’utiliser afin de mieux comprendre son modèle et ses résultats ? 42:48 Toute personne qui crée des modèles d’IA devrait-elle aussi connaître l’explicabilité et être capable de comprendre les décisions de ses modèles ? 45:21 Pour savoir si l’explication du modèle est juste ou non, faut-il un expert du domaine concerné ? 52:20 Existe-t-il une façon de mieux comprendre les modèles utilisés par des API, leurs décisions et les raisons de leurs réponses ? 56:15 L’objectif ultime de l’IA explicable est-il de faire tout ce qui est possible pour comprendre le modèle d’IA ? 58:50 Avez-vous étudié les neurosciences et essayé d’appliquer certaines de leurs idées aux réseaux artificiels, et vice versa ? 01:01:20 Comment voyez-vous le domaine de l’IA explicable dans 5 ans ? 01:03:27 Quels sont les risques possibles de l’IA explicable ? 01:04:56 Qui devrait utiliser TensorLeap et pourquoi ?
Transcription audio
Voici une entrevue avec Yotam Azriel, un de mes amis et le cofondateur de TensorLeap, une entreprise spécialisée dans l’explicabilité en IA. C’est aussi l’objectif de cette entrevue. Nous parlons de l’IA explicable, de ce que c’est, de son fonctionnement et de la façon de s’y prendre. J’espère que vous aimerez l’entrevue. Quel est votre parcours universitaire et votre parcours en dehors du milieu universitaire ?
Je n’ai absolument aucun parcours universitaire. J’ai, j’ai commencé à travailler un peu de nulle part. J’ai, j’ai, j’ai fait de la recherche au sein du personnel d’une université. J’ai commencé ma vie scientifique et professionnelle très tôt. J’ai commencé à travailler dans des entreprises de TI dès l’âge de 16 ans pour mener des recherches dans différents endroits. J’ai donc commencé en, en physique.
Principalement dans ce département. J’ai étudié les champs magnétiques et les matériaux ferromagnétiques, la façon dont un champ magnétique se, se déplace et la façon d’améliorer la transformation de, de l’énergie. J’ai aussi travaillé sur un brevet avec, avec quelques chercheurs. J’ai reçu, euh, un prix du président israélien pour l’une de mes recherches lorsque j’avais environ 16 ans.
Puis une entreprise m’a trouvé, m’a appelé et je l’ai rejointe. Elle s’appelait Paloma. Nous travaillions sur des technologies de recharge sans fil. J’avais une petite entreprise à l’époque. J’ai amassé un peu d’argent et essayé de travailler sur une sorte de transformateur neuronal. Et, et ensuite, je me suis joint à l’armée israélienne dans, dans le renseignement. J’ai donc, j’ai développé certaines techniques pour détecter des choses.
Et, et à partir de là, je suis passé à la recherche nucléaire, au Centre de recherche nucléaire, qui est… un centre de recherche en Israël. Et, et je pense que, que c’est là que j’ai eu une conversation avec un physicien un peu fou qui est venu me voir. J’étais certain que je, je voulais devenir un grand physicien. Je pensais à Bohr, Einstein et Schrödinger.
Puis ce gars est venu me voir et m’a dit : « Non, il n’y a plus et il n’y aura plus jamais de grand physicien. Ces gens-là sont… » Et que ce sont, ce sont des milliers de personnes qui travaillent sur une théorie très complexe et, et très complète, où chacun modifie une toute petite partie de cette immense théorie. Alors vous ne serez pas physicien. Mais, soit dit en passant, ce domaine des algorithmes biologiques capables d’apprendre semble sérieux et vous devriez vous y diriger.
Alors, alors j’ai commencé à me concentrer surtout sur l’IA à cette époque et… Et j’ai tout simplement compris que ce serait la, la voie de ma vie. Je ne suis donc jamais, jamais allé à l’université pour, pour obtenir quelque, quelque diplôme que ce soit. Mais au cours de ma vie professionnelle, j’ai acquis beaucoup d’expérience avec de nombreux outils qui m’ont permis de, de mener des recherches très, très avancées.
Je suis donc très pratique. Je pense que je, je me décris peut-être comme un développeur et scientifique des données. Je ne sais pas. J’ai, j’ai fait beaucoup de choses au cours des 12 dernières années. J’ai fait de la programmation en C et en C++, des algorithmes, de la modélisation, des véhicules autonomes, du trading algorithmique, de la gestion infonuagique et, et différentes sortes de choses. Et pour chacune d’elles, vous savez, j’ai choisi chaque poste de ma vie afin de devenir…
La personne que je devais être pour ouvrir une entreprise. J’avais en quelque sorte une vision de ce que je voulais faire et je savais que je devais, devais comprendre une grande partie de la stack afin de savoir ce qui se passe réellement. Je suis peut-être un maniaque du contrôle, d’une certaine façon. J’ai donc choisi très précisément et très, très intentionnellement des emplois précis qui me permettraient, me permettraient d’acquérir ces, ces outils, soit dit en passant.
Et, et c’est ma façon, ma façon d’apprendre. Si je veux étudier quelque chose de nouveau, je trouve un emploi dans, dans ce domaine.
Et comment trouvez-vous cet emploi alors que vous ne connaissez encore presque rien au domaine
en question ? Je ne sais pas. Je, je pense avoir quelque chose, quelque chose de convaincant et de persuasif pendant les entrevues d’emploi. Je ne sais pas pourquoi les gens croient en moi.
Je ne l’ai jamais compris, mais j’obtiens constamment des emplois sans aucune expérience dans le domaine concerné. J’ai, j’ai obtenu mon premier emploi en programmation C++ pour des algorithmes évolutionnaires très précis et très complexes servant à détecter et à suivre des milliers et des milliers de capteurs, sans avoir écrit une seule ligne de C++. Mais je les ai simplement convaincus que je pouvais apprendre. J’ai appris en deux semaines et je l’ai fait.
Et je l’ai bien fait. Cela fonctionnait très bien. Même chose ensuite dans le trading algorithmique. Et pour les véhicules autonomes, je n’avais jamais travaillé avec un réseau neuronal auparavant. Enfin, pas pour la vision. J’avais créé quelques réseaux neuronaux vers 2014 pour des données précises. Mais oui, vous vous lancez et les gens vous font confiance. C’est très intéressant.
C’est très, c’est très différent. On ne peut pas, on ne peut pas le prévoir, n’est-ce pas ? On fait simplement confiance et ça fonctionne. Oui.
Et comment, vous savez, apprenez-vous ces nouveaux, ces nouveaux domaines ? Par exemple, je sais que beaucoup de gens veulent effectuer une trans, transition vers l’intelligence artificielle à cause de ChatGPT et d’autres modèles intéressants, et vous avez appris par vous-même.
Je suppose donc que vous avez certainement utilisé des ressources en ligne, des livres ou autre chose. Auriez-vous une recommandation pour une personne issue d’un autre domaine qui veut se lancer en IA ?
Eh bien, je, je me suis lancé intentionnellement dans le domaine et je me suis consacré à, à l’intelligence artificielle vers 2014.
À l’époque, il y avait peut-être, je ne sais pas, de cinq à 10 cours en ligne sur Coursera et Udemy. Je les ai tous suivis, j’ai regardé toutes les vidéos informatives sur YouTube et j’ai tout lu. J’ai très vite compris que lire un article scientifique… c’est incroyable. C’est une, c’est une méthode incroyable. Pendant quelques années, j’avais l’habitude de me faire un café et de lire au moins un article chaque jour.
Je me levais et j’en suis venu à pouvoir terminer, comprendre un article en, en 20 ou 30 minutes, peut-être 40 minutes s’il était très long. Mais chaque jour, je, je lisais un article. Je me faisais une liste et c’est, c’est incroyable. Et puis, et puis c’est bien, vous savez. Les gens, les gens écrivent justement des articles scientifiques pour ça.
Et ça fonctionne. Les articles scientifiques, c’est incroyable. Et essayez de travailler dans un emploi qui exige que vous sachiez certaines choses pour réussir. Votre compréhension de, de la matière est différente. Pas seulement parce que vous, vous allez l’utiliser, mais aussi parce que, parce que vous avez besoin de comprendre. La compréhension vient alors avec du plaisir, puisque vous en avez besoin.
Donc, si vous voulez étudier quelque chose pour trouver un emploi, je pense que c’est, c’est beaucoup, beaucoup plus efficace que d’aller, vous savez, dans le milieu universitaire, peut-être. Hum-hum. Maintenant, lorsque, lorsque nous développons, lorsque je développe un certain produit et que je comprends que, pour bien le faire, je dois comprendre les champs magnétiques, j’ai beaucoup de motivation, énormément de motivation pour, pour faire tout ce que je peux. Lorsque j’arrive à comprendre quelque chose, ce n’est pas simplement pour le plaisir de comprendre. Je, je progresse vers un objectif.
Oui. Vous re, recommanderiez donc d’avoir une forme de motivation pour apprendre quelque chose. Le, le stress supplémentaire vous aiderait à mieux comprendre et à traiter l’information,
j’imagine. Oui, trouvez une raison pour laquelle vous voulez l’étudier. Rendez-la aussi concrète que possible. Ne dites pas simplement, vous savez : « Je veux guérir le cancer. »
Il est important de guérir le cancer. Et de commencer à, à étudier. Rendez les choses concrètes, faites en sorte que vos études et les efforts que vous y consacrez changent quelque chose qui vous tient à cœur. Ainsi, ainsi, lorsque vous étudierez, vous aurez aussi une autre énergie, une autre motivation. Mais vous aurez aussi… lorsque vous y arriverez, lorsque vous acquerrez une nouvelle compréhension, lorsque vous réussirez à saisir quelque chose, cela aura beaucoup plus de sens que ce simple, vous savez, plaisir de comprendre.
Oui, je pense que pour moi, c’est très, très important. Je ne sais pas si j’aurais réussi à, à l’université. Je ne sais pas si je suis fait pour ça. Mais je pouvais écrire de très bons articles scientifiques à 16 ans et, et résoudre des problèmes très complexes. J’ai fait beaucoup de, j’ai fait beaucoup de technologie au cours des 14 dernières années, et, et des choses très complexes.
Et malgré cela, je ne sais pas si j’aurais terminé l’université. Je ne suis pas, pas certain d’avoir ce type
de cerveau. L’université traditionnelle est vraiment différente et, malheureusement, beaucoup de gens se trouvent dans votre situation. Le parcours classique avec le collège et l’université ne leur convient pas, mais ils, ils doivent essentiellement le suivre. Vous démontrez qu’il n’est pas obligatoire.
Mais vous êtes peut-être un, un cas particulier avec une très grande intelligence. Ce n’est donc peut-être pas à la portée de tout le monde.
Je ne suis pas certain d’être un cas particulier. Je pense être un cas très chanceux. Je crois sincèrement que, je ne sais pas si je crois sincèrement que je serais incapable de bien réussir à l’université, comme beaucoup de gens. Mais je suis un bon développeur. Je me demande donc combien de personnes incapables de réussir à l’université, mais qui pourraient être de bons développeurs, ratent simplement leur chance à cause des attentes de, de la société.
Oui. Exactement. Et c’est dommage, car nous avons autour de nous des personnes formidables qui, qui pourraient accomplir de grandes choses. Mais seulement parce qu’elles ne correspondent pas à la façon de penser que ces organisations universitaires attendent de tout le monde, cela détruit leurs, leurs possibilités. Je pense que j’ai simplement eu beaucoup de chance.
Si nous, si nous revenions en arrière pour trouver tous les événements très précis de ma vie qui m’ont permis de commencer à travailler très tôt, de participer à des projets très importants du gouvernement israélien, d’acquérir de l’expérience dans différentes, dans différentes startups au cours de ma vie sans diplôme, et, et d’ouvrir cette startup, TensorLeap, les probabilités seraient très, très faibles.
Vous pouvez, vous pouvez comprendre que tout dépend d’un bon lancer de dés. Il y en a, il y en a beaucoup là-dedans. Et puis, peut-être que je suis un peu plus…
Que j’essaie plus fort que, que la plupart des gens. Je pousse vraiment fort. Je ne me repose pas. Je travaille, je pense qu’en moyenne, au cours des 12 dernières années, j’ai travaillé plus de 12 heures par jour.
Et c’est surtout grâce à la motivation. Vous avez un objectif et vous, vous devez essentiellement apprendre et, et produire quelque chose.
C’est juste, c’est exactement ça. Je, je comprends très bien ce que vous dites, simplement parce que je fais la même chose, mais avec… avec des vidéos YouTube. J’ai essentiellement essayé de me forcer à apprendre plus efficacement en créant une vidéo sur un sujet précis, ce qui m’a beaucoup aidé pendant ma maîtrise, tout simplement parce que ma maîtrise ressemblait beaucoup à un doctorat.
Je pouvais donc avancer à mon propre rythme et je, je n’arrivais tout simplement pas à me motiver à apprendre et à lire des articles scientifiques, sauf si je pouvais en tirer quelque chose. J’ai donc, j’ai commencé à écrire des articles de blogue et à créer des vidéos YouTube seulement pour me forcer à lire ces articles scientifiques et à les comprendre, puis pour pouvoir, pouvoir produire quelque chose à partir de tout cela.
Je pense donc que c’est quelque chose de très, je ne sais pas, pas précieux, mais très important lorsqu’on apprend quelque chose de nouveau. Je, je pense que beaucoup de gens, par exemple ceux qui effectuent une transition vers l’IA, devraient essayer d’avoir un objectif en tête, puis apprendre, plutôt que de simplement suivre des cours indéfiniment. Comme vous l’avez dit, à l’époque, il y avait peut-être 10 cours en ligne, mais il y en a maintenant des milliers.
Vous pouvez donc suivre des cours indéfiniment et, et ne jamais vraiment entrer dans le domaine. C’est, c’est l’un des dangers auxquels certaines personnes font face. Je pense donc qu’il faut viser quelque chose d’appliqué. Par exemple, lorsque je, je, je voulais apprendre à, à programmer une application mobile, j’ai fait un remue-méninges avec quelques amis pour trouver le genre d’application que nous pourrions créer.
Une fois que j’ai eu une idée, j’ai, j’ai appris en créant l’application, ce qui est selon moi beaucoup plus efficace que de simplement essayer d’apprendre
quelque chose. Et c’est logique. Alors, c’est simplement logique d’étudier, parce que sinon, pourquoi, pourquoi le faites-vous ? Pour moi, oui. Pour, pour, pour agir à partir des bonnes motivations. C’est, c’est difficile, mais tout le monde doit s’améliorer sur ce point : trouver la raison pour laquelle vous faites les choses.
Oui, alors, alors je, je pense que je me décris comme un scientifique des données depuis ces 12 dernières années. Je suis très pratique. Et maintenant, maintenant, je suis aussi cofondateur d’une startup, ce qui est une expérience intéressante. C’est différent.
C’est difficile. Oui. Vous avez mentionné que la startup est TensorLeap. Nous pouvons donc peut-être plonger dans le, le sujet principal de cette entrevue, soit l’IA explicable. Mais nous reviendrons d’abord à ce point.
Pourriez-vous simplement nous présenter brièvement ce qu’est, ce qu’est TensorLeap et, et ce que vous y faites ?
Bien sûr. TensorLeap est ce que nous appelons une plateforme d’explicabilité appliquée. C’est un outil pour… pour les développeurs, pour, pour les scientifiques des données qui travaillent sur des modèles d’intelligence art, artificielle. Notre motivation pour créer l’entreprise venait de ceci : nous avons, nous avons regardé le monde et nous avons constaté, vous savez, même en 2018, lorsque nous avons fait cela, que tant de parties, des parties essentielles du paradigme de développement reposaient sur des suppositions et des intuitions.
Cela perturbait, cela retirait tout l’aspect scientifique d’un processus pourtant très scientifique. La façon dont nous construisions les datasets : nous recueillions simplement des échantillons au hasard. La façon dont nous, nous les testions : avec de la chance. Si votre jeu de test représente quelque chose en production, une certaine, vous savez, distribution de l’information en production, vous pourriez peut-être…
Deviner quels seraient les résultats dans l’ensemble. Mais tellement, tellement de choses reposent sur, sur des suppositions. Nous avons essayé de comprendre pourquoi et ce qui se passait dans, dans ce processus. Nous avons compris que le manque d’explicabilité est, est une cause profonde de nombreuses, nombreuses parties différentes de ce paradigme de développement. L’idée qu’un développeur utilise des suppositions et, et des intuitions pour faire avancer son projet d’intelligence art, artificielle.
Vous savez, il y a 12 ans, j’ai, j’ai travaillé sur le projet de champ magnétique et nous avons simulé le, le champ magnétique au complet. J’ai étudié des livres de physique et les matériaux. J’ai tout étudié et, et la simulation de la réalité était parfaite, très instable parce que, vous savez, nous ne pouvons pas… Modéliser parfaitement la réalité.
C’est très difficile. Mais c’était, c’était un modèle déterministe, un modèle déterministe très complexe, très immense, immense. Nous avons ensuite commencé à faire un peu de statistiques afin d’arrondir certains angles et d’essayer d’obtenir un peu plus de robustesse. Vous perdez donc un, vous perdez un peu d’information, vous devenez un peu plus statistique, mais vous cherchez toujours un équilibre entre le niveau de détail et de précision, et la flexibilité et, et la robustesse.
Puis nous sommes passés des statistiques à l’apprentissage automatique et nous avons essayé de, vous savez, nous nous sommes dit : « D’accord, nous voulons, nous voulons essayer toutes ces règles qui déterminent quand le système se comportera de telle ou telle façon. Nous lui donnerons les caractéristiques de base que nous jugeons importantes, puis ce modèle d’apprentissage automatique saura bien équilibrer ces caractéristiques. »
Ensuite, ensuite, nous avons créé des réseaux neuronaux et fait de l’apprentissage profond. Et, et nous nous sommes dit que ce processus d’extraction des caractéristiques était beaucoup trop complexe. Je voulais donc que le modèle le fasse pour moi. J’allais simplement décrire au modèle une idée générale de la forme, de la forme du domaine, des dimensions selon lesquelles l’information se distribue et de la façon dont les caractéristiques peuvent être extraites. Le modèle allait ensuite extraire lui-même les caractéristiques.
Et lentement, depuis, vous savez, 15 ans, nous sommes passés de l’époque où la plupart des gens écrivaient des modèles déterministes très complexes aux statistiques, puis à l’apprentissage automatique et aux, aux réseaux neuronaux. Nous nous en sommes éloignés et avons lentement perdu notre familiarité avec le domaine. Hum-hum. Si je devais aujourd’hui refaire le projet sur les champs magnétiques d’il y a 12 ans, je ne le comprendrais pas aussi bien que, disons, à l’époque, parce que je n’aurais pas besoin de le comprendre. Je ferais simplement, oui…
J’écrirais un algorithme qui prédirait et apprendrait où se trouve le champ magnétique. Il ferait ce qu’il ferait, ça m’est égal, n’est-ce pas ? Mais ce qui s’est produit, c’est que nous ne comprenons plus le domaine sur lequel nous, nous travaillons. Nous ne comprenons pas le fonctionnement de ces réseaux neuronaux. Et lorsqu’ils échouent, nous commençons à deviner.
Et lorsque vous essayez de, d’enseigner ou d’entraîner un modèle, vous devez, vous devez comprendre certaines choses : comment construire ces datasets, quels types de, de scénarios et quelles populations de cas limites vous avez. Et, et vous commencez beaucoup à deviner. Je pense qu’à un moment de ce, de ce processus, des modèles déterministes aux statistiques, puis au ML et à l’apprentissage profond, nous aurions simplement dû nous arrêter quelque part et dire : « D’accord, il nous faut maintenant un autre produit de développement. »
Nous faisons constamment ceci : lorsque nous utilisions Random Forest, XGBoost et tous ces modèles, nous pouvions entraîner en deux heures des milliers de modèles. Nous le faisions, c’était correct, puis nous prenions le meilleur et il fonctionnait peut-être, n’est-ce pas ? Et lorsque vous obtenez des résultats, vous pouvez simplement lancer une requête SQL et, et trouver la plupart des cas limites, parce que vous avez une table de caractéristiques. Vous n’avez pas des milliers et des milliers de pixels qui entretiennent des relations dans une vidéo.
Vous, vous pouvez trouver ces cas limites avec, avec de simples requêtes. Mais le passage des données structurées aux données non structurées, des tables d’information aux vidéos, au texte, aux données génétiques, aux nuages de points et à toutes ces informations non structurées change énormément, énormément la donne. Pour certains de nos, de nos clients, l’entraînement d’un réseau neuronal prend des semaines.
Ils ne peuvent pas entraîner des milliers de réseaux neuronaux, puis prendre le meilleur. Hum-hum. Alors, alors TensorLeap est là pour développer et inventer de nouvelles techniques d’explicabilité, puis les intégrer au processus de développement des réseaux neuronaux.
Et pourriez-vous expliquer très brièvement et clairement ce qu’est, ce qu’est l’ex, explicabilité en IA ?
Vous avez mentionné que vous pouvez essentiellement fournir des techniques pratiques ou de vraies techniques, des techniques appliquées. Pourriez-vous donner un exemple d’une, d’une technique d’IA explicable aux personnes qui nous écoutent et qui ne connaissent peut-être pas l’IA explicable, ou XAI ?
Nous pouvons dire qu’il y a deux, deux types. Les gens peuvent parler de deux choses différentes lorsqu’ils parlent d’explicabilité.
Il y a l’explicabilité destinée au produit lui-même. Supposons que vous développiez un réseau neuronal et que vous l’intégriez à un produit, puis que vous deviez expliquer à vos clients pourquoi vous obtenez certaines décisions. Pour ces explications, les gens s’attendent à quelque chose de très humain. Oui. Des explications. C’est un peu plus difficile.
C’est un peu… la science n’est pas encore rendue là, mais je, je crois que nous y arriverons. L’autre explicabilité, celle dans laquelle nous sommes, nous sommes plus actifs, consiste simplement à appliquer certaines techniques mathématiques à votre réseau. La plupart des techniques sont déterministes et produisent des éléments visuels qui nous permettent de…
De comprendre la, la façon de penser de ce réseau neuronal et les caractéristiques, les caractéristiques qu’il a utilisées. Par exemple, prenons un réseau neuronal qui perçoit des images et qui, disons, cherche des chats et des chiens. Nous pouvons appliquer certaines opérations mathématiques à ce modèle pendant qu’il prédit un échantillon précis afin de comprendre quelles caractéristiques de l’image ont amené le modèle à prendre une décision.
N’est-ce pas ? Supposons que nous fassions l’inférence d’une image. Au départ, nous avons de nombreux neurones. Chacun apprend différentes caractéristiques, ce qui signifie que chaque neurone crée une projection un peu différente de l’échantillon sur, sur certaines cartes de caractéristiques. À chaque couche, nous obtenons une nouvelle représentation de, de la même entrée.
Certaines de ces représentations peuvent être utilisées et être davantage corrélées à un certain type de prédiction du réseau neuronal. Par exemple, prenons… la couche, l’entrée, et créons le chemin vers certains neurones, par exemple ceux qui représentent le chien, jusqu’à une couche du modèle. Nous pouvons calculer le gradient entre le neurone essentiel à la prédiction du chien et tous les neurones de la couche. Nous pouvons alors comprendre que ce neurone précis influence beaucoup le modèle lorsqu’il doit déterminer qu’il s’agit d’un chien et non d’un chat.
Puis, en retraçant l’activation et en dé, découvrant où cette caractéristique était réellement localisée, nous pouvons comprendre quelle région de l’image a fait réagir ce filtre précis et amené le modèle à produire une certaine prédiction. Il y a, il y a quelques types d’explicabilité. Divisons-les en deux.
Il y a l’explicabilité locale et l’explicabilité globale. L’explicabilité locale correspond exactement à ce que je viens d’expliquer. Elle essaie d’expliquer pourquoi un modèle a pris une décision sur un échantillon. L’explicabilité globale porte… sur l’ensemble du dataset. Par exemple, chez TensorLeap, nous suivons toutes les activations de ces réseaux neuronaux et nous, nous calculons l’énergie et l’entropie de chaque activation.
Pour certaines d’entre elles, nous calculons l’information mutuelle entre la prédiction et différents groupes à l’intérieur du modèle. Cela nous permet de comprendre quelles caractéristiques ont appris l’information la plus utile. Ensuite, dans un espace latent, nous extrayons simplement les activations de différents champs du modèle.
Nous construisons une base de données vectorielle où tout le dataset et toutes les caractéristiques les plus importantes sont indexés. Ensuite, nous pouvons chercher différents groupes et différentes populations. Si ce processus du modèle consiste à extraire des caractéristiques… nous pouvons nous fier à l’idée que, vous savez, s’il devine correctement, c’est qu’il a réussi à apprendre certaines caractéristiques.
Et si nous pouvons nous fier à l’idée qu’il a appris des caractéristiques légitimes, ou au moins certaines d’entre elles, nous pouvons utiliser ces caractéristiques pour définir différents scénarios dans le dataset. Par exemple, si mille échantillons déclenchent exactement les mêmes caractéristiques, ces mille échantillons se ressemblent, puisqu’ils ont les mêmes caractéristiques, n’est-ce pas ?
Et si j’ai des yeux comme les vôtres, des sourcils comme les vôtres et des cheveux comme les vôtres, je vous ressemble vraiment. Alors, c’est ce que nous faisons. Nous, nous recueillons toute cette information sur toutes les caractéristiques du réseau neuronal, puis nous projetons l’ensemble du dataset sur les caractéristiques les plus importantes du modèle.
Ensuite, nous cherchons différentes populations à l’aide de techniques non supervisées, puis nous essayons de caractériser ces populations. Nous cherchons les… les groupes, les caractéristiques qui expriment le plus une information mutuelle très élevée avec l’entrée, ce qui signifie que ces populations ont probablement tendance à faire du surapprentissage. Nous cherchons aussi les populations peu représentées dans le jeu d’entraînement.
Nous pouvons alors recommander ceci aux clients : « Hé, apportez-nous des données non étiquetées et nous vous dirons quelles données vous devriez étiqueter maintenant. » Voilà. Nous, nous essayons donc de trouver de nombreuses populations. C’est une forme d’explicabilité globale.
L’explicabilité serait donc utilisée, enfin, devrait être utilisée par toute personne qui entraîne ou fait le fine-tuning de modèles d’IA, ou qui travaille avec ces modèles.
Et je suppose qu’elle sert principalement à améliorer les résultats, mais aussi à les comprendre, ou à améliorer les résultats en les comprenant. Je me demandais donc si vous pouviez peut-être… donner un exemple très précis. Aucun problème sinon, mais sur-le-champ, par exemple pour le récent modèle SAM, Segment Anything Model. C’est essentiellement un modèle qui effectue de la segmentation.
Pourriez-vous imaginer une technique d’explicabilité qui pourrait servir à améliorer ou à mieux comprendre les résultats de cette application précise ?
Vous savez, tous ces modèles fonctionnent de la même façon en ce sens qu’ils cherchent des caractéristiques. Ils cherchent tous des caractéristiques qu’ils peuvent utiliser pour accomplir une certaine tâche. La façon d’analyser chaque type de tâche peut être différente.
Par exemple, si vous, si vous exécutez… Si vous faites de la classification et voulez comprendre comment le modèle a pris ses décisions, vous devez comprendre les parties du décodeur. Vous savez alors comment appliquer les techniques d’explicabilité. Par exemple, vous savez comment créer les dérivées à partir des neurones de prédiction qui symbolisent quelque chose vers un certain espace latent du modèle.
Et, et si vous faites de la détection d’objets, vous pouvez le faire à une autre résolution. Vous pouvez partir de, vous pouvez créer une dérivée à partir de chacun des neurones qui représentent une instance dans l’image, n’est-ce pas ? Une boîte englobante, une boîte englobante précise. Dans chacun de ces algorithmes, vous aurez un décodeur différent.
En comprenant le décodeur, vous pouvez écrire un type très précis de techniques d’explicabilité. C’est toute l’idée : dans les réseaux neuronaux, tout est un, c’est un, c’est un processus qui cherche des caractéristiques dans une dimension non structurée, non structurée. Il partage les caractéristiques, les généralise et projette les données dans de nombreuses représentations plus abstraites et plus simples à analyser. Il les décode ensuite dans une certaine forme ou une certaine, certaine représentation sur laquelle nous pouvons simplement, vous savez, appliquer du code déterministe afin de prendre des décisions.
Et cet algorithme possède lui aussi un type très précis de, de décodeur. Il existe différentes façons de s’attaquer à ce décodeur. Vous pouvez considérer que chaque pixel est une instance et créer une dérivée à partir de chaque pixel, puisqu’il s’agit de techniques de segmentation sémantique par instance. Vous pouvez créer des dérivées non pas à partir d’un pixel, mais à partir de toute l’instance, puis comprendre ce qui a causé l’apparition d’une instance.
Vous obtiendrez alors différentes idées. Nous, nous avons un peu joué avec ce modèle. Comme il n’est pas petit, si vous, si vous prenez la dernière couche, beaucoup des cartes de chaleur obtenues seront immenses et difficiles à comprendre. Nous avons donc simplement continué à reculer. Nous développons actuellement une technique qui recule constamment dans le modèle, vers des couches de moins en moins profondes, en créant de plus en plus de dérivées de façon récursive pour comprendre ceci : d’accord, les neurones situés à la fin du réseau étaient sensibles à, à l’information qui se trouvait quelque part ici.
Et ce neurone était sensible à une information un peu plus précise. Nous revenons ensuite en arrière pour comprendre quelles caractéristiques construisent cette caractéristique très générale, n’est-ce pas ? Nous obtenons donc une heat map dans une heat map, puis dans une autre heat map qui explique précisément pourquoi cette instance a été créée.
Vous avez mentionné que le processus est essentiellement très semblable d’une application à l’autre. Il est, bien sûr, adapté à l’application, mais il reste en gros semblable et emploie la même technique.
Je suppose que c’est aussi vrai pour les différentes architectures ? Par exemple, si nous faisons de la classification d’images et utilisons soit un réseau neuronal convolutif, soit un ViT, un réseau de vision fondé sur un Transformer, utiliserions-nous, utiliserions-nous, utiliserions-nous la même technique d’explicabilité ? Le calcul serait seulement un peu différent en raison des mathématiques, mais la visualisation produite et tout le reste seraient les mêmes. La même technique serait appliquée.
Il existe des façons de, de généraliser ces outils et vous devez le faire. Lorsque vous prenez une image, l’ordre des pixels est très important. Les gens utilisent donc des convolutions, parce qu’elles peuvent trouver des motifs dans une information aussi ordonnée, dans ce type d’information ordonnée. Dans d’autres cas, vous, vous utilisez un LSTM afin de généraliser l’information.
L’idée générale est que vos données se distribuent d’une certaine façon et que vous essayez de trouver des opérations mathématiques qui peuvent… être sensibles à, à la généralisation de cette information. Vous savez, la première convolution qu’ils ont créée partage essentiellement les poids entre différentes parties de l’image.
Elle partage leur compréhension. Elle a réussi à apprendre un motif et le cherche à différents endroits. Lorsqu’ils ont créé les Transformers, ils, ils voulaient partager l’information et pouvoir le faire entre des régions non contiguës, non, non voisines de l’image. L’idée est intéressante et il faut effectivement la comprendre.
Lorsque nous, lorsque nous travaillons sur des réseaux neuronaux, nous prenons par exemple les modèles au format ONNX, puis nous les parcourons entièrement et comprenons chacune des opé, des opérations. Nous comprenons sur quelle dimension l’opération, elle, elle, elle essaie de généraliser l’information. Et lorsque vous voulez calculer, par exemple, l’information mutuelle ou, ou l’entropie d’une certaine prédiction…
Vous devez comprendre les dimensions de, de la sortie de ces opérations. Vous devez comprendre selon quelle dimension l’opération, elle essaie de généraliser l’information. Si vous travaillez avec un LSTM, vous devez comprendre l’état. Si vous travaillez avec des Transformers, vous devez comprendre où se trouvent les canaux.
Une fois que vous comprenez selon quelle dimension et de quelle façon l’opération généralise l’information, vous, vous pouvez généraliser un processus qui permettra d’appliquer une grille semblable dans chaque cas. Il faut parfois normaliser différentes valeurs, car différentes opérations ont tendance à produire des valeurs à différentes échelles. Mais, vous savez, ce ne sont que des détails techniques.
Oui. Lorsque vous comprenez que chacune d’elles est, est une caractéristique, et qu’une caractéristique est sensible à un motif ou à un motif complexe composé de, de quelques motifs qui fonctionnent ensemble, vous comprenez qu’il s’agit d’un modèle dans un modèle, dans un modèle, dans un modèle sensible à toute cette information. Vous pouvez alors appliquer presque les mêmes techniques.
Il faut seulement comprendre comment vous mesurez chacune des caractéristiques et pourquoi. Si vous travaillez, par exemple, avec un ViT qui comprend aussi des modèles convolutifs et un mécanisme Transformer, vous devez comprendre le rôle des patchs. Vous savez alors comment mesurer et comprendre que cette caractéristique du Transformer est aussi importante que cette opération et ce motif convolutifs.
Il faut simplement, simplement ajuster un peu les, les techniques. Mais après avoir fait cela et réussi à extraire puis à représenter l’information d’une certaine façon dans un espace latent, vous pouvez utiliser cet espace latent comme un simple, vous savez, ensemble de caractéristiques que vous avez réussi à extraire de votre modèle et de vos données. À partir de là, c’est, c’est, c’est toujours la même chose.
Alors, alors oui, vous pouvez généraliser et appliquer presque les mêmes techniques à n’importe quel type de réseau neuronal. Il y a certains détails techniques et cela nous oblige à comprendre exactement le fonctionnement de l’opération mathématique ainsi que la façon de réduire l’information sans endommager celle que vous essayez de représenter dans certains espaces latents.
Et pouvons-nous faire quelque chose lorsque nous travaillons avec des modèles préentraînés ? Par exemple, beaucoup de gens utilisent en ce moment l’exemple très simple de la classification d’images. Au lieu de, de prendre par exemple un CNN, un réseau neuronal convolutif, et de l’entraîner à partir de zéro sur notre dataset, nous téléchargeons d’abord un modèle entraîné sur ImageNet, puis nous faisons son fine-tuning, le réentraînons ou faisons ce qu’il faut sur nos données pour améliorer sa performance.
Oui. Alors, tout d’abord, nous devons, nous devons avoir une meilleure raison d’utiliser l’explicabilité. Si vous essayez d’expliquer une prédiction précise en production, vous pourrez bien sûr prendre le modèle, trouver les caractéristiques qui ont participé à cette prédiction précise sur cet échantillon précis et afficher les résultats.
Vous pourrez ensuite obtenir certains indices sur l’endroit où se trouve l’information utilisée par le modèle lorsqu’il a pris une certaine décision. Vous pourrez extraire ces caractéristiques de tous les échantillons en production au même moment et chercher… les endroits où le modèle a pris des décisions à partir des mêmes caractéristiques. C’est aussi très intéressant, n’est-ce pas ?
Si je vous dis : « Il pensait que c’était un chien. Et pour cet autre ensemble d’images, il pensait que c’était un chien pour la même raison, à partir des mêmes caractéristiques. Voici les différences entre les deux. » Tout cela, tout cela devient, vous savez, un jeu sur la façon dont vous, vous manipulez ces caractéristiques. Vous n’avez pas besoin, vous n’êtes pas obligé d’entraîner votre modèle sur, sur vos données pour le faire.
Mais lorsque vous entraînez votre modèle sur des données, ces techniques peuvent avoir une très grande influence sur le processus de développement, n’est-ce pas ? Parce que si je peux vous dire que vous avez maintenant 2 millions d’images qui se ressemblent exactement dans cette population et 500 images dans cette autre population, vous commencez à comprendre comment les caractéristiques s’expriment dans votre dataset et comment l’information s’y distribue.
Vous pouvez obtenir un bien meilleur dataset. Nous ne savons tout simplement pas et nous ne pouvons pas savoir. Vous voyez, si nous pouvions continuer à écrire des algorithmes déterministes, nous le ferions. On peut les tester. Je, je peux écrire un test pour un algorithme déterministe. C’est incroyable. Mais le monde est trop complexe et les gens ont compris qu’ils ne pouvaient pas gérer toute cette complexité dans un véhicule autonome.
C’est trop vaste. Nous ne pourrons jamais, jamais définir et représenter toute la complexité, tous les motifs qu’une image peut contenir. Nous avons donc, nous avons compris cela et, et nous sommes passés à un processus qui cherche des caractéristiques. Par définition, partout où vous utilisez des réseaux neuronaux, il s’agit d’un processus très complexe où vous ne pouvez pas, où vous ne penseriez pas à toutes les caractéristiques.
Alors, si vous voulez penser à toutes les caractéristiques, comment pouvez-vous vous assurer de tester correctement le modèle aux bons endroits ? Comment pouvez-vous vous assurer d’avoir les bons échantillons dans le dataset, n’est-ce pas ? Il y a, il y a… un piège là-dedans. Et, et je pense qu’il s’agit d’une combinaison des deux.
Vous devez constamment appliquer des techniques d’explicabilité à votre modèle et ainsi en apprendre de plus en plus sur le domaine concerné. Vous pouvez alors créer de meilleurs processus qui comprennent comment l’information se distribue, organiser constamment votre dataset et trouver constamment de plus en plus de cas limites que vous, vous devez simplement savoir suivre, puisqu’ils ont tendance à échouer en raison de la complexité, de l’ambiguïté ou d’autre chose.
Et que recommanderiez-vous, par exemple, à un étudiant qui travaille avec n’importe quel type de modèle, mais qui ne connaît aucune technique d’explicabilité ? Comment lui recommanderiez-vous de se lancer dans ce domaine et de simplement… l’utiliser pour mieux comprendre et améliorer son modèle ? Quelles sont les notions de base à connaître lorsqu’on veut employer ces techniques pour améliorer son modèle et qu’on doit mieux comprendre les résultats ? Par où commencer et que faut-il savoir ?
Oui. Eh bien, tout le monde peut utiliser TensorLeap. La plateforme regorge d’outils d’explicabilité conçus pour cela. Je pense qu’il existe de nombreux excellents articles scientifiques dans le domaine qui contribuent à faire émerger correctement l’explicabilité et à fournir aux gens les outils dont ils ont besoin pour, pour comprendre le modèle et gagner en confiance.
Vous savez, lorsque vous essayez maintenant de… transférer toutes ces procédures vers un nouveau véhicule autonome ou, ou d’obtenir l’approbation de la FDA, vous devez fournir de l’explicabilité avec le modèle. Il y a donc beaucoup de travail dans ces domaines. Je ne connais pas beaucoup d’outils, vous savez, assez matures pour, pour exposer l’explicabilité directement dans le processus de développement.
Il y en a probablement plusieurs. Je pense qu’il s’agit davantage d’un changement de mentalité. Vous savez, il y a quatre ans, un réseau neuronal était une boîte noire. C’était, c’était une évidence, n’est-ce pas ? Les gens l’affirmaient et il n’y avait rien à faire. C’était trop gros. Nous ne pourrions pas l’expliquer. Mais ce n’est plus le cas. Hum-hum. Les gens doivent surtout accepter et comprendre l’idée que nous devons…
Que nous pouvons et que nous devrions consacrer certains efforts à expliquer ces modèles. C’est difficile, mais nous devons le faire. Nous ne pouvons pas lancer un véhicule autonome qui va tout détruire sans comprendre comment il fonctionne, si nous l’avons testé correctement et à quels types de scénarios il sera sensible. C’est impossible. Je pense que, je pense que les gens doivent simplement s’habituer à l’idée qu’il est maintenant possible d’expliquer ces modèles, puisque nous disposons de la puissance de calcul nécessaire et de techniques un peu plus avancées pour étudier ces algorithmes.
Mais, vous savez, lisez sur les cartes d’activation de classes, les espaces d’embeddings et les similarités entre, entre les espaces. Et devrait-il…
Devrait-il y avoir une équipe précise consacrée à comprendre et à expliquer les modèles, séparément des, des personnes qui les développent ? Ou toute personne qui crée des modèles d’intelligence artificielle devrait-elle aussi connaître l’explicabilité et pouvoir comprendre les décisions des modèles qu’elle crée ?
C’est une très bonne idée d’avoir, dans une équipe, dans une équipe de développement, une équipe responsable de l’explicabilité et une autre responsable de, de la modélisation elle-même. Si vous essayez d’optimiser la concentration des personnes, oui. Je pense que l’explicabilité est une expertise qui peut s’appliquer à différents domaines.
Je peux donc être un, un professionnel de l’explicabilité et appliquer cette expertise à des centaines de modèles sans nécessairement approfondir le domaine lui-même de façon aussi professionnelle. Vous savez, les gens ont séparé le frontend, le backend, le DevOps et la distribution de ce monde. Je crois réellement que… lorsque vous travaillez avec l’explicabilité, vous apprenez énormément sur le fonctionnement du modèle, sur le type de caractéristiques qu’il a tendance à apprendre et sur la façon dont, dont la réalité se distribue.
Je pense que peu importe tout ce que TensorLeap pourra, pourra faire, une excellente intuition restera un élément très important chez, chez les scientifiques des données, parce que le nombre de choix que vous pouvez, que vous devez faire dans une journée est, est énorme. Mais je pense que l’accessibilité peut beaucoup aider à construire cette intuition. Je crois réellement que nous réussissons à réduire les suppositions de, de 90 % dans une journée, à faire les choses avec beaucoup moins de suppositions.
Mais il reste aussi, il reste toujours important de développer une intuition lorsque vous travaillez sur, sur un certain domaine. Je pense donc qu’il est très sain pour tout scientifique des données qui travaille sur l’intelligence artificielle d’appliquer l’explicabilité à son propre modèle. Mais dans une grande entreprise, il est très intéressant d’imaginer que, vous savez, dans quelques années, des équipes d’explicabilité seront responsables d’appliquer des techniques d’explicabilité aux, aux modèles construits par l’entreprise.
Et pensez-vous que… vous avez mentionné qu’à l’heure actuelle, nous ne sommes pas encore capables de donner des explications de niveau humain, faciles à comprendre et que n’importe qui peut saisir. La formation principale d’une personne qui travaille sur l’explicabilité devrait donc être une formation de scientifique des données. Mais je suppose que, pour certains cas très précis, il faut aussi un, un expert du domaine.
Pour vous dire si le modèle prend, prend la bonne décision ou non. Et si, si l’explication du modèle est juste ou non, il peut vous falloir un expert du, du domaine concerné.
Ce n’est pas, ce n’est pas facile de faire confiance à ces modèles, surtout lorsqu’on voit comment ils sortent aujourd’hui. Je pense toujours qu’il y a certaines choses que nous pouvons faire pour avancer ensemble, et que nous devrions progresser avec une très, très bonne compréhension.
Mais pour y arriver, nous devons les développer un peu différemment. Certains travaux sur l’explication des modèles progressent assez bien. Il existe même un article scientifique, c’est, c’est vraiment un excellent article. Je pense qu’il s’appelle MILAN. Il produit une description textuelle des caractéristiques visuelles des réseaux neuronaux. Les auteurs ont donc utilisé CLIP et l’ont appliqué aux cartes de caractéristiques à l’intérieur du modèle.
Le modèle apprend et vous dit qu’il s’agit d’un chien à cause des oreilles pointues ici. Il a trouvé des oreilles pointues et il, il a décrit ces caractéristiques visuelles dans le modèle. Cela commence donc à fonctionner. Nous y arriverons un jour, je le crois. Je ne sais pas à quelle vitesse, mais je pense qu’avant d’en arriver là, nous pouvons facilement comprendre, par exemple, que si un réseau neuronal prend une décision à partir de certaines caractéristiques, nous pouvons peut-être avoir confiance dans la légitimité de ces caractéristiques, n’est-ce pas ?
Nous pouvons peut-être cartographier les caractéristiques légitimes du modèle et, et les relations entre elles. Chaque fois qu’il vous donne une prédiction, pour, je ne sais pas, des pathologistes par exemple, afin de déterminer s’il a trouvé un cancer ou non, vous pouvez estimer le degré d’incertitude du modèle pour certaines prédictions. Les modèles ont tendance à avoir une très grande confiance dans leurs résultats.
Il est certain à cent pour cent que c’est une vache lorsqu’il s’agit d’une voiture. Mais ce niveau de confiance de cent pour cent vient généralement du fait que nos datasets sont… très déséquilibrés et que nos fonctions de perte sont très agressives. Nous avons donc tendance à obtenir des modèles extrêmement confiants, même lorsqu’ils apprennent mal. Oui. Et, et c’est un problème, mais il existe différentes façons de s’y attaquer.
Je pense que toutes ces méthodes sont d’excellentes façons de nous donner confiance et de déterminer si le modèle a maintenant besoin qu’un autre professionnel valide sa prédiction, ou, ou non. Par exemple, vous pouvez dupliquer la prédiction pendant la phase d’entraînement pour appliquer du dropout. Au moment de la prédiction, vous posez en quelque sorte la même question à différents modèles. Ils font la moyenne du nombre de fois où chaque prédiction se produit et vous obtenez alors une forme de niveau de confiance. Il existe aussi d’autres modèles qui estiment l’erreur du modèle.
Vous entraînez un modèle. Puis vous en entraînez un autre qui estime simplement l’erreur. En production, vous pouvez alors demander : « Est-ce un chien ou un, ou un chat ? » Vous demandez ensuite à l’autre modèle : « Quelle est la probabilité que ce modèle se, se, se trompe maintenant ? » Le premier modèle vous a donné cent pour cent, mais l’autre modèle peut vous donner un niveau de confiance un peu plus utile.
Certains travaux que nous faisons chez TensorLeap reposent constamment, vous savez, sur le fait que nous travaillons très intensément dans cet espace latent. Par exemple, si nous trouvons une population très valide et solide que nous réussissons à bien caractériser, à bien comprendre, et à repérer en temps réel la façon dont toute l’information pondérée se distribue, nous pouvons prédire et comprendre s’il s’agit d’un exemple courant dans certaines populations.
Par exemple, si nous avons un espace latent et que vous avez des groupes, prenons un groupe. Si l’échantillon tombe en plein milieu, nous sommes plus confiants… à propos de la démonstration et de la légitimité de la prédiction, parce que c’est peut-être quelque chose que vous avez déjà vu de nombreuses fois. Il existe donc différents types de jeux que vous, vous pouvez faire avec cela.
C’est un peu plus complexe. Vous devez bien généraliser. Vous devez comprendre combien de caractéristiques existent, leur profondeur et leur degré de généralité pour, pour bien faire les choses. Par exemple, si certaines caractéristiques contiennent une information mutuelle très élevée avec l’entrée, qu’un groupe y émerge, puis qu’un nouvel échantillon arrive de la production, vous devez quand même avoir peu confiance dans, dans les résultats, parce que la capacité de cette population à généraliser l’information est très faible.
N’est-ce pas ? Vous pouvez donc normaliser cette valeur à l’aide de différentes techniques. Mais à, à un certain moment, je crois que pour la plupart des datasets que vous aurez en production, vous pourrez aussi vous sentir beaucoup plus confiant et fournir des preuves que le modèle fonctionne. Par exemple, ce que nous voyons à de nombreux endroits, c’est que je pense que la FDA le fait déjà et demande déjà des techniques d’explicabilité comme celle-ci : prenez un certain échantillon, faites une prédiction et montrez-moi d’autres prédictions produites pour la même raison.
N’est-ce pas ? Nous allons donc continuer, continuer à progresser et à développer toujours plus de techniques qui nous permettront de dépendre de moins en moins des experts.
Vous avez donc exactement répondu à la, la question que j’avais sur l’utilisation de l’explicabilité. Plus tôt, plus tôt dans la discussion, nous avons parlé de son utilisation pour améliorer vos résultats, essentiellement pour améliorer les résultats.
Ma question portait sur l’autre côté : comment l’utiliser lorsque l’utilisateur ou le client veut seulement une explication ou… au moins un peu plus de détails sur la raison pour laquelle le modèle lui a dit qu’il s’agissait d’un chien. Il n’y a pas si longtemps, comme vous l’avez dit, les modèles avaient une très grande confiance dans la plupart, la plupart des décisions qu’ils prenaient.
Par exemple, ils, ils pouvaient simplement dire qu’une image contenait un chien avec une certitude de 95 %, alors que ce n’était même pas un chien. C’était seulement parce qu’il y avait, il y avait de l’herbe dans l’image et que le modèle avait simplement l’habitude de voir un chien lorsqu’il, lorsqu’il voyait de l’herbe. Il était donc confiant, mais confiant dans son erreur. Alors…
C’est vraiment agréable de, de voir davantage de techniques d’explicabilité servir à mieux expliquer les, les résultats aux utilisateurs, et pas seulement aux, aux personnes qui entraînent les modèles. À ce sujet, je pense que ce n’est peut-être pas possible, mais je me demande s’il existe une façon ou une technique précise permettant d’expliquer des modèles utilisés au moyen d’API, comme ChatGPT, que presque tout le monde utilise en ce moment.
Pouvons-nous faire quelque chose pour mieux comprendre leurs décisions ou, ou les raisons pour lesquelles ils répondent de cette façon ?
Eh bien, vous savez, à l’époque, certaines techniques légitimes de ML étaient utilisées avec les modèles qui n’avaient pas de… d’explicabilité. Lorsqu’il était impossible de bien appliquer l’explicabilité à un modèle précis, beaucoup de gens entraînaient un autre modèle facile à expliquer et supposaient que les caractéristiques recherchées seraient semblables.
Je pense que lorsque vous travaillez avec une API, avec des modèles de LLM au moyen d’une API, il y a encore beaucoup de choses que vous pouvez et devriez faire. C’est, c’est un immense problème aujourd’hui. Il est tellement facile de créer une technologie super intéressante, avancée et puissante avec tous ces outils. Mais cela va nous causer, cela va nous causer beaucoup de problèmes parce que nous ne pourrons pas, nous sommes, nous, nous sommes en train d’abandonner les tests, d’abandonner la surveillance et d’abandonner tant de choses. Je pense que… nous devons simplement aborder le problème en comprenant qu’il s’agit, qu’il s’agit d’une API.
Elle reçoit des données non structurées et, et renvoie des données non structurées à l’autre bout. Alors peut-être, peut-être qu’il est possible d’indexer, d’extra, d’extraire les caractéristiques. Prenons BERT, par exemple. Lorsque vous interrogez cette API, extrayez les caractéristiques avant l’appel. Lorsque vous recevez la réponse, extrayez de nouveau les caractéristiques, indexez-les dans une base de données vectorielle et mesurez leur similarité. Vous pouvez alors, par exemple, surveiller ceci : lorsque vous posez les mêmes questions avec des mots différents, à quel point la réponse change-t-elle dans la structure non étiquetée ?
N’est-ce pas ? Dans votre, dans votre base de données vectorielle, dans votre espace latent, à quel point les réponses sont-elles différentes ? Vous pouvez supposer que vous voulez conserver des réponses cohérentes et bien distribuées. Et, et peut-être faire d’autres jeux de ce type. Mais tout cela ne correspond pas nécessairement à des techniques d’explicabilité, puisque vous n’utilisez pas le modèle qui vous a donné la prédiction.
Oui. Ce qui sera, ce qui sera difficile. Ce qu’ils feront peut-être un jour, vous savez, c’est exposer une autre API qui surveille le modèle lui-même et leur fournit de l’explicabilité en temps réel pour certaines prédictions. Mais ces modèles sont immenses et tellement complexes. Oui. Oui. Il nous faudra du temps pour y arriver.
Peut-être
quatre ans. Hein, c’est vraiment drôle, parce qu’à l’époque, enfin, ce n’était même pas il y a très, très longtemps. Mais je dis toujours que tout, tout va tellement vite. Nous disions, ironiquement, que nous aurions besoin de réseaux profonds pour comprendre les réseaux profonds. Aujourd’hui, c’est… pratiquement la norme.
Et vous, vous expliquez l’utilisation d’un modèle sur les résultats d’un autre modèle d’une façon qui fait paraître cela, cela très simple et direct, comme quelque chose que nous pouvons facilement faire. C’est, c’est très drôle pour moi comparativement à la situation d’il y a quelques années, alors que le simple fait de créer un réseau profond, un réseau profond, semblait impossible ou très complexe. Nous pouvons maintenant en utiliser un pour mieux en comprendre un autre.
C’est, c’est plutôt intéressant, plutôt drôle. Je suppose donc que c’est aussi l’objectif ultime de l’IA explicable : ne plus avoir de boîte noire, faire tout ce que nous pouvons pour comprendre notre modèle, n’est-ce pas ?
Oui, je pense. Je pense que, et, et l’impact doit, doit se produire, vous savez, dans la, dans la chaîne de développement, parce que…
Vous savez, aujourd’hui, lorsque nous déployons un nouveau modèle en production, que nous l’exécutons sur notre jeu de test et obtenons une précision de 97 %, c’est un nombre très élevé que nous avons observé. Ce serait déjà bien d’y arriver, simplement parce que c’est, c’est un problème. Et ces datasets de cent, de 500 000 échantillons, ces jeux de test sont, vous savez, souvent orientés et biaisés vers cinq grandes populations.
Vous avez donc cinq populations très courantes pour lesquelles vos prédictions sont excellentes, et des centaines pour lesquelles vous échouez sans vous en soucier. Elles peuvent, vous savez, représenter des scénarios très réels dans la réalité et nous ne saurons tout simplement jamais que nous échouons chaque fois que nous déployons un nouveau modèle. Je pense que l’explicabilité est la seule façon de nous permettre de…
Travailler avec des algorithmes qui cherchent des caractéristiques, comme les réseaux neuronaux, et de nous assurer que nous n’échouons pas sur, sur de nouveaux cas. Nous ne serons jamais Dieu. Nous ne comprendrons jamais complètement la réalité. Nous ne réussirons jamais à créer un algorithme parfait qui fonctionne avec tous les scénarios existants et qui existeront à l’avenir.
Mais nous devons consacrer autant d’efforts et de complexité aux tests et à la construction de ces modèles qu’aux modèles eux-mêmes. N’est-ce pas ? Parce qu’obtenir une précision de 97 % sur un seul jeu de test, ce n’est, ce n’est pas une preuve pour moi et je ne pense pas que cela prouve quoi que ce soit à qui que ce soit. Oui. Alors, alors j’espère sincèrement que l’explicabilité nous permettra d’améliorer radicalement notre façon de, de tester ces modèles ainsi que la confiance du monde envers ces technologies et, vous savez…
Et pensez-vous qu’elle nous permettra aussi de mieux comprendre notre propre cerveau ?
J’ai l’impression que, je ne sais pas à quel point les deux sont liés. Enfin, ils l’étaient, initialement, mais je doute maintenant que les réseaux neuronaux, les réseaux neuronaux artificiels, fonctionnent de la même façon que nos réseaux neuronaux. Mais pensez-vous, tout d’abord, prenez-vous certaines approches liées à la cognition et essayez-vous de les appliquer aux réseaux artificiels ?
Avez-vous, avez-vous étudié les neurosciences et, et essayé d’appliquer certaines de leurs idées, ou, ou l’inverse ?
Oui, oui, absolument. Enfin, pas l’inverse, seulement des neurosciences vers nous, parce que je n’ai jamais eu l’occasion de, de travailler sur des réseaux neuronaux biologiques. Mais peut-être un jour. L’un de mes scientifiques des données étudie les similarités entre nos réseaux neuronaux artificiels et, vous savez, les réseaux neuronaux biologiques, ainsi que les similarités de leur fonctionnement.
Nous avons effectivement repris quelques bonnes idées de ce domaine. Par exemple, lorsque vous prenez un groupe de, un groupe de patients et essayez de comprendre en quoi leur cerveau fonctionne différemment, vous créez une sorte de métrique auto-exprimée qui vous donne une signature de la façon dont un cerveau réagit à un groupe d’échantillons.
Nous avons appliqué les mêmes techniques avec TensorLeap afin de pouvoir comparer deux modèles différents. Cela fonctionne très bien. Nous avons donc, nous avons repris des neurosciences certaines, certaines techniques intéressantes qu’elles utilisent pour étudier les cerveaux biologiques. Et je pense qu’il existe des similarités.
Le fonctionnement est presque le même. Il existe, vous savez, beaucoup de différences en raison de la complexité et, et de la structure, mais le fonctionnement reste presque le même. Il nous faudra un certain temps, peut-être 20 ans, pour pouvoir apprendre quelque chose sur notre cerveau à partir de la recherche en intelligence artificielle. C’est seulement parce que les cerveaux sur lesquels nous travaillons aujourd’hui sont très simples comparativement au cerveau humain.
Vous savez, nous y arriverons, nous pourrions y arriver dans 20 ans. Mais je pense que nous n’en sommes pas encore très proches. Remarquez, je ne suis pas non plus un grand expert en neurosciences.
L’explicabilité en, en intelligence artificielle est certainement, certainement un excellent domaine à choisir si, si nous voulons aussi mieux comprendre notre propre cerveau. Seulement dans, dans… enfin, je ne sais pas dans combien de temps, mais dans le…
Dans l’avenir, comment voyez-vous le domaine de l’IA explicable dans cinq ans ? Serons-nous capables de comprendre complètement les modèles et, et de les construire de façon vraiment optimale, ou progresserons-nous simplement à la même vitesse que la recherche et le développement de nouveaux modèles, de sorte que nous ne pourrons toujours pas les comprendre ?
À quoi cela ressemblera-t-il ? Eh bien, je…
Je crois que dans cinq ans, nous serons ailleurs en matière d’explicabilité. Je pense que nous serons bien meilleurs. Les gens commencent encore une fois à comprendre de plus en plus à quel point, à quel point l’explicabilité est importante et combien il est important de comprendre ce qu’on fait et pourquoi les choses se produisent. Oui. Je, je pense donc que dans cinq ans, nous disposerons de bien meilleures techniques et d’outils beaucoup plus avancés qui nous permettront de mieux développer les modèles, mais aussi avec beaucoup plus de clarté.
Je pense que, que comprendre son modèle et fournir de l’explicabilité avec celui-ci deviendra courant. Le monde va investir beaucoup d’efforts dans cette direction. Nous avons déjà prouvé que lorsque nous décidons, vous savez, lorsque cette communauté décide qu’une chose est importante, elle, elle la réalise. Et je pense que les gains qu’une technique d’explicabilité bien définie et, et avancée apportera au monde sont très importants comparativement à la quantité de travail nécessaire dans cette direction.
C’est, c’est une évidence. Je crois donc que dans cinq ans, les techniques d’explicabilité seront bien meilleures que celles dont nous disposons aujourd’hui. Je suis presque certain que cela changera complètement notre façon de voir les, les réseaux neuronaux artificiels. Génial.
C’est, c’est donc passionnant. Et y a-t-il des risques à utiliser des techniques d’explicabilité ?
Par exemple, lorsque nous disons que la prédiction d’un chat est fiable, que le, le modèle affiche un niveau de confiance de 90 % ou autre en utilisant un autre modèle pour l’établir, cela comporte-t-il un risque ? Est-ce que cela pourrait nous donner trop confiance dans nos modèles parce que nous supposons qu’ils prennent les bonnes décisions, alors qu’il pourrait simplement s’agir d’un autre biais dans l’autre modèle ?
Existe-t-il des risques à utiliser ces techniques, et comment pouvons-nous les atténuer ?
Ma, ma conviction à propos de ce type de, vous savez, questions est que, comparativement à l’absence totale de mesures dans la plupart des entreprises aujourd’hui, tout ce qu’elles feront améliorera la situation. N’est-ce pas ? Lorsque nous démontrons les capacités de notre plateforme, les gens nous demandent souvent : « Oui, mais ne créez-vous pas davantage de biais de confirmation avec votre approche d’explicabilité ? »
Et vous êtes alors encore plus biaisé dans la construction du dataset à cause de cela. Mais je, je n’arrive jamais dans cette direction à la conclusion suivante : « Oui, il vaut mieux ne rien faire. » Comparativement à ce que nous faisons aujourd’hui, c’est-à-dire rien, cette approche pourrait créer un peu plus de biais de confirmation. Vous pourriez, vous pourriez faire confiance à des techniques d’explicabilité auxquelles vous ne devriez pas accorder autant de confiance. Mais comparativement à ce que nous faisons aujourd’hui, c’est une immense amélioration.
Oui, c’est parfaitement logique. Eh bien, ma, ma dernière question… la dernière question que je pose habituellement est : « Sur quel projet travaillez-vous ? » Mais je suppose que vous travaillez principalement sur TensorLeap. Si vous faites autre chose, n’hésitez pas à, à en parler au public. Sinon, pourriez-vous peut-être répéter rapidement, résumer encore une fois qui devrait utiliser TensorLeap ou les techniques d’explicabilité, et pourquoi ?
Oui, qui devrait utiliser TensorLeap et pourquoi ? Oui, bien sûr.
Alors, eh bien, non. Je, je, nous travaillons sur TensorLeap. C’est un immense produit, une immense plateforme. Il n’y a aucune chance qu’il me reste du temps pour faire autre chose. Nous travaillons 13 ou 14 heures par jour. Je, je n’ai donc aucun autre projet. Qui devrait utiliser TensorLeap, et pourquoi ? Ce sont les scientifiques des données qui travaillent sur des réseaux neuronaux.
Qui les entraînent, les surveillent et les entretiennent pour, pour des tâches avancées et complexes. N’est-ce pas ? Lorsqu’un groupe de personnes arrive à un point où il doit maintenir la modélisation en production et avoir confiance dans ce qu’il fait, ce sont, ce sont ces personnes qui devraient utiliser TensorLeap. TensorLeap n’est pas seulement une bibliothèque Python.
C’est une immense plateforme. Pour pouvoir suivre des centaines de milliers, parfois des millions d’échantillons et des millions de neurones, suivre toutes ces activations et les indexer correctement, il faut une solution infonuagique. Pour les personnes qui nous regardent, c’est une solution infonuagique fondée sur Kubernetes qui peut être déployée n’importe où. Mais c’est une solution lourde.
Ce n’est pas, ce n’est pas un simple outil facile à construire à l’interne. Cela exige beaucoup de DevOps et, et de techniques d’architecture logicielle pour pouvoir détecter et entretenir cette solution complexe. Nous avons donc fait une grande partie du travail. Nous utilisons, nous entretenons trois ou quatre bases de données différentes, chacune excellente pour indexer et chercher un certain type d’information, comme des bases de données vectorielles, des bases de données de mégadonnées et, vous savez, d’autres types de bases. Environ quatre au total.
Nous indexons toute cette information et lui appliquons des techniques très avancées. Nous avons donc déjà accompli beaucoup de travail au cours des trois dernières années et avons créé un produit vraiment intéressant. Je pense qu’il peut réellement… transformer la façon dont les entreprises travaillent chaque jour sur les réseaux neuronaux. Il est particulièrement utile aux personnes qui travaillent sur des réseaux neuronaux et doivent s’assurer qu’ils fonctionneront correctement en production, comprendre où ces, ces réseaux neuronaux peuvent échouer et améliorer la construction des datasets.
Ce sont ces, ce sont les équipes qui devraient l’utiliser.
Parfait. Et je suis entièrement d’accord pour dire que l’outil est excellent, tout comme l’équipe en général. Je, je recommande vraiment de découvrir TensorLeap et l’explicabilité en, en général. Je pense que c’est un sujet très important. D’ailleurs, nous publierons aussi sur la chaîne une vidéo qui présente l’IA explicable et sur laquelle nous, nous avons travaillé ensemble.
Je pense donc qu’elle sera, qu’elle sera très intéressante. Et oui, c’était, c’était à peu près toutes mes questions. Si, si vous écoutez l’épisode et souhaitez quelque chose de plus approfondi sur l’explicabilité, nous pourrions peut-être… créer une sorte de tutoriel pratique. Dites-nous donc si vous avez des questions ou si vous aimeriez obtenir plus d’information sur l’explicabilité en intelligence artificielle.
Et merci beaucoup pour votre temps. Je, je l’apprécie vraiment. C’est, c’est beaucoup, beaucoup de temps. Il est difficile de trouver ce temps pour vous, surtout lorsque vous travaillez plus de 12 heures par jour. J’apprécie donc, donc vraiment toutes les idées que vous avez partagées et, et votre temps. Merci beaucoup.
FAQ
Quels sujets l’entrevue avec Yotam Azriel aborde-t-elle ?
Elle porte sur l’IA explicable, le débogage des réseaux neuronaux, la qualité des données, l’apprentissage par transfert et l’approche de TensorLeap.
Pourquoi faire le fine-tuning d’un modèle ImageNet plutôt que de l’entraîner à partir de zéro ?
Les caractéristiques visuelles préentraînées réduisent les besoins en données et en calcul lorsqu’elles se transfèrent bien à la nouvelle tâche.
Qui devrait participer à une évaluation de l’explicabilité ?
Les scientifiques des données ont besoin d’experts du domaine capables de déterminer si les éléments mis en évidence ont du sens dans le problème réel.
Pourquoi l’intuition reste-t-elle importante dans le développement d’un modèle ?
Les équipes font de nombreux choix sur les données, les métriques, l’architecture et l’analyse qu’aucun score automatisé ne peut déterminer à lui seul.
À quoi l’explicabilité devrait-elle mener ?
Une explication utile devrait motiver un test, une modification des données, une correction du modèle, un contrôle ou une décision plus claire au sujet du déploiement.
En quoi l’explicabilité destinée aux développeurs diffère-t-elle de l’explication d’un résultat à un utilisateur ?
Un utilisateur peut avoir besoin d’une raison claire pour une décision, tandis qu’un développeur a besoin d’outils mathématiques et visuels qui exposent les caractéristiques, les activations et les types d’échecs à l’intérieur du réseau.
Comment l’explicabilité peut-elle révéler un problème dans un dataset ?
Elle peut révéler des groupes et des populations de cas limites où le modèle échoue même lorsque la précision globale sur le jeu de test semble élevée.
Une équipe peut-elle expliquer complètement un modèle auquel elle accède seulement par une API ?
Pas avec la même profondeur qu’un modèle dont les couches et les poids sont accessibles. L’équipe peut sonder les entrées et les sorties, mais elle ne peut pas inspecter directement les représentations internes du fournisseur.
Quel risque court-on en faisant trop rapidement confiance à une technique d’explicabilité ?
Une visualisation plausible peut créer un biais de confirmation ou une fausse confiance. Ses conclusions doivent donc toujours être vérifiées par des tests sur les données et par la connaissance du domaine.