La distillation de l’IA expliquée : la vérité derrière la plus grande controverse actuelle en IA

À retenir

• La distillation est techniquement simple : utiliser les outputs d’un modèle plus puissant pour entraîner un modèle plus petit ou moins coûteux.
• La controverse ne porte pas seulement sur la copie des capacités. Elle concerne les droits sur les données, les conditions d’utilisation des APIs et la façon dont les laboratoires prouvent ce qu’ils ont utilisé pour l’entraînement.
• La partie inconfortable est que plusieurs laboratoires profitent de techniques semblables tout en critiquant leurs concurrents lorsqu’ils les utilisent.

---

Anthropic vient d’accuser trois laboratoires d’IA chinois d’avoir mené ce qu’elle appelle des « attaques par distillation à l’échelle industrielle » contre Claude. Et quand je dis industrielle, je le pense. 24 000 faux comptes, 16 millions d’échanges et des réseaux de proxys coordonnés, tous conçus pour extraire les capacités de Claude en raisonnement, en programmation et en travail agentique.

Et Anthropic n’est pas seule. OpenAI a envoyé une note au comité spécial de la Chambre des représentants des États-Unis sur la Chine, accusant DeepSeek de « profiter gratuitement » des capacités des modèles américains de pointe. Même Google a publié un rapport documentant une campagne de 100 000 prompts ciblant les traces de raisonnement de Gemini.

Les trois rapports ont été publiés dans un intervalle de 11 jours. Du 12 au 23 février 2026.

Dans cet article, je veux donc décortiquer les accusations réelles, expliquer comment la distillation fonctionne techniquement et présenter l’histoire qui nous a menés ici, parce que tout cela n’a pas commencé le mois dernier. Nous devons aussi parler de la partie dont personne dans la Silicon Valley ne veut vraiment discuter : l’hypocrisie derrière ces histoires.

Si vous êtes curieux et aimez regarder des vidéos, j’en ai aussi fait une sur ce sujet :

P.-S. Pensez à vous abonner à la chaîne, nous visons les 100 000 abonnés cette année! Il reste 30 % du chemin et j’aimerais que vous en fassiez partie! Cliquez ici pour vous abonner et recevoir des tonnes de vidéos sur l’ingénierie IA!

Le rapport d’Anthropic est le plus détaillé des trois. Commençons donc par celui-ci. L’entreprise affirme avoir identifié trois grands laboratoires chinois, DeepSeek, Moonshot AI et MiniMax, qui auraient créé des milliers de faux comptes pour extraire systématiquement les capacités les plus précieuses de Claude. Il ne s’agissait pas d’une utilisation occasionnelle de l’API. Selon Anthropic, il s’agissait d’une extraction intentionnelle et ciblée des capacités.

Il est important de préciser que ces trois laboratoires d’IA chinois sont aussi d’excellentes entreprises et des contributeurs qui aident le monde de l’IA open source à grandir et à innover. La communauté les apprécie énormément pour cela.

Mais revenons aux accusations… L’infrastructure décrite s’appelle un « cluster hydra » : des réseaux distribués de comptes API gérés par des services commerciaux de proxys. Un seul réseau de proxys gérait simultanément plus de 20 000 comptes. Lorsqu’un compte était banni, un autre le remplaçait. Ils mélangeaient le trafic de distillation à des requêtes légitimes pour rendre la détection plus difficile. Il faut reconnaître l’effort d’ingénierie!

Et voici ce qui est intéressant : chacun de ces laboratoires cherchait des choses complètement différentes. Voyons donc ce que chacun a fait avant de parler un peu plus de la distillation et de son importance.

DeepSeek ne représente qu’environ 150 000 de ces 16 millions d’échanges. Moins de 1 %. Mais ce que l’entreprise faisait était sans doute plus intelligent que tout le reste.

DeepSeek utilisait Claude pour trois choses principales. Premièrement, l’extraction du raisonnement. L’entreprise avait conçu des prompts qui demandaient à Claude « d’imaginer et d’exprimer le raisonnement interne derrière une réponse terminée, puis de l’écrire étape par étape ». Comme l’API de Claude n’expose généralement pas sa chaîne de pensée, DeepSeek envisageait de générer des données synthétiques de traces de raisonnement à grande échelle. C’est exactement le genre de données que vous utiliseriez pour entraîner un modèle de réflexion comme DeepSeek-R1 après avoir obtenu le modèle DeepSeek de base. Et ces données coûtent extrêmement cher à produire manuellement, parce qu’il faut demander à des personnes de rédiger un raisonnement complet pour chaque réponse, puis de le faire des centaines de milliers de fois. Ooooouuuu vous demandez simplement à Claude de le faire pour vous.

La deuxième chose que DeepSeek faisait, et c’est la plus intéressante, était une notation fondée sur des rubriques. L’entreprise utilisait Claude comme modèle de récompense. Elle lui fournissait ses propres outputs et demandait à Claude de les noter selon des rubriques. Cela fournit gratuitement un signal d’apprentissage par renforcement sans avoir besoin d’annotateurs humains. En gros, vous externalisez votre RLHF à l’API de votre concurrent, ce qui est parfaitement logique puisque DeepSeek et les autres modèles ouverts sont censés être beaucoup moins intelligents que les modèles fermés.

Troisièmement, et celle-ci est incroyable, un alignement adapté à la censure. DeepSeek demandait à Claude de générer des solutions de rechange « sécuritaires » aux requêtes politiquement sensibles sur les dissidents, les dirigeants du parti et l’autoritarisme. Pensez-y une seconde. L’entreprise utilise un modèle d’IA américain pour entraîner son modèle d’IA chinois à gérer la censure comme le gouvernement chinois le souhaite. Claude devient son étape d’alignement par renforcement. C’est… créatif, je leur accorde ça.

Mais comme je l’ai dit, DeepSeek ne représentait que 150 000 de ces millions d’échanges.

MiniMax était responsable de l’immense majorité, plus de 13 millions d’échanges. L’entreprise se concentrait sur la distillation classique des plus grandes forces de Claude : la programmation agentique, l’utilisation d’outils et l’orchestration. Anthropic affirme que MiniMax interrogeait systématiquement Claude à l’aide de voies d’accès frauduleuses, recueillait ses réponses à très grande échelle et utilisait ces outputs comme données ou signaux d’entraînement pour son propre modèle. En gros, son objectif était que son nouveau modèle imite Claude le plus fidèlement possible. Anthropic pouvait facilement le remarquer parce que, lorsqu’elle a publié un nouveau modèle Claude pendant la campagne, MiniMax aurait déplacé près de la moitié de son trafic vers cette nouvelle version en moins de 24 heures. Anthropic présente ce changement comme la preuve d’une opération de distillation active et surveillée, pas comme une extraction ponctuelle.

Passons maintenant à la dernière entreprise. Moonshot AI, avec 3,4 millions d’échanges, ciblait aussi le raisonnement agentique, les agents d’utilisation d’ordinateurs et la vision par ordinateur. Anthropic affirme que les métadonnées des requêtes correspondaient aux profils publics de membres haut placés de Moonshot. Elle pouvait donc remonter jusqu’à des chercheurs précis.

Moonshot a publié Kimi K2.5 en janvier 2026, un modèle open source qui surpassait Claude 3.5 Sonnet sur certains benchmarks de programmation. À un coût inférieur de 90 %. Il n’était donc pas meilleur, mais il était clairement compétitif. La communauté a parlé d’un deuxième « moment DeepSeek ». Si les accusations de distillation sont vraies, on peut peut-être voir d’où venaient ces capacités.

Mais pour comprendre pourquoi cette histoire est plus grande que « la Chine copie l’IA américaine », vous devez comprendre ce qu’est réellement la distillation. Parce qu’elle n’est pas nouvelle. Pas du tout.

La distillation des connaissances a été formalisée en 2015 par Geoffrey Hinton, Oriol Vinyals et Jeff Dean. Trois des noms les plus importants du deep learning. Hinton, le parrain du deep learning. Vinyals, maintenant l’un des dirigeants de Gemini. Jeff Dean… enfin, Jeff Dean n’a pas besoin de présentation. Il a dirigé la majorité des efforts d’IA chez Google pendant de nombreuses années.

L’idée originale derrière la distillation est assez simple. Vous entraînez un plus petit modèle à reproduire toute la distribution de probabilités d’un modèle plus grand. Pas seulement ses réponses finales, mais son incertitude pour toutes les réponses possibles. Lorsque l’enseignant génère un token de texte et lui accorde une probabilité de 85 %, nous le donnons au modèle étudiant pour qu’il l’imite exactement. Hinton appelait ce signal le « dark knowledge ». Et cela fonctionne : le modèle étudiant atteint des performances bien supérieures à ce que sa taille laisserait croire, surtout si vous concentrez l’entraînement sur un domaine précis où l’enseignant est assez bon.

C’est une technique incroyable parce que vous avez seulement besoin d’un bon modèle. Vous pouvez lui poser des questions et utiliser ses réponses pour en entraîner un autre. Nous faisons généralement cela pour entraîner un modèle beaucoup plus petit et moins coûteux à devenir aussi bon que l’enseignant pour une tâche précise, comme la programmation. Cela permet de condenser toutes les connaissances de l’enseignant dans un modèle beaucoup plus dense et de réduire les coûts totaux. Mais le principal problème est que vous avez besoin de ce modèle enseignant. Et vous avez besoin de ses poids, de ses paramètres et des probabilités exactes qu’il produit.

Voilà un problème pour ces laboratoires chinois et les autres petits efforts open source, puisque nous n’avons pas accès aux paramètres internes des meilleurs modèles. Nous pouvons seulement les utiliser par l’interface de conversation ou l’API, et ce que nous obtenons en leur parlant se limite à des tokens. Les outputs finaux. Nous ne voyons pas les probabilités dont nous aurions besoin pour entraîner notre modèle étudiant.

Heureusement, des gens ont trouvé une solution de contournement. Même si vous ne pouvez pas voir les probabilités internes du modèle enseignant, vous pouvez quand même apprendre uniquement à partir de ses outputs textuels. Vous posez au modèle des milliers ou des millions de questions soigneusement choisies, recueillez ses réponses, ses explications, ses complétions de code, ses appels d’outils, ses refus et ses jugements, puis entraînez votre propre modèle à imiter ces patterns. C’est une forme de distillation plus faible que l’entraînement sur les probabilités elles-mêmes, mais elle fonctionne quand même remarquablement bien à une échelle suffisante. Comme toujours, il suffit de passer à l’échelle! Et si vous ciblez les bons domaines, comme la programmation, le raisonnement ou les workflows d’agents, vous pouvez transférer une part surprenante du comportement de l’enseignant dans votre propre modèle.

Et voilà essentiellement l’accusation. Ces laboratoires d’IA chinois ne sont pas accusés d’avoir volé les poids des modèles. Ils sont accusés d’utiliser des modèles de pointe comme Claude ou GPT comme enseignants boîte noire. Ils les interrogent à très grande échelle à l’aide des APIs, récoltent les outputs et transforment ces outputs en données d’entraînement pour leurs propres systèmes. Et si cela vous semble familier, ça devrait. Parce que c’est essentiellement ce qu’OpenAI, Google et Anthropic font en interrogeant Internet et des livres à très grande échelle afin d’utiliser ces données pour entraîner leurs modèles. ;)

Et il est important de noter que toutes les entreprises d’IA utilisent la distillation de façon légitime et probablement aussi de façon moins légitime, sans le dire. Lorsque vous utilisez Gemini Flash ou un petit modèle comme Claude Haiku, ils sont tous distillés à l’interne à partir de plus grands modèles. C’est toute la stratégie de produit qui permet de rendre l’IA abordable.

Tout va bien lorsque cette technique est utilisée à l’interne. C’est une technique puissante pour entraîner de plus petits modèles à devenir presque aussi bons que de plus grands modèles qui exigent énormément de données pour être entraînés. Le problème apparaît lorsqu’on essaie de le faire en exploitant d’autres modèles. Surtout des modèles fermés. Mais comme je l’ai dit, tout cela n’a rien de nouveau…

En mars 2023, Stanford a publié Alpaca, un modèle à 7 milliards de paramètres fine-tuné sur 52 000 exemples d’instructions générés par l’API d’OpenAI. Coût total : environ 600 $. Il atteignait des performances semblables à ChatGPT sur plusieurs tâches. Pas toutes, mais les tâches cruciales pour lesquelles les gens veulent qu’un LLM soit bon. Ce chiffre a choqué les gens.

Quelques semaines plus tard, Vicuna et WizardLM ont suivi. Vicuna a coûté 300 $ et a été entraîné sur les données de conversation de ShareGPT. Il affirmait atteindre 90 % de la qualité de ChatGPT. Stanford a fini par retirer la démo d’Alpaca, mais cela n’avait plus d’importance. La preuve était faite. Les comportements d’un modèle de pointe étaient une marchandise qu’on pouvait récolter à l’aide d’une API publique. Pour moins que le prix d’un bon souper.

Puis, en décembre 2024, DeepSeek a publié V3 et, juste après, en janvier 2025, R1. Le plus grand choc pour l’IA américaine venait de se produire. L’entreprise affirmait atteindre les mêmes performances qu’o1 et GPT-4o d’OpenAI, les meilleurs modèles jusqu’alors. Coût d’entraînement : environ 5,6 millions de dollars, que ce chiffre soit vrai ou non. Environ 2 000 anciens GPUs Nvidia H800. Pas des H100. Pas des Blackwell. De plus vieilles puces qui n’étaient même plus censées être compétitives.

Nvidia a chuté de 17 % ce jour-là. Environ 589 milliards de dollars de valeur marchande. La pire perte de capitalisation boursière en une seule journée de l’histoire des marchés. Tout le Nasdaq a perdu plus de 3 %. Plus de mille milliards de dollars de valeur technologique se sont évaporés en une journée. Je me souviens d’avoir couvert cette histoire sur la chaîne. Je savais que c’était probablement surtout du hype et que ce serait temporaire, mais égaler les résultats d’OpenAI tout en étant open source reste un signal important.

OpenAI et Microsoft ont immédiatement lancé une enquête. Et le soupçon était clair : quelle proportion des capacités de DeepSeek provenait de la distillation de modèles occidentaux? DeepSeek affirmait qu’elles provenaient de son architecture, de son innovation Multi-head Latent Attention et de l’apprentissage par renforcement pur. Mais la question des données de démarrage n’a jamais vraiment disparu.

C’est maintenant que l’histoire devient vraiment intéressante. Parce que les entreprises qui lancent ces accusations possèdent leur propre historique d’acquisition de données. Et il n’est pas propre.

En septembre 2025, Anthropic règle un recours collectif sur les droits d’auteur pour 1,5 milliard de dollars. Il s’agissait alors du plus grand règlement pour droits d’auteur de l’histoire. La cause? L’entreprise avait entraîné Claude sur environ 7 millions de livres téléchargés dans des bases de données piratées : Library Genesis et Pirate Library Mirror.

Les documents judiciaires sont ensuite devenus vraiment intéressants. Ils ont révélé des détails sur ce qu’on appelait « Project Panama », une opération interne d’Anthropic dans laquelle l’entreprise achetait des livres physiques en grande quantité, utilisait des machines hydrauliques pour couper leur reliure, numérisait les pages à haute vitesse, puis détruisait les copies physiques. La théorie juridique voulait que l’achat d’une copie physique, sa numérisation pour l’entraînement et la destruction de l’original permettent de conserver « une copie » selon l’usage équitable.

En juin 2025, le juge William Alsup a déterminé que l’utilisation par Anthropic de livres acquis légalement pour l’entraînement constituait un usage équitable. Il a aussi conclu que l’entreprise pouvait être tenue responsable d’avoir conservé plus de 7 millions de livres piratés dans une bibliothèque centrale. D’où le règlement de 1,5 milliard de dollars.

Et cinq mois après avoir payé 1,5 milliard de dollars pour avoir piraté des livres, alors que ces livres avaient contribué à faire grimper sa valeur bien au-delà de ce montant, Anthropic publie un rapport qui accuse les laboratoires chinois de la voler. On comprend pourquoi certaines personnes ont des sentiments partagés devant cette histoire.

Plusieurs personnes, dont Elon Musk, n’ont pas retenu leurs coups. Je cite : « Anthropic est coupable d’avoir volé des données d’entraînement à très grande échelle et a dû payer des règlements de plusieurs milliards de dollars pour son vol. » Il a décrit les responsables de l’entreprise comme « extrêmement suffisants, moralisateurs et hypocrites ». Et les critiques ont rapidement souligné que le risque juridique d’Anthropic ne s’arrêtait pas aux livres. Reuters a rapporté en janvier 2026 que des éditeurs de musique alléguaient qu’Anthropic avait violé les droits de plus de 20 000 chansons, avec des dommages-intérêts statutaires potentiels de plus de 3 milliards de dollars. Il s’agit toujours d’une allégation en cours, pas d’un jugement final, mais elle rend la posture morale ici encore moins nette.

George Hotz, l’homme derrière tiny corp, a soulevé un autre point : les laboratoires chinois avaient payé ces tokens d’API. Ils étaient des clients payants. Et Anthropic surveillait apparemment ce que ces clients faisaient avec leurs tokens. Ce qui soulève ses propres questions sur la confidentialité.

Le bon côté de cette histoire est qu’au moins, les memes gagnent en ce moment.

En gros, tout le monde vole tout le monde dans cette histoire et les fournisseurs de modèles sont les premiers à le faire.

Aucun d’entre nous n’a donné la permission que ses données soient aspirées au départ. Ces entreprises ont pris Internet en entier, ont entraîné leurs modèles dessus et sont maintenant contrariées lorsque quelqu’un prend leurs outputs.

Mais encore une fois, cela n’a rien de nouveau. Les entreprises volent des choses pour faire du profit. Au moins, la plupart de ces actions se trouvent dans une zone grise.

Mais pourquoi les trois rapports de vol des trois principales entreprises d’IA ont-ils été publiés dans un intervalle de 11 jours? Est-ce une coïncidence?

Ces accusations ne sont pas apparues dans le vide. OpenAI a envoyé sa note au comité spécial de la Chambre des représentants sur la Chine le 12 février. Le rapport d’Anthropic affirme explicitement que la distillation mine l’objectif des contrôles à l’exportation à moins que les restrictions demeurent strictes. Et quelques semaines plus tôt, le département du Commerce avait changé l’examen de certaines exportations de puces, passant d’une présomption de refus à un traitement au cas par cas pour les composantes avancées admissibles. Cela ne prouve pas une coordination. Cela rend toutefois le moment politiquement lisible.

Rest of World a rapporté un certain scepticisme sur le moment choisi, suggérant que la politique d’accès aux puces motivait ces rapports autant que la protection de la propriété intellectuelle. Et je pense que cette idée mérite d’être prise en compte. Ces entreprises ont des milliards en jeu dans le maintien de l’avantage américain en IA. Les rapports arrivent à un moment très pratique pour influencer les politiques.

Et en arrière-plan? DeepSeek préparerait V4 et R2. Leur sortie a été retardée. Le PDG n’aurait apparemment pas été satisfait des résultats et l’entreprise aurait eu de la difficulté à effectuer l’entraînement sur des puces Huawei, mais ces modèles arrivent. S’ils égalent ou surpassent les modèles de pointe occidentaux, ces accusations ne changeront rien.

Alors, où tout cela nous mène-t-il?

Le coût nécessaire pour reproduire une intelligence de pointe diminue d’environ 70 % par année pour une performance équivalente à GPT-4. Cette tendance ne s’arrêtera pas. Tant que les modèles de pointe se trouvent derrière des APIs publiques, leur intelligence peut être extraite.

Le cadre juridique demeure réellement flou. Le Bureau du droit d’auteur des États-Unis affirme que les outputs d’une IA doivent contenir assez d’apport humain pour être protégés par le droit d’auteur. Qualifier la distillation de « vol » repose donc sur des violations des conditions d’utilisation, pas sur le droit de la propriété intellectuelle. C’est une base beaucoup plus faible que quiconque ne veut l’admettre.

Les laboratoires occidentaux tentent aussi de déplacer la valeur des outputs bruts des modèles vers les produits, les workflows et les écosystèmes. Claude Code est un bon exemple de cette logique. Le fossé concurrentiel dépend moins du modèle nu et davantage des outils qui l’entourent. La distillation compte alors moins. Honnêtement, c’est intelligent. Jusqu’à ce que toute la base de code soit elle aussi divulguée, un tout autre problème dont j’ai parlé dans une récente vidéo si ce qui est arrivé avec la fuite de Claude Code vous intéresse!

Mais l’argument sur la sécurité est réel. Si les modèles distillés retirent les garde-fous de sécurité, si un modèle hérite de la capacité de raisonner sur, par exemple, la synthèse chimique sans hériter des mécanismes de refus, ce n’est pas un conflit commercial. C’est un véritable problème de sécurité.

Écoutez, je recommande les modèles DeepSeek et Kimi depuis des mois. Je les ai tous essayés. Ma stack actuelle est ChatGPT pour les tâches rapides, Claude pour la majorité du travail lourd, notamment le code et les automatisations avec Cowork, Gemini pour la génération d’images et les tâches liées à la recherche approfondie, puis de plus en plus les solutions open source pour ce que je veux exécuter localement et efficacement ou pour les tâches qui exigent la confidentialité des données. Et Anthropic a ensuite publié ce rapport.

Je pense que la distillation se fera quoi qu’il arrive. Elle existe depuis 2023. Alpaca a prouvé le concept pour 600 $ et les techniques sont seulement devenues plus sophistiquées depuis. Vous ne l’arrêterez pas avec des conditions d’utilisation.

La question intéressante n’est pas de savoir si elle se produit. C’est de savoir si elle compte. Si les laboratoires chinois peuvent produire des modèles qui égalent les modèles occidentaux à une fraction du coût, que ce soit par la distillation, une architecture intelligente ou de l’ingénierie pure, c’est uniquement une bonne nouvelle pour nous, les utilisateurs et les builders. Et cela signifie seulement que l’open source peut, au mieux, devenir aussi bon que les modèles propriétaires, ce qui n’est pas une si grande menace.

Si DeepSeek entraîne son modèle v4 sur GPT 5 et qu’à sa sortie, nous sommes déjà à la version 5.4, OpenAI aura toujours une longueur d’avance.

En somme, la distillation offre des avantages. Elle aide la recherche, les petits laboratoires et les personnes qui ne disposent pas de budgets illimités. Mais elle comporte aussi des désavantages. Elle va techniquement à l’encontre des conditions d’utilisation de ces fournisseurs de modèles. Ce n’est certainement pas la façon la plus propre d’obtenir un avantage.

Mais peu importe ce que nous en pensons, cette histoire n’est pas terminée. DeepSeek V4 arrive. D’autres accusations suivront pour la plupart des nouveaux modèles et des nouvelles entreprises. Et personne n’a de réponse claire à la question au cœur de tout cela : qui peut posséder une intelligence construite avec les données de tout le monde?

Qu’en pensez-vous? Est-ce du vol ou simplement le fonctionnement de cette technologie? Dites-le-moi dans les commentaires.

Merci d’avoir lu jusqu’au bout!

---

Références et liens :

• Anthropic, « Detecting and preventing distillation attacks » : https://www.anthropic.com/news/detecting-and-preventing-distillation-attacks
• Note d’OpenAI, par Bloomberg : https://assets.bwbx.io/documents/users/iqjWHBFdfxIU/rRmql_jJcxb4/v0
• Rapport GTIG de Google : https://cloud.google.com/blog/topics/threat-intelligence/distillation-experimentation-integration-ai-adversarial-use
• Hinton, Vinyals et Dean (2015), « Distilling the Knowledge in a Neural Network » : https://arxiv.org/abs/1503.02531
• Stanford Alpaca : https://crfm.stanford.edu/2023/03/13/alpaca.html
• Règlement de 1,5 milliard de dollars d’Anthropic, NPR : https://www.npr.org/2025/09/05/nx-s1-5529404/anthropic-settlement-authors-copyright-ai
• Project Panama, Boston Globe : https://www.bostonglobe.com/2026/01/27/nation/silicon-valley-plan-destroy-books/
• Réponse d’Elon Musk : https://x.com/elonmusk/status/2026052687423562228
• Rest of World, scepticisme sur le moment choisi : https://restofworld.org/2026/openai-deepseek-distillation-dispute-us-china/
• Sortie de DeepSeek R1 : https://api-docs.deepseek.com/news/news250120
• Introduction en bourse de MiniMax, Caixin : https://www.caixinglobal.com/2026-01-06/minimaxs-hong-kong-ipo-oversubscribed-1848-times-as-ai-frenzy-builds-102400879.html
• Kimi K2.5, TechCrunch : https://techcrunch.com/2026/01/27/chinas-moonshot-releases-a-new-open-source-model-kimi-k2-5-and-a-coding-agent/

FAQ

Qu’est-ce que la distillation de l’IA?

La distillation de l’IA entraîne un modèle à imiter les comportements utiles d’un autre modèle, souvent pour rendre le résultat moins coûteux, plus petit ou plus facile à déployer.

Pourquoi la distillation de l’IA est-elle controversée?

Elle devient controversée lorsqu’un laboratoire utilise les outputs d’une API ou les traces de raisonnement d’un autre modèle d’une façon que le fournisseur d’origine n’a pas autorisée.

Que devraient retenir les builders de ce débat?

Les builders devraient distinguer la technique de la question politique. La distillation peut être utile, mais la source des données d’entraînement compte toujours.

Pourquoi entraîner un modèle étudiant plus petit à partir d’un modèle enseignant plus grand?

Un étudiant spécialisé peut conserver les comportements utiles de l’enseignant tout en réduisant la taille du modèle, les coûts d’inférence et les exigences de déploiement.

Que perd-on lorsque la distillation utilise seulement les réponses d’une API?

Les utilisateurs d’une API voient les réponses générées, mais pas toute la distribution de probabilités de l’enseignant. Ils ne peuvent donc pas entraîner leur modèle avec le signal plus riche parfois appelé dark knowledge.

Qu’est-ce qu’un cluster hydra dans une attaque par distillation?

C’est un réseau distribué de comptes et de proxys qui continue d’envoyer du trafic d’extraction et remplace les comptes lorsqu’ils sont bannis.