À retenir
- Le fine-tuning supervisé apprend à un modèle à imiter des exemples. Le fine-tuning par renforcement lui apprend grâce à des récompenses.
- Le RFT peut aider lorsqu’il est plus facile d’évaluer le bon comportement que de le démontrer avec un énorme dataset.
- Le signal de récompense devient une décision produit. De mauvaises récompenses peuvent donc entraîner le modèle vers le mauvais comportement.
Avez-vous déjà voulu prendre un modèle de langage et lui faire répondre exactement comme vous le souhaitez, sans avoir besoin d’une montagne de données?
OpenAI a quelque chose pour nous : le fine-tuning par renforcement, ou RFT. Il change la façon dont nous personnalisons les modèles d’IA. Au lieu de réentraîner un modèle en lui donnant des exemples de ce que nous voulons et en espérant qu’il apprenne de manière classique, nous lui enseignons en récompensant les bonnes réponses et en pénalisant les mauvaises. Un peu comme dresser un chien, mais avec moins de gâteries et plus de mathématiques.
Comparons le fine-tuning par renforcement au fine-tuning supervisé!
Normalement, lorsque vous faites le fine-tuning d’un modèle, vous lui donnez un ensemble d’exemples d’entraînement et il apprend à les imiter. C’est ce qu’on appelle le fine-tuning supervisé, ou SFT. Cette méthode fonctionne bien, mais elle exige généralement un dataset massif pour être efficace. Le fine-tuning par renforcement, ou RFT, inverse cette logique. Au lieu de simplement copier des réponses, le modèle doit trouver la solution, recevoir du feedback et s’améliorer avec le temps. C’est un apprentissage par essais et erreurs, sauf que les erreurs sont corrigées avec des mathématiques plutôt qu’avec de la frustration. Et le meilleur? OpenAI affirme qu’on peut obtenir d’excellents résultats avec seulement quelques dizaines d’exemples de grande qualité. Cela change la donne.
Pourquoi est-ce important? Les modèles o3 sont des modèles extrêmement puissants de leur plus récente série de « raisonnement », et ils conviennent parfaitement au RFT. Ils sont déjà conçus pour exceller en logique, en programmation et en mathématiques. Le fine-tuning par renforcement peut donc affiner ces capacités dans des domaines précis comme l’analyse juridique ou les prévisions financières. En gros, au lieu de partir d’une IA généraliste à laquelle vous voulez enseigner les mathématiques ou d’autres tâches complexes, ce qui exigerait un fine-tuning supervisé pour apprendre de nouveaux concepts, vous disposez déjà d’un modèle extrêmement puissant. Vous pouvez simplement tirer parti du fine-tuning par renforcement pour en faire l’expert dont vous avez besoin.
Les deux méthodes ont leur utilité, que nous pouvons résumer en une ligne chacune :
- Le fine-tuning supervisé enseigne au modèle de nouvelles choses qu’il ne connaît pas encore, comme une nouvelle langue. Il est donc puissant pour les modèles plus petits et moins « intelligents ».
- Le fine-tuning par renforcement oriente plutôt le modèle actuel vers ce que nous voulons vraiment qu’il dise. Il « aligne » essentiellement le modèle sur nos besoins, mais il faut déjà disposer d’un modèle puissant. C’est pourquoi les modèles de raisonnement lui conviennent parfaitement.
J’ai déjà parlé du fine-tuning sur la chaîne si cela vous intéresse. Voyons maintenant comment le RFT fonctionne réellement!
D’abord, il vous faut un dataset. Il s’agit de votre ensemble de tâches ou de questions, accompagné des bonnes réponses. Disons que vous voulez un modèle excellent en diagnostic médical. Vous lui fourniriez plusieurs descriptions de cas avec les bons diagnostics. Le point clé est que ces tâches doivent avoir des réponses objectives et vérifiables. S’il n’existe aucune réponse clairement bonne ou mauvaise, le RFT fonctionne moins bien. Cette méthode convient donc parfaitement aux mathématiques, à la programmation et à la prise de décision structurée, mais beaucoup moins à l’écriture créative ou aux tâches fondées sur des opinions.
Ensuite, il vous faut une façon de noter les réponses du modèle. C’est là que les choses deviennent intéressantes. Le grader détermine la qualité d’une réponse. Il peut être simple, comme une comparaison directe avec la bonne réponse, ou plus complexe, par exemple en accordant des points partiels aux réponses proches. Pensez à un examen de mathématiques : vous obtenez tous les points si votre réponse est exacte, peut-être la moitié si vous montrez les bonnes étapes mais faites une petite erreur, et aucun point si vous écrivez simplement « 42 » partout. Concevoir un bon grader est crucial, parce qu’il contrôle le signal de récompense qui guide l’apprentissage.
Le mécanisme de notation du fine-tuning par renforcement (RFT) joue un rôle crucial dans la façon dont un modèle apprend de ses outputs. Dans le RFT, un grader, soit un modèle distinct ou une heuristique prédéfinie, évalue les réponses du modèle par rapport à un ensemble de bonnes réponses et attribue des scores selon leur exactitude et leur pertinence. Oui, nous pouvons utiliser un autre modèle de langage pour noter et améliorer un modèle de langage existant! Cela devient assez fou! Ce score peut être binaire, donc correct ou incorrect, ou plus granulaire pour accorder des points partiels. Par exemple, une réponse peut obtenir tous les points si la bonne réponse arrive en premier, une partie des points si elle arrive en deuxième, ou aucun point si elle est absente. La possibilité d’accorder des points partiels est particulièrement utile, puisqu’elle permet un feedback plus nuancé et renforce l’apprentissage même lorsque la réponse du modèle n’est pas parfaite. Ce feedback structuré aide à stabiliser et à accélérer l’entraînement en favorisant des améliorations progressives avec le temps.
Les métriques d’évaluation sont tout aussi importantes pour mesurer les performances des modèles ajustés avec le RFT. Parmi les métriques clés, on trouve l’exactitude top-k, qui mesure la fréquence à laquelle la bonne réponse apparaît parmi les k meilleures prédictions du modèle. Plus précisément, l’exactitude top-1 mesure le pourcentage de fois où la bonne réponse arrive en premier, tandis que l’exactitude top-5 indique la fréquence à laquelle elle figure parmi les cinq premières réponses. L’exactitude top-max vérifie si la bonne réponse apparaît dans la liste des outputs, peu importe sa position. Ces métriques sont suivies au fil du temps pour mesurer les améliorations et comparer différents modèles. Ensemble, le mécanisme de notation et les métriques d’évaluation fournissent un feedback structuré et des résultats mesurables qui améliorent les capacités de raisonnement de notre modèle et assurent des performances efficaces dans des applications concrètes.
Vient ensuite la boucle d’entraînement. C’est là que la magie opère. Le modèle génère des réponses, le grader, généralement un autre LLM ou notre propre fonction d’évaluation, les note, puis le modèle se met à jour pour favoriser les réponses qui obtiennent les meilleurs scores. OpenAI utilise probablement l’optimisation de politique proximale, ou PPO, pour y arriver. Si vous ne connaissez pas la PPO, c’est un algorithme d’apprentissage par renforcement déjà utilisé dans le RLHF, la méthode derrière l’ajustement du comportement de ChatGPT, dont j’ai aussi parlé dans une vidéo précédente. La PPO aide le modèle à ajuster graduellement ses réponses sans provoquer de changements de comportement énormes et instables. C’est essentiellement une façon d’affiner le modèle sans le briser. Cette boucle se répète encore et encore jusqu’à ce que le modèle obtienne constamment de bons scores. Le résultat? Un modèle ajusté qui ne se contente pas de copier des exemples, mais qui a réellement appris à répondre comme vous le souhaitez. C’est comme la façon dont les modèles d’OpenAI répondent toujours à vos questions avec une courte introduction, une liste à puces, puis une petite conclusion, ou refusent les demandes malveillantes. Tout cela vient de leur propre étape de fine-tuning par renforcement pour les modèles ChatGPT.
Bien sûr, vous ne laissez pas le modèle s’entraîner aveuglément et indéfiniment. Vous devez le valider pour vous assurer qu’il fonctionne bien sur de nouveaux exemples qu’il n’a jamais vus. S’il réussit bien sur l’ensemble d’entraînement mais échoue sur de nouvelles tâches, il s’agit de surapprentissage. Vous avez essentiellement créé une IA excellente à un examen précis, mais mauvaise dans l’application réelle. Vous réservez donc certains exemples aux tests et vérifiez si le modèle généralise bien. Sinon, vous ajustez le processus : vous ajoutez des exemples, modifiez les critères de notation ou faites le fine-tuning d’autres paramètres.
Si vous vous demandez comment l’implémenter concrètement, OpenAI fournit une API RFT qui prend en charge une grande partie de la complexité. Vous téléversez simplement vos tâches, vos réponses de référence et vos critères de notation, puis l’API effectue l’entraînement en arrière-plan. Si vous vouliez plutôt construire le système vous-même, il vous faudrait une librairie d’apprentissage par renforcement comme la librairie Transformer Reinforcement Learning de Hugging Face (TRL), ainsi qu’un système pour exécuter l’inférence du modèle, calculer les récompenses et optimiser les paramètres. C’est plus de travail, mais tout à fait possible si le développement avancé en IA vous intéresse ou si vous travaillez avec des modèles open source.
Le travail open source d’Ai2 sur l’apprentissage par renforcement avec des récompenses vérifiables (RLVR) est aussi très semblable. Vous pouvez consulter leur code dans Open Instruct, dont le lien se trouve ci-dessous. Petite précision : nous nous attendons à voir apparaître plusieurs librairies, outils et options de fine-tuning sans code autour du fine-tuning par renforcement, notamment pour l’impressionnant modèle de raisonnement r1 de DeepSeek, plus abordable, et ses successeurs. Je m’attends aussi à ce que DeepMind propose bientôt le fine-tuning par renforcement pour sa série de modèles Gemini Thinking.
À ce stade, vous vous demandez peut-être en quoi le fine-tuning par RL diffère du RLHF, la méthode d’apprentissage par renforcement utilisée pour aligner l’IA sur les préférences humaines. La plus grande différence réside dans le type de feedback. Le RLHF repose sur des évaluations humaines : des personnes classent les réponses selon leur utilité ou leur pertinence. Cela fonctionne bien pour rendre une IA polie, sécuritaire et généralement sympathique, mais pas nécessairement exacte sur le plan factuel. Le RFT, lui, mise entièrement sur l’exactitude objective. Le feedback indique davantage si la réponse est bonne ou mauvaise. Cela rend le RFT idéal dans les domaines où les critères d’exactitude sont stricts, comme le droit, la médecine, la finance et l’ingénierie.
Et par rapport au fine-tuning supervisé classique? Les API de fine-tuning standard utilisent généralement des méthodes de fine-tuning supervisé efficaces en paramètres, comme LoRA. Nous leur fournissons des prompts et des complétions, puis le modèle est ajusté en mettant à jour ses paramètres pour correspondre aux complétions. Le RFT utilise les données beaucoup plus efficacement. Le SFT exige généralement des milliers d’exemples pour produire de bonnes performances, parce que le modèle mémorise simplement les correspondances entre inputs et outputs. Comme le RFT utilise un feedback itératif, il peut fonctionner avec seulement quelques dizaines d’exemples soigneusement choisis. Voyez-le ainsi : le SFT remplit votre tête d’information, tandis que le RFT vous apprend à réfléchir au problème et à agir en conséquence.
Parlons maintenant de quelques applications concrètes. Les assistants IA experts représentent un cas d’utilisation important. Imaginez un cabinet d’avocats qui veut un modèle capable d’effectuer des recherches juridiques et d’analyser des dossiers. Au lieu de se fier à un modèle d’IA généraliste qui pourrait mal comprendre certaines nuances juridiques, le cabinet peut utiliser le RFT pour entraîner une version d’o3-mini qui sait interpréter les lois, résumer des arguments juridiques et répondre avec une grande exactitude aux questions de droit. Comme le feedback repose sur de bonnes interprétations juridiques, le modèle apprend à être plus précis et plus utile dans un contexte professionnel.
L’évaluation du risque financier est un autre domaine majeur. Les banques et les sociétés d’investissement s’appuient sur des règles complexes pour évaluer les demandes de prêt, détecter la fraude et mesurer le risque. Le RFT peut aider à entraîner un modèle qui comprend ces critères comme un expert et prend des décisions exactes et cohérentes à partir de données historiques. Comme le fine-tuning utilise de bons cas passés, le modèle apprend à appliquer le même raisonnement à de nouvelles situations, ce qui aide à automatiser des décisions financières à enjeux élevés.
La véritable leçon est que le RFT sert à créer des modèles d’IA qui ne sont pas seulement bons en raisonnement général, mais deviennent de vrais experts spécialisés dans leur domaine. Et puisqu’il exige beaucoup moins de données que le fine-tuning traditionnel, il est bien plus accessible. Au lieu d’avoir besoin d’un énorme dataset, il vous faut seulement un ensemble de tâches bien conçu et une solide fonction de notation. C’est une victoire majeure pour les entreprises, les chercheurs et les développeurs qui veulent obtenir de grandes performances sans coûts de compute massifs.
Alors, quelle est la prochaine étape pour le RFT? OpenAI le teste actuellement dans un programme de recherche alpha avec certains partenaires. L’entreprise affine l’approche, améliore l’API et travaille avec des organisations dans les domaines du droit, de la santé et de la finance pour évaluer son efficacité dans des scénarios concrets. Avec un déploiement plus large, nous pourrions voir apparaître une toute nouvelle vague d’applications d’IA propres à chaque domaine. Au lieu de n’avoir que des modèles généralistes comme ChatGPT, nous pourrions avoir des spécialistes ajustés dans chaque industrie, chacun optimisé pour offrir des performances de niveau expert dans son domaine. Je m’attends à ce que le RFT devienne un ajout extrêmement puissant à la boîte à outils des développeurs de LLMs et qu’il complète d’autres méthodes enseignées dans nos cours, comme le RAG avancé, le prompting, l’utilisation d’outils et les agents. Si cela vous intéresse et que vous voulez apprendre à travailler avec le RFT et toutes ces techniques, découvrez nos cours sur academy.towardsai.net.
J’espère que vous avez aimé cet article. On se retrouve dans le prochain!
Merci d’avoir lu!
Références;
https://openai.com/form/rft-research-program/
https://www.youtube.com/watch?v=yCIYS9fx56U
FAQ
Qu’est-ce que le fine-tuning par renforcement?
C’est une façon d’adapter un modèle en récompensant les meilleures réponses et en pénalisant les moins bonnes au lieu de lui faire uniquement imiter des exemples.
Quelle est la différence entre le RFT et le fine-tuning supervisé?
Le fine-tuning supervisé apprend à partir d’exemples cibles. Le RFT apprend grâce au feedback qui indique quels outputs sont meilleurs.
Qu’est-ce qui peut mal tourner avec le RFT?
Si la récompense est erronée, incomplète ou facile à exploiter, le modèle peut optimiser son score plutôt que la vraie tâche.
Quel type de récompense fonctionne pour le fine-tuning par renforcement?
Utilisez un signal vérifiable qui classe les comportements selon leur alignement avec la vraie tâche, au lieu de simplement récompenser un output fluide.
Quelle infrastructure exige une boucle RFT personnalisée?
Elle exige l’inférence du modèle, le calcul des récompenses, le stockage des rollouts, l’optimisation par apprentissage par renforcement et une évaluation continue.
Comment vérifier si le RFT a surappris?
Évaluez le modèle ajusté sur de nouveaux exemples qu’il n’a jamais vus pendant l’entraînement. De bons scores d’entraînement accompagnés de faibles performances sur des exemples inédits sont un signal d’alarme clair.