À retenir
- Construire sur des LLMs ne se limite pas au prompting. Les aspects difficiles sont le contexte, l’évaluation, la fiabilité, le coût et l’adéquation avec le produit.
- Le RAG, le fine-tuning, les workflows et les agents résolvent des problèmes différents. Le cas d’usage doit donc passer avant la technique.
- Un produit LLM utile a besoin de boucles de feedback et de vérifications, pas seulement d’une démo qui fonctionne dans le scénario idéal.
Voici notre deuxième séance gratuite sur la construction d’applications avec de grands modèles de langage (LLMs), tirée de notre récent cours vidéo de 10 heures.
Pendant cette présentation, nous avons exploré comment surmonter leurs limites et exploiter leur puissance grâce à des techniques comme le RAG, le fine-tuning et les sorties structurées, en suivant le parcours typique qu’une entreprise devrait emprunter.
Si vous l’avez manquée (ou si vous voulez la revoir), regardez-la ici sur YouTube :
- Avant de vous lancer dans le fine-tuning (souvent coûteux et complexe), privilégiez l’optimisation des prompts, puis le RAG (Retrieval-Augmented Generation) pour répondre aux difficultés des LLMs comme les hallucinations ou les lacunes de connaissances.
- Commencez par le prompting « zero-shot » et « few-shot ». Si cela ne suffit pas, passez au RAG de base, puis explorez des techniques de RAG avancées avant d’envisager un fine-tuning plus précis de l’encodeur ou du générateur.
- Le RAG est essentiel pour injecter de l’information externe dans vos LLMs. Les techniques de RAG avancées améliorent la pertinence grâce à un découpage intelligent des données, à l’utilisation de métadonnées, à l’intégration de bases de données vectorielles pour une recherche sémantique efficace et à des stratégies de recherche hybrides.
- Au-delà de la recherche d’information : Une fois l’information récupérée, raffinez-la en la réordonnant, en la classant par pertinence, en supprimant les doublons et en la résumant ou en l’enrichissant au besoin. Envisagez aussi des boucles de vérification, la reformulation des requêtes des utilisateurs pour plus de clarté et l’intégration de plusieurs modalités (images, audio, etc.).
- Fine-Tuning : quand et pourquoi? Le fine-tuning est une option puissante, mais utilisez-le judicieusement, pour des tâches très précises lorsqu’un dataset substantiel existe déjà, pour optimiser radicalement les performances ou pour adapter le LLM à de nouveaux domaines de connaissances. Le RLFT (Reinforcement Learning from Feedback-based Fine-Tuning) convient particulièrement bien pour raffiner le comportement du modèle à partir du feedback des utilisateurs et améliorer l’expérience globale.
- Fiabilisez les réponses avec des sorties structurées : étant donné l’imprévisibilité des réponses brutes des LLMs, les sorties structurées (par exemple JSON ou XML) sont une approche clé. Elles garantissent un format cohérent, simplifient le traitement automatisé en éliminant le parsing manuel et augmentent la fiabilité des intégrations avec d’autres systèmes.
- Implémenter des sorties structurées. Méthodes et outils : il existe deux approches principales, soit entraîner le modèle tout en lui demandant explicitement de suivre un schéma donné, soit utiliser des contraintes fondées sur la grammaire (Context-Free Grammar) qui limitent les tokens que le modèle peut générer à chaque étape. Des outils comme Pydantic (Python), Zod (JS/TS) ou des bibliothèques comme Outlines simplifient grandement cette implémentation.
- Stratégie de choix (sélectionner le bon modèle et la bonne approche) : vos besoins précis devraient guider le choix du LLM et de la technique de personnalisation. Choisissez des modèles comme Gemini pour les très longs contextes, des modèles orientés vers le raisonnement (comme o3) pour les requêtes complexes en plusieurs étapes, ou des modèles plus légers (4.1-mini, Gemini Flash) pour les tâches plus simples. Le RAG est souvent un bon choix pour interagir avec de grandes bases de données tout en contrôlant les coûts.
- Optimisation des coûts et de la latence avec le CAG (Context Caching) : pour les cas d’usage qui demandent d’analyser de façon répétée de longs documents (codebases, rapports), le « Context Caching » (offert par Gemini et OpenAI) est une technique efficace. Il stocke les tokens déjà traités pour réduire les coûts et la latence des requêtes suivantes.
- L’évaluation (le pilier de toute implémentation LLM) : que vous utilisiez du prompting avancé, du RAG, du fine-tuning ou des sorties structurées, la clé du succès repose sur une évaluation rigoureuse et continue. Mesurez quantitativement chaque étape et chaque composant de votre pipeline pour trouver les points à améliorer et itérer efficacement.
C’est tout! Regardez la vidéo complète pour obtenir encore plus d’explications sur ces points et bien plus encore ;)
P.-S. Nous avons aussi partagé gratuitement la première séance de notre cours la semaine dernière! Commencez par celle-là si vous l’avez également manquée :
P.-S. 2. Si vous avez aimé ces deux séances, vous allez adorer les quatre autres du cours complet. Inscrivez-vous ici pour seulement 199 $ et utilisez le code « tai_community » pour obtenir 15 % de rabais dès maintenant : https://academy.towardsai.net/courses/llm-primer?ref=1f9b29
FAQ
Que signifie vraiment construire sur des LLMs?
Cela signifie concevoir le système autour du modèle : contexte, outils, recherche d’information, évaluations, expérience utilisateur, monitoring et gestion des échecs.
Les équipes devraient-elles commencer par les prompts, le RAG ou le fine-tuning?
Commencez par le problème. Les prompts, le RAG, le fine-tuning et les agents s’attaquent chacun à des goulots d’étranglement différents.
Qu’est-ce que les équipes négligent habituellement?
Elles négligent habituellement l’évaluation et l’analyse des échecs, qui permettent de savoir si le système s’améliore vraiment.
Quand le fine-tuning vaut-il le travail supplémentaire?
Utilisez-le pour un comportement précis et récurrent quand vous avez assez d’exemples de grande qualité et que des contrôles plus simples ne suffisent pas.
Comment les équipes devraient-elles choisir un modèle et une stratégie de personnalisation?
Partez des exigences de qualité de la tâche, de confidentialité, de latence, de coût et de maintenance plutôt que du nom du modèle le plus récent.