GPT-4 est puissant, mais saviez-vous que certaines IA sont entièrement construites grâce à lui ? Oui, GPT-4 est si bon qu’il peut générer des données d’une qualité suffisante pour entraîner d’autres modèles d’IA. Et pas n’importe quels modèles : des modèles meilleurs que lui ! Liu et al. viennent d’utiliser GPT-4 pour créer un modèle visuel et langagier à usage général appelé LLaVA, le premier modèle à usage général qui comprend et suit des instructions visuelles et langagières. En gros, il s’agit d’un modèle qui comprend presque parfaitement le texte et les images en même temps. Vous pouvez donc lui poser n’importe quelle question sur n’importe quelle image. Puisque GPT-4 ne peut pas encore voir les images, mais qu’il est incroyablement bon avec le texte, nous pouvons lui envoyer les légendes de nos images et lui demander de produire différents types d’outputs, comme des questions pour des tâches de questions-réponses, une description plus détaillée de l’image ou même des questions et réponses de raisonnement sur sa légende. C’est ce que les auteurs ont fait. Ils ont donné un rôle et une personnalité au modèle GPT-4, puis lui ont demandé de générer différents types de données, toutes basées sur la légende initiale de chaque image.
« Un exemple pour illustrer les données de suivi d’instructions. Le bloc du haut montre les contextes, comme les légendes et les boîtes englobantes, utilisés comme prompts pour GPT, tandis que le bloc du bas présente les trois types de réponses. Notez que l’image n’est pas utilisée comme prompt pour GPT. Nous la montrons seulement ici comme référence. » Image et légende tirées de l’article.
Voici à quoi ressemblaient les instructions données à GPT-4 dans le cas de LLaVA afin de construire le meilleur dataset possible et de permettre au modèle de langage de comprendre l’image aussi profondément que possible. Elles vont d’une demande de description concise de l’image jusqu’à une description exhaustive ou même une analyse approfondie.
Liste d’instructions pour obtenir une brève description de l’image. Image tirée de l’article.
Ces prompts générés par les utilisateurs et ces réponses produites par GPT-4 rempliront un bon dataset composé de différentes questions, réponses et descriptions de nos images. Nous pourrons ainsi entraîner notre IA multimodale, donc une IA capable de traiter des images et du texte, en lui envoyant les questions avec l’image et en lui demandant d’essayer de régénérer la réponse initialement fournie par GPT-4. Une fois ce type de dataset construit grâce à GPT-4 et à votre ensemble initial de paires image-légende, vous pouvez passer à la prochaine étape pour construire presque automatiquement un puissant modèle d’image et de texte avec une nouvelle technique appelée fine-tuning d’instructions visuelles.
Architecture du réseau LLaVA. Image tirée de l’article.
Le fine-tuning d’instructions visuelles est assez simple. Vous utilisez votre image avec les questions posées à GPT-4 pour entraîner un nouveau modèle à répondre à cette question sans la légende de l’image. Il doit donc comprendre l’image elle-même pour répondre plutôt que de s’appuyer sur sa légende, comme le faisait GPT-4. Pour y arriver, il nous faut quelque chose capable de comprendre les images ET le texte, puis de combiner sa compréhension de la question et de l’image pour répondre.
Au lieu de partir de zéro, nous pouvons utiliser deux modèles déjà puissants : un pour le langage et un autre pour la vision. Dans le cas de LLaVA, les chercheurs ont choisi LLaMA comme grand modèle de langage de base qu’ils souhaitent entraîner à comprendre ensemble les images et le texte. LLaMA est un récent grand modèle de langage publié par Meta qui possède d’excellentes capacités de compréhension du texte et l’avantage d’être en quelque sorte open source. Les chercheurs peuvent donc l’adapter à leur nouvelle tâche impliquant des images avec un processus appelé fine-tuning, ce qui est impossible avec GPT-4. Comme LLaMA comprend uniquement le texte, ils doivent traduire leurs images dans une forme qu’il peut comprendre. Heureusement pour nous, un puissant modèle appelé CLIP peut accomplir cette tâche. Il a été entraîné sur de nombreuses paires image-légende et se concentre strictement sur la conversion de l’image dans la même représentation que notre texte, soit des matrices de nombres appelées embeddings qui sont semblables pour une même paire image-légende. Cette partie du modèle, qui traduit les embeddings d’image en embeddings semblables à du texte, est entraînée avec le modèle de langage. Vous pouvez ensuite combiner vos instructions textuelles à votre nouvelle représentation de l’image semblable à du texte et envoyer le tout au modèle LLaMA, qui sera entraîné à fournir la bonne réponse.
[
Le What’s AI Weekly de Louis-François Bouchard | Substack
Les seules parties qui ne sont pas entraînées sont le modèle GPT-4 utilisé au départ pour générer notre dataset et le modèle encodeur d’images CLIP qui génère nos embeddings d’image. Nous entraînons le modèle LLaMA et la conversion d’image en texte, soit une seule couche linéaire avec de simples poids appris.
Et voilà ! C’est ainsi que les chercheurs ont construit LLaVA, un puissant modèle multimodal qui combine CLIP et LLaMA, ainsi que la puissance de GPT-4, pour construire très efficacement une puissante IA multimodale pour les images et le texte ! Les chercheurs ont fait preuve d’intelligence : ils n’ont pas réinventé la roue et ont utilisé de puissantes méthodes existantes, en faisant uniquement le fine-tuning de LLaMA et des conversions d’embeddings d’image en texte.
Exemple de comparaison des résultats. Image tirée de l’article.
Ce qui est encore plus intéressant, c’est que tout leur travail est open source et qu’ils continuent de le mettre à jour. Ils ont aussi partagé une démo que tout le monde peut essayer gratuitement en ligne pour découvrir les capacités de LLaVA. J’espère que vous avez aimé cette présentation du récent modèle LLaVA, et je vous invite à lire leur article pour obtenir plus d’information sur la génération du dataset avec GPT-4 et sur leur processus de fine-tuning d’instructions visuelles. Il s’agit de l’un des premiers modèles construits avec l’aide de GPT-4, et je crois que nous en verrons de plus en plus, avec de puissants agents et modèles qui combineront leurs forces. Voilà un autre exemple de la façon dont l’IA démocratise une industrie en donnant aux chercheurs accès à de grands datasets complexes dont la construction coûterait énormément de temps et d’argent. Comme on le dit : « Quelle époque extraordinaire ! »
On se retrouve la prochaine fois avec un autre article extraordinaire !
Références
- Liu et al., 2023 : Visual Instruction Tuning, https://arxiv.org/pdf/2304.08485.pdf
- Code : https://github.com/haotian-liu/LLaVA
- Démo : https://llava-vl.github.io/
FAQ
Qu’est-ce que LLaVA ?
LLaVA est un assistant visuel et langagier qui combine un encodeur d’images et un modèle de langage fondé sur LLaMA.
Comment LLaVA relie-t-il les images au langage ?
Une projection linéaire apprise convertit les caractéristiques de l’image en une représentation que le modèle de langage peut traiter.
Pourquoi le modèle doit-il examiner l’image elle-même ?
Une légende fournie peut omettre des détails nécessaires pour répondre à une nouvelle question sur la scène.
Que peut faire un assistant visuel et langagier ?
Il peut décrire des images, répondre à des questions visuelles et raisonner de façon conversationnelle sur le contenu visible.
À quelles erreurs visuelles les utilisateurs de LLaVA doivent-ils s’attendre ?
Le modèle peut halluciner des objets, manquer de petits détails ou répondre à partir de ses a priori langagiers plutôt que des preuves visuelles.