Vous avez tous vu des images incroyables comme celles-ci, entièrement générées par un modèle d’intelligence artificielle. J’ai présenté plusieurs approches sur ma chaîne, comme Craiyon, Imagen et la plus connue, Dall-e 2.
Image générée avec Dalle 2 à partir du prompt : « An astronaut b-boy crew performing on Mars, polaroid ». Partagée sur la page Instagram d’OpenAI.
La plupart des gens veulent essayer ces modèles et générer des images à partir de prompts aléatoires. La majorité d’entre eux n’ont toutefois pas un code source ouvert, ce qui signifie que les gens ordinaires comme nous ne peuvent pas les utiliser librement. Pourquoi ? C’est ce que nous allons explorer dans cet article.
Eh bien, Craiyon en a un, et les gens ont généré d’excellents mèmes avec ce modèle.
Vous voyez comment un tel modèle peut devenir dangereux : il permet à n’importe qui de générer n’importe quoi. Le risque ne concerne pas seulement les mauvais usages possibles des images générées, mais aussi les données qui servent à entraîner ces modèles. Elles proviennent d’images aléatoires trouvées sur Internet, donc pratiquement de n’importe quoi, y compris du contenu douteux qui peut produire des images inattendues. Il serait également possible de récupérer ces données d’entraînement par ingénierie inverse du modèle, ce que nous ne voulons probablement pas.
OpenAI a aussi invoqué ces risques pour justifier son choix de ne pas rendre le modèle Dall-e 2 public. Nous allons examiner les risques potentiels que l’équipe étudie et la façon dont elle tente de les atténuer. Je vais parcourir un article où OpenAI décrit les étapes de prétraitement des données utilisées pour entraîner Dall-e 2.
Qu’est-ce qu’OpenAI veut vraiment dire lorsqu’elle affirme faire des efforts pour réduire les risques ?
La première mesure, et la plus évidente, consiste à filtrer les images violentes et sexuelles parmi les centaines de millions d’images sur Internet. L’objectif est d’empêcher le modèle d’apprendre à produire du contenu violent ou sexuel, ou même de retourner les images originales dans ses générations.
C’est comme ne pas apprendre à votre enfant à se battre si vous ne voulez pas qu’il se retrouve dans une bataille. Cela peut aider, mais nous sommes loin d’une solution parfaite ! Je crois tout de même qu’il est nécessaire d’avoir de tels filtres dans nos jeux de données, et qu’ils aident certainement dans ce cas-ci.
« Nous commençons avec un petit jeu de données d’images étiquetées (en haut de la figure). Nous entraînons ensuite un classificateur sur ces données. Le processus d’apprentissage actif utilise le classificateur actuel pour sélectionner une poignée d’images non étiquetées susceptibles d’améliorer sa performance. Finalement, des humains produisent les étiquettes de ces images et les ajoutent au jeu de données étiquetées. Le processus peut être répété afin d’améliorer la performance du classificateur de façon itérative. » Image tirée de l’article de blogue d’OpenAI.
Mais comment font-ils exactement ? Ils bâtissent plusieurs modèles entraînés à déterminer quelles données doivent être filtrées. Pour y arriver, ils leur fournissent différents exemples positifs et négatifs, puis améliorent les classificateurs de façon itérative avec du feedback humain. Chaque classificateur parcourt le jeu de données complet et supprime plus d’images que nécessaire, juste au cas où. Il vaut mieux que le modèle ne voie jamais les mauvaises données plutôt que de tenter de corriger le problème après coup. Chaque classificateur possède sa propre compréhension du contenu à filtrer. Ils se complètent donc afin d’assurer un bon filtrage, si par « bon » nous entendons qu’aucune image faussement négative ne traverse le processus.
Cette méthode comporte tout de même des désavantages. Premièrement, le jeu de données devient forcément plus petit et pourrait moins bien représenter le monde réel, ce qui peut être bon ou mauvais selon le cas d’utilisation. Les chercheurs ont également découvert un effet secondaire inattendu du filtrage : il amplifiait les biais du modèle envers certains groupes démographiques. Cela nous mène à la deuxième mesure d’atténuation d’OpenAI avant l’entraînement : réduire les biais causés par ce filtrage.
« Générations pour le prompt “military protest” produites par notre modèle non filtré (à gauche) et notre modèle filtré (à droite). Le modèle filtré ne produit presque jamais d’images d’armes à feu. » Image tirée de l’article de blogue d’OpenAI.
Par exemple, après le filtrage, les chercheurs ont remarqué que le modèle générait davantage d’images d’hommes et moins d’images de femmes que les modèles entraînés sur le jeu de données original. Ils expliquent que l’une des raisons pourrait être que les femmes apparaissent plus souvent que les hommes dans le contenu sexuel. Ce déséquilibre pourrait amener les classificateurs à retirer davantage de faux positifs contenant des femmes, créant ainsi un écart dans le ratio des genres que le modèle observe pendant l’entraînement et reproduit ensuite.
« Illustration de la repondération du jeu de données. Nous commençons avec un jeu équilibré (à gauche). Si notre filtre touche une catégorie plus qu’une autre, il peut créer un jeu de données biaisé (au centre). Grâce à la repondération, nous “répétons” dans les faits certaines données plus que d’autres, ce qui nous permet de rééquilibrer le biais causé par les filtres (à droite). » Image tirée de l’article de blogue d’OpenAI.
Pour corriger le problème, ils repondèrent le jeu de données filtré afin qu’il corresponde à la distribution du jeu initial avant le filtrage. Ils donnent l’exemple de chats et de chiens, où le filtre retirerait davantage de chiens que de chats. La solution consisterait à doubler la perte d’entraînement pour les images de chiens, ce qui reviendrait à fournir deux images de chiens plutôt qu’une seule afin de compenser leur absence. Il ne s’agit encore une fois que d’une approximation du véritable biais de filtrage, mais cette méthode réduit tout de même l’écart de distribution entre le jeu avant filtrage et celui après filtrage.
Le dernier problème concerne la mémorisation, un domaine où les modèles semblent beaucoup plus puissants que moi. Comme nous l’avons mentionné, il est possible de faire régurgiter leurs données d’entraînement à de tels modèles de génération d’images, ce qui n’est pas souhaitable dans la plupart des cas. Nous voulons également générer de nouvelles images et non simplement copier-coller des images d’Internet.
Mais comment empêcher cela ? Comme pour notre mémoire, vous ne pouvez pas vraiment choisir ce que vous retenez et ce qui disparaît. Une fois que vous voyez quelque chose, soit l’information reste, soit elle ne reste pas.
Les chercheurs ont découvert que, tout comme un humain qui apprend un nouveau concept, le modèle peut finir par connaître une image par cœur s’il la voit de nombreuses fois dans le jeu de données. Il pourrait alors la reproduire exactement lorsqu’il reçoit un prompt textuel semblable ou identique.
Ce problème possède une solution simple et fiable : trouver les images trop semblables et supprimer les doublons. Facile ? Hmm, cela exigerait de comparer chaque image à toutes les autres, soit des centaines de quadrillions de paires d’images. Les chercheurs commencent plutôt par regrouper les images semblables, puis comparent chaque image aux autres du même groupe et de quelques groupes voisins. Ils réduisent ainsi énormément la complexité tout en trouvant 97% de toutes les paires en double.
Encore une correction à apporter au jeu de données avant l’entraînement de notre modèle Dall-e.
OpenAI mentionne également certaines prochaines étapes à l’étude. Si vous avez aimé cet article, je vous invite vraiment à lire son article détaillé pour découvrir tous les aspects de ce travail d’atténuation avant l’entraînement. Il est très intéressant et bien écrit.
Dites-moi ce que vous pensez de ces efforts d’atténuation et du choix de limiter l’accès du public au modèle. Laissez un commentaire ou participez à la discussion dans notre communauté Discord !
Merci d’avoir lu jusqu’à la fin !
Je vous retrouve la semaine prochaine avec un autre article de recherche incroyable,
Louis
Références
- Article d’OpenAI : https://openai.com/blog/dall-e-2-pre-training-mitigations/
- Vidéo sur Dalle 2 : https://youtu.be/rdGVbPI42sA
- Vidéo sur Craiyon : https://youtu.be/qOxde_JV0vI
- Utilisez Craiyon : https://www.craiyon.com/
FAQ
Pourquoi un modèle texte-image peut-il créer des risques pour la sécurité ?
Il peut générer rapidement et à grande échelle des images réalistes nuisibles, sexuelles, violentes, trompeuses ou ciblées.
Comment OpenAI a-t-elle filtré les données d’entraînement de DALL-E 2 ?
Des classificateurs ont retiré les images appartenant aux catégories restreintes avant que le modèle apprenne à partir du jeu de données.
Pourquoi filtrer les données avant l’entraînement du modèle ?
Empêcher l’exposition peut être plus efficace que de tenter de supprimer chaque comportement nuisible après l’entraînement.
Le filtrage de sécurité peut-il créer de nouveaux biais ?
Oui. Le retrait inégal de certaines catégories a modifié la représentation, notamment en générant moins de femmes que le modèle non filtré.
Que nous apprend ce compromis entre biais et sécurité ?
Chaque mesure d’atténuation doit être évaluée, puisque réduire un risque peut silencieusement nuire à la représentation ou à la performance ailleurs.