Imaginez que vous êtes en vacances dans un autre pays dont vous ne parlez pas la langue. Vous souhaitez essayer un restaurant local, mais son menu est écrit dans une langue que vous ne comprenez pas. Cette situation ne devrait pas être très difficile à imaginer, puisque la plupart d’entre nous l’ont déjà vécue devant un menu ou des indications incompréhensibles. En 2020, vous sortiez votre téléphone et utilisiez Google Traduction pour traduire ce que vous voyiez. En 2021, vous n’aviez même plus besoin d’ouvrir Google Traduction et d’écrire chaque élément un par un. Vous pouviez simplement utiliser ce nouveau modèle de Facebook AI pour traduire tous les textes d’une image dans votre langue! Ce n’est même pas l’application principale de cette technologie, mais c’est déjà cool. Ce qui est encore plus intéressant, c’est que leur outil de traduction utilise une technologie semblable à celle des deepfakes pour changer les mots d’une image tout en reproduisant leur style original!
Traduction en temps réel du français vers l’anglais. Praveen Krishnan et al., 2021, TextStyleBrush
Il peut copier le style d’un texte à partir de n’importe quelle image en utilisant un seul mot comme exemple! Exactement comme ceci…
Exemples de traduction à partir d’un seul exemple. Praveen Krishnan et al., 2021, TextStyleBrush
Cette approche est incroyable pour la traduction photoréaliste en réalité augmentée. Et il s’agit seulement du premier article scientifique sur un tel modèle, entraîné sur un nouveau jeu de données que les chercheurs ont publié pour cette tâche, mais les résultats sont déjà très impressionnants! Elle pourrait être fantastique pour les jeux vidéo et les films, puisqu’elle permettrait de traduire très facilement le texte affiché sur les bâtiments, les affiches, les panneaux et bien plus. L’immersion deviendrait ainsi encore plus personnalisée et convaincante pour chaque personne selon la langue choisie, sans devoir modifier manuellement chaque image dans Photoshop ou refaire complètement les scènes. Comme vous pouvez le voir, l’approche fonctionne aussi avec l’écriture manuscrite à partir d’un seul mot. Sa capacité à généraliser avec un seul exemple et à en copier le style rend ce nouveau modèle d’intelligence artificielle tellement impressionnant. En fait, il comprend non seulement la typographie et la calligraphie du texte, mais aussi la scène dans laquelle il apparaît, que ce soit sur une affiche courbée ou devant différents arrière-plans.
Les modèles classiques de transfert de texte sont entraînés de façon supervisée sur un style précis et utilisent des images avec une segmentation du texte. Autrement dit, vous devez savoir si chaque pixel de l’image appartient ou non au texte, ce qui est très coûteux et complexe à obtenir. Les chercheurs utilisent plutôt un processus d’entraînement autosupervisé dans lequel le style et la segmentation du texte ne sont pas fournis au modèle. Seul le contenu réel du mot lui est donné. J’ai mentionné qu’ils avaient publié un jeu de données pour ce modèle et qu’il pouvait réaliser la tâche à partir d’un seul mot. Cela s’explique parce que le modèle apprend d’abord une méthode générale sur ce nouveau jeu de données, avec de nombreux exemples pendant l’entraînement. Ce jeu contient environ 9 000 images de textes sur différentes surfaces, avec seulement l’annotation des mots.
Exemples du jeu de données. Praveen Krishnan et al., 2021, TextStyleBrush
Le modèle utilise ensuite le nouveau mot dans l’image d’entrée pour apprendre son style selon ce que nous appelons un transfert à partir d’un seul exemple. Cela signifie qu’avec une seule image contenant le mot à modifier, il adapte automatiquement le modèle afin de reproduire exactement ce style sur n’importe quel autre mot. Comme vous le savez, l’objectif consiste à séparer le contenu d’un texte affiché dans une image, puis à appliquer le style de ce texte à un nouveau contenu et à le replacer dans l’image. Le processus qui sépare le texte de l’image elle-même est appris de façon autosupervisée, comme nous le verrons dans un instant.
En bref, nous prenons une image en entrée et créons une nouvelle image dans laquelle seul le texte est traduit.
Processus d’encodage et de décodage du style et du contenu. Praveen Krishnan et al., 2021, TextStyleBrush
Cette tâche ne ressemble-t-elle pas à celle qui consiste à prendre une photo de votre visage et à modifier seulement certaines caractéristiques pour lui donner un autre style, comme dans l’article sur les coiffures que j’ai publié la semaine dernière? Si vous vous en souvenez, j’ai expliqué que ce processus ressemblait beaucoup au fonctionnement des deepfakes. Quel meilleur modèle pour le réaliser que StyleGAN2, l’un des meilleurs pour générer une image à partir d’une autre image?
Voyons maintenant comment le modèle y arrive, donc comment se déroule son entraînement.
Vue d’ensemble du modèle. Praveen Krishnan et al., 2021, TextStyleBrush
Les chercheurs entraînent ce modèle en mesurant sa performance sur des images non annotées avec un réseau préentraîné de classification des polices et un autre de reconnaissance du texte. Voilà pourquoi l’apprentissage est autosupervisé : le modèle n’a pas directement accès aux annotations ou à une vérité terrain sur les images d’entrée. Ces mesures sont combinées à une évaluation du réalisme de l’image générée avec le nouveau texte par rapport à l’image d’entrée. Le modèle peut ainsi être entraîné sans supervision précise du contenu de l’image, tout en visant des résultats photoréalistes et fidèles. Les deux réseaux indiquent à quel point le texte généré se rapproche du résultat attendu. Ils détectent d’abord le texte dans l’image, qui devient notre vérité terrain, puis comparent le nouveau texte à celui que nous voulions écrire et sa police à celle du texte original. L’utilisation de ces deux réseaux déjà entraînés permet au générateur d’images basé sur StyleGAN d’apprendre à partir d’images sans annotation préalable. Au moment de l’inférence, donc dans le monde réel, le modèle peut ensuite traiter n’importe quelle image sans les deux autres réseaux. L’image est seulement envoyée dans le réseau StyleGAN entraîné, qui génère la nouvelle image avec le texte modifié. Il réalise la traduction en séparant le style du texte et son contenu. Le style vient de l’image, tandis que le contenu correspond à la chaîne reconnue et à celle qui doit être générée. Le processus de « compréhension » auquel je viens de faire référence repose sur un encodeur pour chacun de ces éléments, représenté en vert. Il comprime l’information dans une représentation générale qui devrait décrire avec précision ce que nous voulons conserver de l’entrée. Les deux représentations encodées sont ensuite envoyées au générateur d’images basé sur StyleGAN, montré en bleu, à différentes étapes selon le niveau de détail requis. Le contenu et le style sont d’abord transmis parce qu’ils doivent être traduits. Le style est ensuite renforcé dans l’image générée en l’injectant à plusieurs étapes du réseau avec des proportions optimales apprises pendant l’entraînement. Le générateur peut ainsi contrôler les détails de l’apparence du texte, des plus grossiers aux plus fins, plutôt que de se limiter aux détails de faible résolution comme il le ferait si l’information de style était fournie seulement en entrée. Bien sûr, de nombreux autres détails techniques sont nécessaires pour adapter chaque composante et faire fonctionner l’ensemble. Je vous laisse lire leur excellent article scientifique lié dans les références ci-dessous si vous souhaitez découvrir le côté plus technique de l’approche.
Je voulais aussi mentionner que les chercheurs ont ouvertement présenté certains problèmes avec les scènes complexes, où les variations d’éclairage ou de couleur nuisent au réalisme. Ces difficultés ressemblent à celles des autres applications basées sur les GANs que j’ai déjà couvertes, comme la transformation de votre visage en dessin animé ou la modification de l’arrière-plan d’une image. Il est essentiel et très intéressant de voir ces limites, puisqu’elles aideront à accélérer la recherche.
Exemples d’échecs. Praveen Krishnan et al., 2021, TextStyleBrush
Pour terminer sur une note plus positive, il s’agit seulement du premier article à s’attaquer à cette tâche complexe avec un tel niveau de généralisation, et les résultats sont déjà extrêmement impressionnants.
J’ai très hâte de voir les prochaines versions! Comme toujours, merci d’avoir lu l’article, et un grand merci à Rebekah Hoogenboom pour son soutien sur Patreon!
Merci de m’avoir lu!
Venez discuter avec nous dans notre communauté Discord : Learn AI Together et partagez vos projets, vos articles scientifiques et vos meilleurs cours, trouvez des coéquipiers pour Kaggle et bien plus encore!
Si vous aimez mon travail et souhaitez rester à jour dans le domaine de l’IA, vous devriez absolument me suivre sur mes autres réseaux sociaux (LinkedIn, Twitter) et vous abonner à mon infolettre hebdomadaire sur l’IA!
Pour me soutenir :
- La meilleure façon de me soutenir est de devenir membre de ce site ou de vous abonner à ma chaîne YouTube si vous préférez le format vidéo.
- Soutenez financièrement mon travail sur Patreon
Références
- Praveen Krishnan, Rama Kovvuri, Guan Pang, Boris Vassilev et Tal Hassner, Facebook AI, 2021, « TextStyleBrush: Transfer of text aesthetics from a single example », https://scontent.fymq3-1.fna.fbcdn.net/v/t39.8562-6/10000000_944085403038430_3779849959048683283_n.pdf?_nc_cat=108&ccb=1-3&_nc_sid=ae5e01&_nc_ohc=Jcq0m5jBvK8AX9p0hND&_nc_ht=scontent.fymq3-1.fna&oh=ab1cc3f244468ca196c76b81a299ffa1&oe=60EF2B81
- Jeu de données créé par Facebook AI : https://github.com/facebookresearch/IMGUR5K-Handwriting-Dataset?fbclid=IwAR0pRAxhf8Vg-5H3fA0BEaRrMeD21HfoCJ-so8V0qmWK7Ub21dvy_jqgiVo
FAQ
Que fait TextStyleBrush?
Il remplace le texte d’une image tout en reproduisant le style, la couleur, la texture et la géométrie des lettres originales.
De combien d’exemples de style a-t-il besoin?
La méthode peut déduire un style de texte à partir d’un seul exemple d’image qui contient le mot source.
Peut-il écrire dans une autre langue?
Oui. Une fois le style séparé du contenu, un nouveau texte peut être affiché avec l’apparence apprise.
Comment le modèle peut-il être entraîné sans paires d’annotations exactes?
Il utilise des objectifs de reconstruction et de réalisme qui comparent l’apparence du texte généré à celle de l’image source.
Quelles images sont les plus difficiles pour TextStyleBrush?
Les fortes occlusions, les typographies inhabituelles, les surfaces courbes, la faible résolution et les éclairages complexes peuvent réduire le réalisme.