Vous avez tous vu ce type d’image où le visage d’une personne est transformé en personnage d’anime.
Plusieurs d’entre vous ont sans doute vu d’autres types de transformations comme celle-ci, où une image est modifiée pour suivre le style d’un artiste précis.
Exemple de transfert de style
Une tâche encore plus difficile consiste à transformer une image pour représenter une autre saison ou un autre moment de la journée.
Résultats tirés de l’article de recherche. (en haut) Translation de l’été vers l’hiver et (en bas) translation du jour vers la nuit. Liang et al., 2021
Voici les résultats les plus impressionnants de cet article :
Vous voyez ici leur technique appelée LPTN, pour Laplacian Pyramid Translation Network. Regardez à quel point LPTN prend moins de temps pour produire les translations d’images, alors que la plupart des approches n’y arrivent même pas parce qu’une telle définition exige tout simplement trop de calcul. Et oui, les valeurs sont en secondes. LPTN peut transformer des images 4K en moins d’un dixième de seconde avec un seul GPU ordinaire. C’est plus rapide que toutes ces approches lorsqu’elles travaillent sur des images 480p ! Et non, elle n’est pas huit fois plus rapide, mais 80 fois plus rapide en moyenne ! Comment est-ce possible ? Comment peut-elle être beaucoup plus efficace tout en produisant d’excellents résultats de grande qualité ?
L’approche exploite le fait que l’éclairage et la manipulation des couleurs, qui définissent le style d’une image, se trouvent dans sa composante de basse fréquence.
Images de basse fréquence et de haute fréquence
Les détails du contenu, que nous voulons conserver lorsque nous traduisons une image vers un autre style, peuvent quant à eux être raffinés de façon adaptative dans les composantes de haute fréquence. C’est ici que l’approche devient intéressante. Le GPU peut séparer ces deux composantes en deux tâches exécutées simultanément. Les chercheurs divisent l’image en composantes de basse et de haute résolution, utilisent un réseau pour traiter l’information de basse fréquence, soit le style de l’image, puis produisent une image finale en fusionnant ce style transformé avec la composante de haute fréquence raffinée. Cette dernière contient les détails de l’image, mais un plus petit sous-réseau l’adapte au nouveau style. Ils évitent ainsi l’inévitable et lourde consommation de calcul qu’exigerait le traitement des composantes haute résolution dans le réseau complet. Ce domaine est étudié depuis longtemps grâce à une technique populaire appelée pyramide laplacienne. L’idée principale consiste à décomposer l’image en segments de haute et de basse fréquence, puis à la reconstruire.
Premièrement, nous produisons une moyenne de l’image initiale, ce qui la rend floue et retire les composantes de haute fréquence.
Processus de calcul de la moyenne.
Pour y arriver, un noyau parcourt l’image entière afin de regrouper et d’arrondir des lots de pixels. Par exemple, un noyau de 3 par 3 parcourrait toute l’image en calculant la moyenne de régions de 3 pixels par 3, ce qui retire toutes les valeurs uniques. Il rend essentiellement l’image floue en adoucissant ses contours.
Images de basse fréquence et de haute fréquence
La différence entre cette image floue et l’image initiale est ensuite sauvegardée pour être réutilisée à la fin de l’algorithme. Elle permet de réintroduire les détails, soit les composantes de haute fréquence. Le processus est répété trois fois avec des noyaux de moyenne de plus en plus grands, produisant des versions de basse fréquence de plus en plus petites et contenant de moins en moins de détails de haute fréquence.
Comme vous vous en souvenez peut-être, ces versions de basse fréquence contiennent l’information sur les couleurs et l’éclairage. Ce ne sont essentiellement que des versions floues et de faible qualité de notre image, ce qui explique pourquoi le modèle est tellement plus efficace. C’est pratique puisqu’elles sont plus petites, et qu’elles contiennent précisément l’information que nous voulons modifier lorsque nous traduisons l’image vers un autre style.
Étapes de transformation de l’image d’entrée.
L’utilisation de ces versions de basse fréquence exige donc beaucoup moins de calcul que l’image complète, tout en se concentrant sur l’information que nous voulons justement changer. C’est pourquoi les résultats sont aussi bons.
Réseau LPTN complet. Liang et al., 2021
Cette version de plus faible qualité peut facilement être transformée avec un encodeur-décodeur, comme dans les autres techniques de translation d’images mentionnées plus tôt. Mais comme le traitement s’effectue sur une image de beaucoup plus faible qualité et de beaucoup plus petite taille, il est exponentiellement plus rapide. La meilleure partie est que la qualité du résultat dépend seulement des versions de haute fréquence sauvegardées au début et fournies en entrée, qui ne sont pas traitées par l’ensemble du réseau. Cette information de haute fréquence est simplement fusionnée à la fin avec l’image de basse fréquence afin d’améliorer les détails. En gros, l’approche est aussi rapide parce que les chercheurs séparent l’information de l’image en deux : l’information générale de basse fréquence et l’information détaillée de haute fréquence. Ils envoient seulement au réseau la partie qui exige peu de calcul et que nous voulons précisément transformer, soit le style général flou et de faible qualité de l’image. Autrement dit, l’information de basse fréquence. Ils appliquent ensuite uniquement des transformations simples et rapides aux parties de haute fréquence pour les redimensionner et les fusionner avec l’image floue qui vient de recevoir son nouveau style. Les détails sont ainsi réintroduits sur tous les contours de l’image.
Et voilà ! Vous obtenez vos résultats avec une fraction du temps et de la puissance de calcul nécessaires. C’est brillant, et le code est accessible au public si vous souhaitez l’essayer, ce qui est toujours génial !
Merci d’avoir lu l’article !
Venez discuter avec nous dans notre communauté Discord : Learn AI Together et partagez vos projets, vos articles, vos meilleurs cours, trouvez des coéquipiers pour Kaggle et bien plus encore !
Si vous aimez mon travail et souhaitez rester au courant de l’IA, vous devriez absolument me suivre sur mes autres réseaux sociaux (LinkedIn, Twitter) et vous abonner à mon infolettre hebdomadaire sur l’IA !
Pour me soutenir :
- La meilleure façon de me soutenir est de devenir membre de ce site Web ou de vous abonner à ma chaîne YouTube si vous aimez le format vidéo.
- Soutenez financièrement mon travail sur Patreon
Références
- Liang, Jie and Zeng, Hui and Zhang, Lei, (2021), “High-Resolution Photorealistic Image Translation in Real-Time: A Laplacian Pyramid Translation Network”, https://export.arxiv.org/pdf/2105.09188.pdf
- Code : https://github.com/csjliang/LPTN
FAQ
Qu’est-ce que la translation image-image 4K en temps réel ?
Elle modifie le style, la saison ou le moment de la journée d’une image tout en préservant assez de détails pour produire rapidement un résultat 4K haute résolution.
Pourquoi la méthode sépare-t-elle l’information de basse et de haute fréquence ?
L’image de basse fréquence contient le contenu général à transformer, tandis que la composante de haute fréquence préserve les détails fins qui seront restaurés par la suite.
Comment cette séparation accélère-t-elle la translation 4K ?
Le modèle effectue la transformation coûteuse sur une représentation de basse fréquence plus petite au lieu de traiter directement chaque détail en pleine résolution.
Qu’arrive-t-il aux détails fins pendant la translation ?
La méthode conserve la différence entre l’image originale et sa version floue, puis réintroduit cette information de haute fréquence vers la fin du pipeline.
Quelles modifications cette approche de translation d’images peut-elle effectuer ?
Les exemples comprennent des changements de style artistique ainsi que des transformations plus difficiles, comme modifier la saison ou le moment de la journée d’une scène.