Regardez la vidéo
Que ce soit pour s’amuser avec un filtre Snapchat, pour un film, ou même pour enlever quelques rides, nous avons tous une utilité en tête pour changer notre âge dans une photo.
Cette tâche est habituellement réalisée par des artistes expérimentés qui utilisent Photoshop ou un outil semblable pour modifier vos photos. Pire encore, dans une vidéo, ils doivent effectuer ce type de montage manuel pour chaque image ! Imaginez seulement la quantité de travail nécessaire. Eh bien, voici à la fois une solution et un nouveau problème pour cette situation.
Résultats tirés de l’article scientifique sur FRAN.
La plus récente publication de recherche de Disney, FRAN, peut le faire automatiquement. Il s’agit d’une avancée importante pour l’industrie du cinéma, qui permet de changer instantanément l’âge d’une personne dans un film entier à très peu de frais. Cependant, elle représente aussi un problème pour les artistes, puisqu’elle supprime certaines possibilités d’emploi tout en les aidant à réduire de longues et pénibles heures de travail afin qu’ils puissent se concentrer sur les tâches qui font appel à leur talent. Ce qui est intéressant ici, c’est que les chercheurs ont créé un outil basé sur FRAN pour permettre aux artistes d’utiliser et de modifier les résultats. Leur travail devient ainsi plus efficace, car ils peuvent se concentrer sur l’amélioration des détails plutôt que sur des modifications monotones faites par copier-coller. J’aimerais beaucoup connaître votre opinion à ce sujet dans notre communauté Discord. Mais revenons au côté purement positif de ces travaux : le progrès scientifique réalisé pour modifier numériquement l’âge des visages dans une vidéo.
Résultats tirés de l’article scientifique sur FRAN.
Ce que vous venez de voir, ce sont les résultats de ce nouvel algorithme FRAN, et je crois que vous pouvez déjà constater à quel point ils sont impressionnants ! Regardez seulement à quel point ils semblent plus réalistes que ceux des autres approches de pointe pour changer l’âge, qui contiennent de nombreux artefacts et ne parviennent pas à préserver l’identité de la personne (voir ci-dessous). De plus, l’approche de FRAN n’exige pas que les visages soient centrés comme le font ces autres approches, ce qui la rend encore plus impressionnante. Et ce qui est encore plus incroyable, c’est la simplicité de leur approche.
Comparaison des résultats. Image tirée de l’article scientifique.
Tout d’abord, FRAN signifie sans surprise Face Re-Aging Network.
Cela signifie que le modèle peut prendre un visage et modifier l’âge apparent de la personne avec cohérence et réalisme, en produisant des résultats en haute résolution malgré des expressions, des points de vue et des conditions d’éclairage variables.
Pour les films, l’apparence de l’âge d’un acteur est habituellement modifiée par l’équipe de production à l’aide de costumes, de coiffures et d’autres éléments conçus pour représenter l’âge souhaité. Il ne reste alors que le visage à modifier image par image pour les artistes numériques. FRAN se concentre précisément sur ces régions de peau du visage. Les chercheurs se concentrent aussi sur les adultes, puisque les films disposent déjà de techniques efficaces et différentes pour rajeunir une personne jusqu’à un très jeune âge, où la forme du corps entier et du visage est différente et plus petite.
Mais comment peuvent-ils prendre un visage dans n’importe quelle position et simplement modifier son apparence pour lui ajouter ou lui enlever quelques dizaines d’années ? Le principal défi vient de l’absence de vérité terrain pour cette tâche. Autrement dit, ils ne peuvent pas entraîner un algorithme à reproduire des images avant et après. Il existe très peu d’exemples d’une même personne avec 20 ans ou plus d’écart, sous tous les angles. Ils ont donc besoin d’une approche différente des méthodes d’apprentissage supervisé classiques qui tentent de reproduire les exemples déjà disponibles. Habituellement, les chercheurs s’attaquent à ce problème avec de puissants modèles entraînés sur de faux visages générés de tous les âges. Même si les résultats sont plutôt impressionnants, ils fonctionnent principalement sur des visages centrés et de face à cause des fausses images utilisées pour l’entraînement. Ils se généralisent donc difficilement aux scènes réelles, puisqu’ils ne préservent pas vraiment l’identité de la personne. Le modèle n’a pas été entraîné sur la même personne à différentes périodes, mais sur une variété de personnes d’âges différents. De plus, ces modèles statiques peuvent difficilement produire des mouvements faciaux réalistes, car ils sont entraînés sur des images fixes. Ils ne connaissent ni la mécanique du monde réel, ni les changements d’éclairage, ni les autres variations d’une vidéo.
Résultats tirés de l’article scientifique sur SAM.
Leur première contribution consiste à combler ce manque d’images d’une même personne à différents âges. Leur objectif est de faire la même chose que les approches précédentes, mais avec une petite modification. Ils utilisent toujours de faux visages générés, mais construisent un jeu de données constitué des mêmes visages à différents âges, avec le même arrière-plan et tout le reste identique, afin que l’algorithme se concentre strictement sur le visage. Ils ont compris que même si ces approches se généralisent mal aux scènes réelles et aux vidéos, elles comprennent très bien le processus de vieillissement. Ils peuvent donc les utiliser pour générer davantage d’images d’une même personne à différents âges, comme première étape vers un meilleur jeu de données. Cette étape repose sur un modèle appelé SAM, qui peut prendre le visage parfaitement centré d’une personne et modifier son âge. Il sert seulement à construire l’ensemble d’images avant et après qui sera utilisé pour entraîner l’algorithme FRAN. Cette étape est nécessaire parce que nos algorithmes sont trop stupides pour généraliser à partir de quelques exemples comme nous le faisons, et parce qu’il est impossible d’obtenir presque autant de photos de vrais visages avec le même éclairage, le même arrière-plan et les mêmes vêtements à différents âges. Elles doivent être générées artificiellement.
Vue d’ensemble du modèle FRAN. À gauche : le modèle U-Net génère le masque prédit pour modifier l’âge. À droite : le discriminateur prédit si les images sont réelles, donc tirées du jeu de données, ou générées pendant l’entraînement. Image tirée de l’article scientifique.
La deuxième contribution consiste à utiliser ce nouveau jeu d’images pour entraîner un algorithme capable de reproduire ce processus dans des scènes réelles, tout en maintenant une bonne cohérence entre les images d’une vidéo. L’algorithme qu’ils ont construit est en fait assez simple et ressemble à la plupart des algorithmes de traduction d’image à image. Ils utilisent une architecture U-Net, qui reçoit un âge d’entrée, un âge de sortie et une image afin d’apprendre la meilleure façon de la transformer. Elle encode l’image dans l’espace le plus pertinent possible, puis la décode pour produire la nouvelle image. Le réseau apprend donc à prendre n’importe quelle image et à la représenter dans ce que nous appelons un espace latent, où se trouvent les encodages. Cet espace latent contient essentiellement toute l’information nécessaire que le réseau a apprise pour sa tâche précise, comme les différentes caractéristiques du visage de cette personne, sans conserver l’information sur l’arrière-plan et les autres éléments inutiles pour modifier l’âge.
Le modèle utilise ensuite cette information pour prédire une sorte de masque de modification de l’âge. Ce masque contient seulement les parties de l’image qui doivent être modifiées pour produire l’effet souhaité, ce qui rend la tâche beaucoup plus simple que de prédire de nouveau l’image entière. Il suffit ensuite de fusionner ce masque prédit avec l’image initiale pour obtenir le visage dont l’âge a été modifié. Ce masque explique principalement pourquoi leur approche préserve tellement mieux l’identité de la personne : il limite le champ d’action du réseau aux seules modifications liées à l’âge, plutôt qu’à l’image entière. Quand vous ne pouvez pas le rendre plus intelligent, rendez-le simplement plus spécifique !
Le modèle est entraîné selon une approche de GAN. Il utilise donc un autre modèle, visible à droite dans l’image de présentation ci-dessus, appelé discriminateur. Celui-ci est entraîné en même temps pour déterminer si l’image générée dont l’âge a été modifié ressemble aux images du jeu de données d’entraînement. Il évalue essentiellement les résultats afin de guider l’entraînement.
Et voilà ! C’est ainsi que FRAN vous aide à modifier l’âge de votre visage entre 18 et 85 ans.
Bien sûr, ce n’était qu’un aperçu simple de cette nouvelle publication de DisneyResearch. Je vous recommande de lire leur excellent article scientifique pour obtenir plus d’information et d’analyses des résultats. Si vous ne connaissez pas les GANs, je vous suggère de regarder la courte vidéo d’introduction que j’ai réalisée à leur sujet.
Merci de m’avoir lu, et je vous retrouve la prochaine fois avec un autre article scientifique incroyable !
Références
►Loss et al., DisneyResearch, 2022 : FRAN, https://studios.disneyresearch.com/2022/11/30/production-ready-face-re-aging-for-visual-effects/
►Les GANs expliqués : https://youtu.be/ZnpZsiy_p2M
►SAM : https://yuval-alaluf.github.io/SAM/
►Discord : /fr/learn-ai-together/
FAQ
Que fait le modèle FRAN de Disney ?
FRAN modifie l’âge apparent d’une personne dans une vidéo tout en préservant son identité, son expression, son point de vue et l’éclairage.
Pourquoi est-il difficile de changer l’âge d’un visage de façon cohérente entre les images ?
La pose et l’expression changent à chaque image. Des modifications indépendantes peuvent donc scintiller ou altérer l’identité du visage.
Comment FRAN limite-t-il la zone qu’il modifie ?
Il prédit un masque qui contient seulement les régions du visage à modifier pour atteindre l’âge demandé.
Pourquoi un masque localisé est-il utile ?
Reconstruire seulement les régions nécessaires préserve une plus grande partie de l’image originale et réduit la génération inutile.
Quel est l’avantage de FRAN pour la production cinématographique ?
Un vieillissement automatique en haute résolution peut réduire le travail répétitif des artistes d’effets visuels sur une séquence entière.