DeOldify est une technique qui permet de coloriser et de restaurer de vieilles images en noir et blanc, et même des séquences vidéo. Elle a été mise au point et continue d’être améliorée par une seule personne, Jason Antic. Il s’agit maintenant de la meilleure méthode pour coloriser des images en noir et blanc, et tout est open source. Nous y reviendrons dans un instant.
Voyons d’abord comment il a réussi. DeOldify utilise une nouvelle méthode d’entraînement des GAN appelée NoGAN, qu’il a lui-même conçue pour résoudre les principaux problèmes rencontrés avec l’entraînement d’une architecture antagoniste classique composée d’un discriminateur et d’un générateur. Habituellement, l’entraînement d’un GAN consiste à entraîner simultanément le discriminateur et le générateur. Au départ, le générateur produit des résultats entièrement aléatoires, puis s’améliore progressivement pour tromper le discriminateur, dont le rôle est de déterminer si une image est générée ou réelle.
Sa nouvelle méthode, qu’il appelle « NoGAN », offre les mêmes avantages que l’entraînement habituel d’un GAN, tout en exigeant beaucoup moins de temps pour entraîner cette architecture généralement très coûteuse en calcul. Il commence plutôt par préentraîner le générateur à l’aide d’une fonction de perte classique afin qu’il soit déjà plus puissant, rapide et fiable.
Pour ce faire, le générateur est entraîné comme une architecture de réseau profond classique, par exemple ResNet. Le modèle est donc déjà plutôt bon pour coloriser une image avant même l’entraînement de l’architecture GAN complète. Il ne lui faut ensuite qu’une courte période de l’entraînement générateur-discriminateur typique des GAN pour optimiser le « réalisme » des images générées.
Du bruit gaussien est aussi appliqué aléatoirement aux images afin de générer du faux bruit pendant l’entraînement.
Il s’agit d’une forme d’augmentation de données qui peut être appliquée aux images d’entraînement pour améliorer les résultats et la résistance aux entrées bruitées. Elle reprend la même technique que le transfert de style, où le bruit devient le style de l’image que nous voulons copier et peut être ajouté plus ou moins fortement à la transformation.
L’architecture complète utilise un backbone ResNet de base au sein d’un U-Net. Dans l’entraînement du GAN, le réseau générateur correspond à l’architecture U-Net. Pour le moment, il n’existe aucune explication complète de son fonctionnement, mais l’auteur travaille actuellement sur un article scientifique consacré à DeOldify. Il y étudiera plus en profondeur pourquoi et comment sa technique, découverte jusqu’ici uniquement par essais et erreurs, fonctionne.
Vous trouverez trois ressources dans les références ci-dessous. D’abord, le lien GitHub contient une explication complète et détaillée de la technique, ainsi que des tutoriels Google Colab pour l’utiliser vous-même. Ensuite, vous trouverez sur DeepAI une API gratuite fondée sur DeOldify qu’il suffit d’ouvrir pour l’essayer. Enfin, le troisième lien mène à la version la plus avancée de DeOldify si vous cherchez les meilleurs résultats. Elle se trouve sur le site Web de MyHeritage et son utilisation est payante.
Si vous aimez mon travail et souhaitez me soutenir, je vous serais très reconnaissant de me suivre sur mes réseaux sociaux :
- La meilleure façon de me soutenir est de me suivre sur Medium.
- Abonnez-vous à ma chaîne YouTube.
- Suivez mes projets sur LinkedIn
- Apprenons l’IA ensemble. Rejoignez notre communauté Discord, partagez vos projets, vos articles scientifiques et vos meilleures formations, trouvez des coéquipiers pour Kaggle et bien plus encore !
Références :
GitHub avec le code complet, une explication détaillée et les Colabs : https://github.com/jantic/DeOldify
API gratuite de colorisation d’images de DeepAI utilisant DeOldify : https://deepai.org/machine-learning-model/colorizer
Outil de colorisation de MyHeritage (la meilleure version offerte de DeOldify, payante) : https://www.myheritage.com/incolor
FAQ
Que fait DeOldify ?
DeOldify utilise un modèle génératif pour ajouter des couleurs plausibles aux photos et aux vidéos en noir et blanc.
Qu’est-ce que l’entraînement NoGAN ?
NoGAN préentraîne le générateur avec une fonction de perte classique avant d’utiliser une courte phase d’entraînement antagoniste pour améliorer le réalisme.
Pourquoi préentraîner d’abord le générateur ?
L’entraînement antagoniste commence ainsi avec un modèle de colorisation stable plutôt que d’obliger les deux réseaux à progresser à partir de sorties aléatoires.
DeOldify retrouve-t-il les véritables couleurs historiques ?
Non. Il prédit des couleurs plausibles à partir des tendances apprises. Le résultat est donc une interprétation et non une vérité historique vérifiée.
Peut-on essayer DeOldify soi-même ?
Oui. Le projet a été publié avec des outils accessibles qui permettent de coloriser ses propres images sans entraîner un nouveau modèle.