Regardez la vidéo et soutenez-moi sur YouTube!
Même s’ils semblent avoir toujours été là, le tout premier deepfake réaliste n’est apparu qu’en 2017. Nous sommes passés de ces premières fausses images vaguement ressemblantes générées automatiquement aux copies identiques d’une personne que nous voyons aujourd’hui dans des vidéos, avec le son.
La réalité, c’est que nous ne pouvons plus voir la différence entre une vraie vidéo ou une vraie image et un deepfake. Comment pouvons-nous distinguer ce qui est réel de ce qui ne l’est pas? Comment des fichiers audio ou vidéo peuvent-ils être utilisés comme preuves devant un tribunal si une IA peut entièrement les générer? Eh bien, ce nouvel article scientifique pourrait répondre à ces questions.
Et la réponse pourrait encore une fois être l’intelligence artificielle. Le dicton « Je le croirai quand je le verrai » pourrait bientôt devenir « Je le croirai quand l’IA me dira d’y croire… » Je vais supposer que vous avez tous déjà vu des deepfakes et que vous en savez un peu à leur sujet. Ce sera suffisant pour cet article.
Pour en savoir plus sur leur création, je vous invite à regarder la vidéo que j’ai faite pour expliquer les deepfakes juste ci-dessous, puisque cette vidéo se concentrera sur la façon de les repérer.
Plus précisément, je vais couvrir un nouvel article du laboratoire de recherche DEVCOM de l’armée américaine intitulé « DEFAKEHOP: A LIGHT-WEIGHT HIGH-PERFORMANCE DEEPFAKE DETECTOR ».
Résultats du modèle DeepFakeHop. Chen, Hong-Shuo et coll. (2021)
En effet, ce modèle détecte les deepfakes avec une précision de plus de 90 % dans tous les jeux de données et atteint même 100 % dans certains jeux de données de référence. Ce qui est encore plus incroyable, c’est la taille de leur modèle de détection. Comme vous pouvez le voir, DeFakeHop ne compte que 40 000 paramètres, tandis que les autres techniques, qui obtenaient une précision bien moins bonne, en comptaient environ 20 millions! Leur modèle est donc 500 fois plus petit, tout en surpassant les techniques de pointe précédentes. Il peut ainsi fonctionner rapidement sur votre téléphone et vous permettre de détecter des deepfakes n’importe où.
Vous pensez peut-être pouvoir faire la différence entre une vraie image et une fausse, mais si vous vous souvenez de l’étude que j’ai partagée il y a quelques semaines, elle a clairement montré qu’environ 50 % des participants ont échoué. Ils devinaient essentiellement au hasard si une image était fausse ou non.
Le MIT propose un site Web où vous pouvez tester votre capacité à repérer les deepfakes si cela vous intéresse. Pour l’avoir essayé moi-même, je peux dire que c’est plutôt amusant. On y trouve des fichiers audio, des vidéos, des images, et plus encore. Le lien est dans la description ci-dessous. Si vous l’essayez, dites-moi comment vous vous en sortez! Et si vous connaissez d’autres applications amusantes pour vous tester ou aider la recherche en essayant de repérer les deepfakes, partagez-les dans les commentaires. J’aimerais beaucoup les essayer!
Maintenant, si nous revenons à l’article scientifique qui arrive à les détecter bien mieux que nous, la question est la suivante: comment ce minuscule modèle d’apprentissage automatique réussit-il à le faire alors que nous en sommes incapables?
DeepFakeHop fonctionne en quatre étapes.
Étape 1:
Étape 1 du modèle DeepFakeHop. Chen, Hong-Shuo et coll. (2021)
Ils commencent par utiliser un autre modèle pour extraire 68 repères faciaux différents de chaque image de la vidéo. Ces 68 points servent à localiser le visage, à le recentrer, à l’orienter et à le redimensionner pour rendre les images plus cohérentes, puis à extraire des parties précises du visage. Ce sont ces « régions » de l’image que nous enverrons à notre réseau. Elles contiennent des caractéristiques faciales individuelles comme les yeux, la bouche et le nez. Cette étape utilise un autre modèle appelé OpenFace 2.0. Il peut détecter précisément les repères faciaux, estimer la pose de la tête, reconnaître les unités d’action du visage et estimer la direction du regard en temps réel. Toutes ces minuscules régions de 32 par 32 pixels sont envoyées une par une dans le véritable réseau. Cela rend le modèle extrêmement efficace, puisqu’il ne traite qu’une poignée de petites images au lieu de l’image complète. Vous trouverez plus de détails sur OpenFace 2.0 dans les références ci-dessous si cela vous intéresse.
Étapes 2 à 4 (de gauche à droite, bleu, vert, orange):
Le modèle DeepFakeHop. Chen, Hong-Shuo et coll. (2021)
Plus précisément, les régions sont envoyées à la première unité PixelHop++, appelée Hop-1, comme vous pouvez le voir. Elle représente la première étape en bleu. Cette unité utilise un algorithme nommé transformation Saab pour réduire les dimensions. Elle prend l’image de 32 par 32 pixels et la réduit, tout en produisant plusieurs canaux qui représentent ses réponses aux différents filtres appris par la transformation Saab. Vous pouvez voir la transformation Saab comme un processus de convolution dont les noyaux sont déterminés avec l’algorithme de réduction des dimensions PCA. Cela évite d’avoir recours à la rétropropagation pour apprendre ces poids. Je reviendrai dans un instant sur l’algorithme PCA, puisqu’il est réutilisé à l’étape suivante. Ces filtres sont optimisés pour représenter les différentes fréquences de l’image et s’activent essentiellement selon différents niveaux de détail. Il a été démontré que la transformation Saab résiste bien aux attaques adverses par rapport aux convolutions de base entraînées par rétropropagation. Vous trouverez également plus d’informations sur cette transformation dans les références ci-dessous. Si vous ne connaissez pas bien le fonctionnement des convolutions, je vous invite fortement à regarder la vidéo d’introduction que j’ai faite à leur sujet:
J’ai dit que les transformations Saab résistaient bien aux attaques adverses. Ces attaques se produisent lorsque nous « attaquons » une image en modifiant quelques pixels ou en ajoutant du bruit que les humains ne peuvent pas voir afin de changer les résultats du modèle d’apprentissage automatique qui traite l’image.
Exemple d’une attaque adverse.
Pour simplifier, nous pouvons donc voir cette unité PixelHop++ comme une convolution classique de 3 par 3, puisque nous ne nous intéressons pas au processus d’entraînement. Bien sûr, son fonctionnement est un peu différent, mais cette comparaison rendra l’explication beaucoup plus simple. L’étape « Hop » est ensuite répétée trois fois afin d’obtenir des versions de plus en plus petites de l’image, avec de l’information générale concentrée et davantage de canaux. Ces canaux sont simplement les sorties, ou réponses, produites par l’image d’entrée à travers des filtres qui réagissent différemment selon son niveau de détail, comme je l’ai expliqué plus tôt. Chaque filtre utilisé produit un nouveau canal.
Nous obtenons ainsi différents résultats qui nous donnent de l’information précise sur le contenu de l’image. Toutefois, ces résultats deviennent de plus en plus petits et contiennent moins de détails spatiaux propres à l’image exacte envoyée dans le réseau. Ils conservent donc une information plus générale et utile sur ce que l’image contient réellement. Les premières images restent relativement grandes. Elles commencent à 32 par 32 pixels, la taille initiale de la région, et contiennent donc tous les détails. Elles passent ensuite à 15 par 15, puis à 7 par 7, ce qui signifie qu’il ne reste presque plus d’information spatiale à la fin.
L’image de 15 par 15 ressemble simplement à une version floue de l’image initiale, mais conserve encore un peu d’information spatiale. Celle de 7 par 7 devient plutôt une version très générale de l’image, presque entièrement dépourvue d’information spatiale.
Tout comme dans un réseau de neurones convolutif, plus nous avançons profondément, plus nous avons de canaux. Autrement dit, nous obtenons davantage de réponses de filtres qui réagissent à différents stimuli, mais chacune est plus petite, jusqu’à terminer avec des images de 5 par 5 pixels.
Exemple de versions de l’image d’entrée à basse et haute fréquence. Chen, Hong-Shuo et coll. (2021)
Cela nous permet d’obtenir une vision plus large de plusieurs façons, tout en conservant beaucoup d’information unique et précieuse, même dans des versions plus petites de l’image.
Les images deviennent encore plus petites parce que chacune des unités PixelHop est suivie d’une étape de regroupement par maximum, ou max-pooling.
Visualisation du regroupement par maximum.
Cette opération prend simplement la valeur maximale de chaque carré de deux pixels par deux, ce qui réduit la taille de l’image par un facteur de quatre à chaque étape.
Exemple de dimensions d’image plus grandes et plus petites, avant Hop-2 et avant Hop-3. Chen, Hong-Shuo et coll. (2021)
Ensuite, comme vous pouvez le voir dans le modèle complet présenté plus haut, les sorties de chaque couche de regroupement par maximum subissent une autre réduction des dimensions avec l’algorithme PCA. Il s’agit de la troisième étape, en vert. PCA prend principalement les dimensions actuelles, par exemple 15 par 15 à la première étape, et les réduit autant que possible tout en conservant au moins 90 % de l’intensité de l’image d’entrée.
Un exemple simple de l’algorithme PCA.
Voici un exemple très simple de la façon dont PCA peut réduire les dimensions. Des points bidimensionnels représentant des chats et des chiens sont ramenés à une dimension sur une ligne, ce qui nous permet d’ajouter un seuil et de construire facilement un classificateur. Chaque saut nous donne respectivement 45, 30 et 5 paramètres par canal, au lieu d’images de 15 par 15, 7 par 7 et 3 par 3, qui nous donneraient respectivement 225, 49 et 9 paramètres. Il s’agit d’une représentation beaucoup plus compacte qui maximise la qualité de l’information conservée. Toutes ces étapes servent à compresser l’information et à rendre le réseau extrêmement rapide.
Vous pouvez voir ce processus comme une façon de presser tout le jus utile contenu dans l’image recadrée à différents niveaux de détail pour finalement décider si elle est fausse ou non. La décision combine de l’information détaillée et générale, à l’étape 4 en orange.
Je suis heureux de voir que la recherche visant à contrer les deepfakes progresse elle aussi, et j’ai hâte de voir ce qui arrivera dans le futur. Dites-moi dans les commentaires quelles seront, selon vous, les principales conséquences et préoccupations liées aux deepfakes.
Cela va-t-il affecter la justice, la politique, les entreprises, les célébrités ou les gens ordinaires? Eh bien, pratiquement tout le monde…
Discutons-en pour sensibiliser les gens, faire passer le mot et rappeler qu’il faut être prudent, car nous ne pouvons malheureusement plus croire tout ce que nous voyons. Il s’agit d’une nouvelle technologie à la fois incroyable et dangereuse.
S’il vous plaît, n’abusez pas de cette technologie et restez éthiques. L’objectif est de contribuer à l’améliorer, pas de l’utiliser pour de mauvaises raisons.
Venez discuter avec nous dans notre communauté Discord: Learn AI Together et partagez vos projets, vos articles scientifiques et vos meilleurs cours, trouvez des coéquipiers pour des compétitions Kaggle, et bien plus encore!
Si vous aimez mon travail et souhaitez rester à jour avec l’IA, vous devriez absolument me suivre sur mes autres réseaux sociaux (LinkedIn, Twitter) et vous abonner à mon infolettre hebdomadaire sur l’IA!
Pour me soutenir:
- La meilleure façon de me soutenir est de devenir membre de ce site Web ou de vous abonner à ma chaîne YouTube si vous aimez le format vidéo.
- Soutenez financièrement mon travail sur Patreon
Références
- Testez votre capacité à détecter les deepfakes: https://detectfakes.media.mit.edu/
- DeepFakeHop: Chen, Hong-Shuo et coll. (2021), « DefakeHop: A Light-Weight High-Performance Deepfake Detector. » ArXiv abs/2103.06929
- Transformations Saab: Kuo, C.-C. Jay et coll. (2019), « Interpretable Convolutional Neural Networks via Feedforward Design. » J. Vis. Commun. Image Represent.
- OpenFace 2.0: T. Baltrusaitis, A. Zadeh, Y. C. Lim et L. Morency, « OpenFace 2.0: Facial Behavior Analysis Toolkit », 2018 13th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2018), 2018, p. 59-66, doi: 10.1109/FG.2018.00019.
FAQ
Comment un détecteur de deepfakes reconnaît-il les visages générés?
Il apprend à repérer de subtils artefacts spatiaux ou fréquentiels qui diffèrent souvent entre les images réelles et les processus de génération synthétique.
Pourquoi un modèle peut-il détecter des artefacts qui nous échappent?
Son entraînement l'expose à de nombreux exemples étiquetés et lui permet de mesurer de petits motifs répétés difficiles à voir.
Pourquoi le détecteur de l'armée américaine était-il remarquable?
Selon les résultats publiés, il surpassait les méthodes précédentes avec un modèle environ 500 fois plus petit.
Le détecteur peut-il fonctionner sur un appareil mobile?
Sa taille compacte a été pensée pour permettre des vérifications locales rapides sur du matériel aux ressources limitées, comme un téléphone.
Un seul détecteur peut-il reconnaître tous les futurs deepfakes?
Non. Les générateurs évoluent, la compression modifie les artefacts et les détecteurs doivent être testés contre de nouvelles méthodes de manipulation jamais vues.
Pourquoi DeepFakeHop traite-t-il des régions du visage plutôt que l'image complète?
Les repères faciaux uniformisent de petites régions comme les yeux, le nez et la bouche, ce qui permet au détecteur de se concentrer sur les caractéristiques utiles avec beaucoup moins de calculs.