Vous pouvez utiliser l’IA pour identifier ce qui se trouve dans une image, par exemple pour savoir s’il y a un chat ou non. S’il y en a un, vous pouvez utiliser une autre IA pour trouver où il se trouve dans l’image. Et vous pouvez le trouver très précisément. Ces tâches s’appellent la classification d’images, la détection d’objets et, finalement, la segmentation d’instances.
Vous pouvez ensuite créer des applications cool pour extraire votre chat d’une image et le placer sur une carte-cadeau amusante ou dans un mème. Mais que faire si vous voulez une application qui comprend la scène et l’image ? Une application qui ne fait pas qu’identifier la présence et l’emplacement d’un objet, mais aussi ce qui se passe. Dans un magasin, vous ne voulez probablement pas seulement savoir s’il y a un client, mais peut-être déterminer si le client en question vous vole. La question de savoir si une telle surveillance est éthiquement acceptable ou non est une tout autre considération importante.
Supposons tout de même que nous nous concentrions sur la compréhension de ce qui se passe dans une scène ou une image précise. Dans ce cas, vous utiliseriez une tâche appelée génération de graphes de scène (figure ci-dessous, à gauche), où les objets sont détectés à l’aide de boîtes englobantes, comme nous l’avons vu avec la détection d’objets. Ces boîtes servent ensuite à créer un graphe représentant la relation de chaque objet avec les autres. L’IA essaie essentiellement de comprendre ce qui se passe à partir de tous les principaux objets de la scène. Ça fonctionne assez bien et permet d’identifier les caractéristiques principales de l’image, mais il y a un gros problème. L’approche dépend de la précision des boîtes englobantes et ignore complètement l’arrière-plan, qui est souvent crucial pour comprendre ce qui se passe ou, au minimum, produire un résumé plus réaliste.
« Fig. 1 : Génération de graphes de scène (a. tâche SGG) et génération de graphes de scène panoptiques (b. tâche PSG). La tâche SGG existante en (a) utilise des étiquettes basées sur des boîtes englobantes, qui sont souvent imprécises. Les pixels couverts par une boîte englobante n’appartiennent pas nécessairement à la classe annotée, et ces boîtes ne peuvent pas capturer toute l’information de l’arrière-plan. En comparaison, la tâche PSG proposée en (b) présente une représentation du graphe de scène plus complète et plus propre, avec une localisation plus précise des objets et des relations avec l’arrière-plan (appelé stuff), c’est-à-dire les arbres et la chaussée. » Image de Yang et al., 2022 : PSG.
Vous pourriez plutôt utiliser cette nouvelle tâche appelée génération de graphes de scène panoptiques, ou PSG (image ci-dessus, à droite). La PSG est une nouvelle tâche qui vise à générer une représentation plus complète d’une image ou d’une scène sous forme de graphe, à partir d’une segmentation panoptique plutôt que de boîtes englobantes. C’est beaucoup plus précis et tient compte de tous les pixels d’une image, comme nous venons de le voir.
Les créateurs de cette tâche ne l’ont pas seulement inventée. Ils ont aussi créé un jeu de données ainsi qu’un modèle de référence pour comparer vos résultats, ce qui est vraiment cool. Cette tâche a énormément de potentiel, car comprendre ce qui se passe dans une image est incroyablement utile et complexe pour les machines, même si les humains le font automatiquement. Elle apporte une forme d’intelligence dont les machines ont besoin et fait la différence entre une application amusante comme Snapchat et un produit que vous utiliseriez pour gagner du temps ou répondre à un besoin. Par exemple, il pourrait comprendre quand votre chat veut jouer et utiliser automatiquement un robot pour jouer avec lui afin qu’il ne s’ennuie pas constamment.
Génération de graphes de scène panoptiques. Extrait de Yang et al., 2022 : PSG.
Comprendre une scène est vraiment cool, mais comment une machine peut-elle y arriver ?
Eh bien, vous avez besoin de deux choses : un jeu de données et un modèle puissant. Nous savons que nous avons le jeu de données puisque les chercheurs l’ont construit pour nous. Passons maintenant à la deuxième chose : comment apprendre à partir de ce jeu de données ? Autrement dit, comment construire ce modèle d’IA et que doit-il faire ? Il existe plusieurs façons d’aborder ce problème, et je vous invite à lire leur article scientifique pour en savoir plus. Voici une façon d’y arriver.
Mais d’abord, laissez-moi quelques secondes pour être mon propre commanditaire et parler de notre communauté ! Puisque vous lisez cet article, je sais que vous allez l’adorer, car elle a essentiellement été créée pour vous.
Bien sûr, nous avons la communauté YouTube, que vous devriez absolument rejoindre. Par exemple, j’aimerais beaucoup savoir si vous pensez que cette tâche est intéressante ou non pour la communauté de l’IA.
Je voulais aussi vous présenter notre communauté Discord, Learn AI Together.
C’est un endroit où vous pouvez rencontrer d’autres passionnés d’IA de tous les niveaux, trouver des personnes avec qui apprendre ou travailler, poser vos questions et même découvrir des offres d’emploi intéressantes. Nous organisons de nombreux événements et des séances de questions-réponses vraiment cool, comme celle qui a lieu présentement avec les organisateurs de MineRL provenant de DeepMind et d’OpenAI. J’adorerais vous voir nous rejoindre et échanger avec nous dans la communauté !
Qu’est-ce que la génération de graphes de scène panoptiques ?
« À la première étape, pour chaque objet de type thing ou stuff, Panoptic FPN [32] produit un masque de segmentation avec la boîte englobante la plus serrée afin d’extraire les caractéristiques de l’objet. L’union des objets pertinents peut produire des caractéristiques de relation. » Image de Yang et al., 2022 : PSG.
Comme nous l’avons dit, le modèle doit trouver la classe de chaque pixel de l’image. Autrement dit, il doit identifier chaque pixel de l’image. La première étape (image ci-dessus) du modèle est responsable de cette tâche. Elle utilise un modèle appelé Panoptic FPN, déjà entraîné pour classer chaque pixel. Un tel modèle est déjà disponible en ligne et est assez puissant. Il prend une image et retourne ce que nous appelons un masque, où chaque pixel est associé à un objet existant, comme un ballon, un humain ou du gazon dans cet exemple. Vous avez maintenant la segmentation, et vous savez ce qui se trouve dans l’image et où chaque élément est situé. Si vous ne connaissez pas le fonctionnement d’un tel modèle, je vous invite à lire l’un de mes articles qui couvre des approches semblables, comme celui-ci. La prochaine étape consiste à comprendre ce qui se passe avec ces objets.
« Fig. 3 : Modèles de référence PSG en deux étapes utilisant Panoptic FPN. a) À la première étape, pour chaque objet de type thing ou stuff, Panoptic FPN [32] produit un masque de segmentation avec sa boîte englobante la plus serrée afin d’extraire les caractéristiques de l’objet. L’union des objets pertinents peut produire des caractéristiques de relation. b) À la deuxième étape, les caractéristiques extraites des objets et des relations sont fournies à n’importe quel modèle de relations SGG existant pour prédire les triplets de relations. » Image de Yang et al., 2022 : PSG.
Ici, vous savez déjà qu’il s’agit d’un homme qui joue au soccer sur un terrain, mais la machine n’en a aucune idée. La seule chose qu’elle sait avec beaucoup de confiance, c’est qu’il y a un homme, un ballon et un terrain. Elle ne comprend rien et ne peut pas relier ces éléments aussi facilement que nous. Nous avons besoin d’un deuxième modèle (image ci-dessus, à droite), entraîné précisément pour prendre ces objets et comprendre pourquoi ils se trouvent dans la même image. C’est l’étape de génération du graphe de scène, où un modèle apprend à associer un dictionnaire de mots et de concepts couvrant plusieurs relations possibles entre les objets avec ceux de la scène. Il utilise l’information extraite à la première étape pour apprendre à structurer les objets les uns par rapport aux autres.
Et voilà !
Vous obtenez un graphe clair que vous pouvez utiliser pour construire des phrases et des paragraphes décrivant ce qui se passe dans votre image. Vous pouvez maintenant utiliser cette approche dans votre prochaine application et lui donner quelques points de QI pour la rapprocher de quelque chose d’intelligent !
Si vous souhaitez en savoir plus sur cette nouvelle tâche, je vous invite fortement à lire l’article scientifique lié ci-dessous.
Merci d’avoir lu jusqu’à la fin. Je vous retrouve la semaine prochaine avec un autre article scientifique incroyable, et félicitations aux auteurs pour leur acceptation à ECCV 2022, où je serai également présent !
Références
►Yang, J., Ang, Y.Z., Guo, Z., Zhou, K., Zhang, W. and Liu, Z., 2022. Panoptic Scene Graph Generation. arXiv preprint arXiv:2207.11247.
►Code : https://github.com/Jingkang50/OpenPSG
►Page du projet (jeu de données PSG) : https://psgdataset.org/
►Essayez-le : https://replicate.com/cjwbw/openpsg, https://huggingface.co/spaces/ECCV2022/PSG
FAQ
Qu’est-ce que la génération de graphes de scène panoptiques ?
Elle segmente chaque région visible et prédit les relations sémantiques entre les objets dans un seul graphe de scène unifié.
Pourquoi cette tâche est-elle plus difficile que la détection d’objets ?
La détection trouve les objets, alors que la PSG doit aussi segmenter les régions d’arrière-plan et déduire les relations entre tous les éléments.
Que contient un graphe de scène ?
Il représente les objets ou les régions par des nœuds, et les relations comme « tient », « derrière » ou « à côté » par des arêtes.
Pourquoi la PSG a-t-elle besoin d’un jeu de données spécialisé ?
L’entraînement nécessite des images étiquetées avec des masques de pixels et de nombreuses annotations de relations.
Où les graphes de scène pourraient-ils être utiles ?
Ils peuvent soutenir la réponse aux questions visuelles, la robotique, l’accessibilité, la recherche et les systèmes qui nécessitent une compréhension structurée des scènes.