Comment les véhicules autonomes voient-ils ?
Une voiture autonome. Image de l’auteur.
Vous avez probablement entendu parler des capteurs LiDAR ou des autres caméras étranges qu’ils utilisent. Mais comment fonctionnent-ils, comment peuvent-ils voir le monde et que voient-ils exactement par rapport à nous ? Comprendre leur fonctionnement est essentiel si nous voulons les mettre sur la route, surtout si vous travaillez au gouvernement ou élaborez les prochaines réglementations. Mais aussi en tant que client de ces services.
Nous avons déjà vu comment le pilote automatique de Tesla voit et fonctionne, mais les Tesla sont différentes des véhicules autonomes classiques. Tesla utilise seulement des caméras pour comprendre le monde, tandis que la plupart des autres véhicules, comme ceux de Waymo, utilisent des caméras classiques et des capteurs LiDAR 3D. Ces capteurs LiDAR sont assez simples à comprendre : ils ne produisent pas d’images comme les caméras classiques, mais des nuages de points 3D. Les caméras LiDAR mesurent la distance entre les objets en calculant le temps de parcours des impulsions laser qu’elles projettent sur l’objet.
« Le capteur LiDAR permet la détection 3D des distances », Electronic Specifier
De cette façon, ils produisent très peu de points de données contenant des informations précieuses et exactes sur les distances, comme vous pouvez le voir ici. Ces points de données sont appelés des nuages de points. Cela signifie simplement que nous voyons de nombreux points placés aux bons endroits, ce qui crée une sorte de modèle 3D du monde.
« Le capteur LiDAR permet la détection 3D des distances », Electronic Specifier
Vous pouvez voir ici que le LiDAR, à droite, n’est pas très précis pour comprendre ce qu’il voit, mais qu’il est assez efficace pour comprendre la profondeur avec très peu d’information. C’est parfait pour traiter efficacement les données en temps réel. Un critère essentiel pour les véhicules autonomes.
Cette quantité minimale de données et cette grande précision spatiale sont idéales. En les combinant aux images RVB, comme celles de gauche, nous obtenons à la fois des informations de distance précises et les informations précises sur les objets qui nous manquent avec les données LiDAR seules, surtout pour les objets ou les personnes éloignés. Voilà pourquoi Waymo et d’autres entreprises de véhicules autonomes utilisent les deux types de capteurs pour comprendre le monde.
Mais comment pouvons-nous combiner efficacement ces informations et permettre au véhicule de les comprendre ? Et qu’est-ce que le véhicule finit par voir ? Seulement des points partout ? Est-ce suffisant pour rouler sur nos routes ? Nous allons examiner tout cela à l’aide d’un nouvel article de recherche de Waymo et Google Research [1].
Je ne pense pas pouvoir mieux résumer l’article que cette phrase utilisée par les auteurs :
« Nous présentons 4D-Net, qui apprend à combiner des nuages de points 3D dans le temps et des images de caméras RVB dans le temps, pour l’application généralisée de la détection d’objets 3D à la conduite autonome. » [1]
J’espère que vous avez aimé l’article. Dites-moi si vous avez aimé votre lecture et… je plaisante ! Plongeons un peu plus loin dans cette phrase.
L’architecture 4D-Net, dans laquelle nous fusionnons les trames LiDAR et RVB. Image tirée de l’article [1].
Voici à quoi ressemble la détection d’objets 3D dont nous parlons. Et c’est aussi ce que la voiture finira par voir. Il s’agit d’une représentation très précise du monde autour du véhicule, dans laquelle tous les objets apparaissent et sont identifiés avec précision.
C’est génial, non ? Et plus intéressant encore, comment en sont-ils arrivés à ce résultat ?
Ils ont produit cette vue à l’aide de données LiDAR, appelées nuages de points dans le temps (PCiT), et de caméras classiques, ici appelées vidéos RVB. Ce sont deux entrées à 4 dimensions, tout comme nous, les humains, voyons et comprenons le monde. Les quatre dimensions viennent du fait que les vidéos sont prises dans le temps. Le véhicule a donc accès aux trames précédentes pour mieux comprendre le contexte et les objets, puis anticiper les comportements futurs comme nous le faisons, ce qui crée la quatrième dimension. Les trois autres correspondent à l’espace 3D que nous connaissons.
Compréhension de scène. Image de l’auteur.
Nous appelons cette tâche la compréhension de scène. Elle a été largement étudiée en vision par ordinateur et a connu de nombreuses avancées grâce aux progrès récents du domaine et des algorithmes d’apprentissage automatique. Elle est aussi cruciale pour les véhicules autonomes, où nous voulons obtenir une compréhension presque parfaite des scènes.
Si nous revenons au réseau vu plus haut, vous pouvez constater que les deux réseaux se « parlent » continuellement grâce aux connexions. C’est principalement parce que lorsque nous prenons des images, la photo contient des objets à différentes distances et dans différentes proportions.
Des voitures à différentes échelles. Image de l’auteur.
La voiture devant vous semblera beaucoup plus grande que celle au loin, mais vous devez tout de même tenir compte des deux.
Comme nous, lorsque nous voyons quelqu’un au loin et pensons qu’il s’agit de notre ami, mais attendons qu’il se rapproche pour en être certains avant de crier son nom, la voiture manquera de détails pour les objets aussi éloignés.
Image de l’auteur.
Pour corriger ce problème, nous allons extraire et partager les informations de différents niveaux du réseau. Partager l’information dans l’ensemble du réseau est une solution puissante, car les réseaux de neurones utilisent de petits détecteurs de taille fixe pour condenser l’image à mesure que nous avançons dans le réseau.
Exemple de filtre dans les premières couches et les couches profondes d’un réseau de neurones convolutif. Image de l’auteur.
Autrement dit, les premières couches pourront détecter de petits objets, mais seulement les contours ou certaines parties des objets plus grands. Les couches profondes perdront les petits objets, mais pourront détecter les objets de grande taille avec une excellente précision.
Le principal défi de cette approche consiste à combiner, au moyen de ces connexions, deux types d’information très différents : les données spatiales 3D du LiDAR et les trames RVB plus classiques. Comme nous l’avons vu, utiliser les deux types d’information à toutes les étapes du réseau est la meilleure façon de mieux comprendre la scène entière.
Mais comment pouvons-nous fusionner deux flux d’information différents et utiliser efficacement la dimension temporelle ? Cette traduction des données entre les deux branches est ce que le réseau apprend pendant l’entraînement, de manière supervisée, selon un processus semblable à celui des mécanismes d’auto-attention que j’ai abordés dans de précédents articles, en essayant de recréer le véritable modèle du monde. Pour faciliter cette traduction des données, les chercheurs utilisent toutefois un modèle appelé PointPillars, qui prend des nuages de points et en produit une représentation en 2 dimensions.
PointPillars. Image tirée de l’article [1].
Vous pouvez voir cette représentation comme une pseudo-image du nuage de points, comme les auteurs l’appellent. Elle crée une sorte d’image classique qui représente le nuage de points avec les mêmes propriétés que les images RVB de l’autre branche. Plutôt que de représenter les couleurs rouge, vert et bleu, les pixels représentent simplement la profondeur et la position de l’objet selon les coordonnées (x, y, z). Cette pseudo-image est aussi très clairsemée, ce qui signifie que l’information contenue dans cette représentation est seulement dense autour des objets importants, là où elle sera probablement utile au modèle. Pour ce qui est du temps, nous avons simplement la quatrième dimension dans l’image d’entrée afin de suivre les trames.
L’architecture 4D-Net, dans laquelle nous fusionnons les trames LiDAR et RVB. Image tirée de l’article [1].
Ces deux branches sont des réseaux de neurones convolutifs qui encodent les images, comme je l’ai expliqué dans plusieurs de mes articles, puis décodent cette information encodée pour recréer la représentation 3D que nous voyons ici. Le modèle utilise donc un encodeur très semblable pour les deux branches, partage l’information entre elles et reconstruit un modèle 3D du monde à l’aide d’un décodeur.
Et voilà ! C’est ainsi que les véhicules de Waymo voient notre monde, grâce aux modèles 3D que nous voyons à droite dans l’image ci-dessus. Le système peut traiter 32 nuages de points dans le temps et 16 trames RVB en 164 millisecondes, tout en obtenant de meilleurs résultats que les autres méthodes. Ces chiffres ne vous disent peut-être rien. Comparons-les donc à la meilleure approche suivante, qui est moins précise et prend 300 millisecondes, soit presque deux fois plus de temps.
Bien sûr, il ne s’agissait que d’un aperçu de ce nouvel article de Google Research et Waymo. Je vous recommande de lire l’article lié ci-dessous pour en apprendre plus sur l’architecture du modèle et sur les autres caractéristiques que je n’ai pas approfondies, comme le problème d’efficacité lié à l’information temporelle.
J’espère que vous avez aimé l’article. Si c’est le cas, pensez à soutenir mon travail sur YouTube en vous abonnant à la chaîne et en me disant ce que vous pensez de ce résumé dans les commentaires. J’adorerais lire ce que vous en pensez !
Merci d’avoir lu cet article. Je vous retrouve la semaine prochaine avec un autre article de recherche incroyable expliqué simplement !
Références
- Piergiovanni, A.J., Casser, V., Ryoo, M.S. et Angelova, A., 2021. 4d-net for learned multi-modal alignment. Dans les actes de l’IEEE/CVF International Conference on Computer Vision (p. 15435–15445).
- L’article du blogue de Google Research : https://ai.googleblog.com/2022/02/4d-net-learning-multi-modal-alignment.html?m=1
FAQ
Pourquoi combiner le LiDAR et des caméras ?
Le LiDAR fournit une mesure précise des distances en 3D, tandis que les caméras fournissent des détails denses sur les couleurs, les textures et la sémantique.
Comment le LiDAR est-il représenté pour le réseau ?
Les points peuvent être projetés dans une pseudo-image clairsemée alignée sur la vue spatiale de la caméra.
Pourquoi la pseudo-image LiDAR est-elle clairsemée ?
Un scanneur laser échantillonne certains points 3D plutôt que d’enregistrer une valeur de couleur dense pour chaque pixel de l’image.
Comment la fusion des caractéristiques améliore-t-elle la détection ?
Le partage d’information permet à la distance géométrique et à l’apparence visuelle de renforcer ensemble les prédictions d’objets dans tout le réseau.
Pourquoi est-il difficile de détecter les objets éloignés ?
Les objets éloignés occupent peu de pixels et peuvent ne renvoyer que quelques points LiDAR, ce qui laisse chaque capteur avec des indices incomplets.