Voyez-en plus dans la vidéo
Les réseaux neuronaux profonds et les autres approches
Les chercheurs cherchent constamment de nouvelles façons de construire des modèles intelligents. Nous savons tous que les modèles supervisés très profonds fonctionnent extrêmement bien lorsque nous disposons de suffisamment de données pour les entraîner. Toutefois, l’un des défis les plus difficiles consiste à bien généraliser et à le faire efficacement. Nous pouvons toujours ajouter de la profondeur, mais le coût de calcul est élevé. Comme vous l’imaginez peut-être déjà, il doit donc exister une autre façon de rendre les machines intelligentes, qui exige moins de données ou au moins moins de couches dans nos réseaux.
L’une des tâches les plus complexes auxquelles travaillent actuellement les chercheurs et les ingénieurs en apprentissage automatique est la conduite autonome. Chaque possibilité doit être couverte et le système doit être parfaitement stable avant de pouvoir être déployé sur nos routes. L’entraînement d’une voiture autonome exige habituellement de nombreux exemples provenant de vrais conducteurs ainsi qu’un réseau neuronal très profond capable de comprendre ces données et de reproduire les comportements humains dans n’importe quelle situation.
Représentation de bout en bout d’un algorithme de conduite autonome. Image tirée de l’article scientifique
Des chercheurs de l’IST Austria et du MIT ont réussi à entraîner une voiture autonome avec un nouveau système d’intelligence artificielle inspiré du cerveau de minuscules animaux, comme les nématodes [1]. Ils y sont parvenus avec seulement quelques neurones capables de contrôler la voiture, comparativement aux millions de neurones requis par les réseaux neuronaux profonds populaires comme Inception, ResNet ou VGG. Leur réseau pouvait contrôler entièrement une voiture avec seulement 75 000 paramètres composés de 19 neurones de contrôle, plutôt que des millions !
Le système intelligent inspiré du cerveau
Puisqu’il est aussi petit, ce système n’a pas besoin d’être une « boîte noire » comme les modèles profonds, dont nous ne comprenons pas entièrement le fonctionnement à chaque étape du réseau. En fait, les humains peuvent le comprendre. Comme l’explique le professeur Radu Grosu, directeur du groupe de recherche : « Le nématode C. elegans, par exemple, vit avec un nombre étonnamment faible de neurones et présente tout de même des comportements intéressants.
Le système nerveux d’un nématode. Image tirée de Nematode Worm Parks A Car
Cela s’explique par la manière efficace et harmonieuse dont le système nerveux du nématode traite l’information. » Ce système nerveux prouve que les modèles d’apprentissage profond ont encore une grande marge d’amélioration. Si les nématodes peuvent présenter des comportements intéressants avec un nombre de neurones aussi faible, après avoir évolué vers une structure presque optimale, nous pouvons certainement reproduire ce principe dans une machine. Ce système neuronal permet aux nématodes de se déplacer, de contrôler leurs mouvements et de naviguer, exactement ce que nous cherchons à accomplir dans des applications comme la conduite autonome.
En suivant ce système neuronal, ils ont « développé de nouveaux modèles mathématiques de neurones et de synapses » appelés neurones à « constante de temps liquide », ou LTC, comme l’a expliqué le professeur Thomas Henzinger.
Une façon de simplifier le réseau consistait à le rendre clairsemé. Cela signifie que chaque cellule n’est pas connectée à toutes les autres. Lorsqu’une cellule est activée, les autres ne le sont pas, ce qui réduit le temps de calcul puisque toutes les cellules désactivées n’envoient aucune sortie, ou une sortie de 0 qui se calcule extrêmement rapidement. Les chercheurs ont aussi changé le fonctionnement de chaque cellule. Comme l’explique le Dr Ramin Hasani : « Le traitement des signaux à l’intérieur des cellules individuelles suit des principes mathématiques différents de ceux des modèles d’apprentissage profond précédents. »
Le nouveau système intelligent de l’IST Austria et du MIT : les NCP
Regardons maintenant d’un peu plus près le fonctionnement de ce nouveau système.
Il se compose de deux parties. La première est un réseau neuronal convolutif compact, utilisé pour extraire des caractéristiques structurelles des pixels dans les images d’entrée. À partir de cette information, le réseau décide quelle partie de l’image est importante ou intéressante et transmet uniquement cette partie au deuxième système.
Représentation de bout en bout de l’architecture. Image tirée de l’article scientifique
Ils appellent la deuxième partie un « système de contrôle ». Celui-ci dirige le véhicule à partir des décisions prises par un ensemble de neurones inspirés de la biologie. Cette partie de contrôle s’appelle aussi une politique de circuit neuronal (Neural Circuit Policy), ou NCP. Essentiellement, elle traduit les sorties du modèle convolutif compact vers seulement 19 neurones organisés selon une structure de RNN inspirée du système nerveux du nématode. Ces neurones contrôlent le véhicule et lui permettent de rester dans sa voie en suivant l’architecture illustrée ci-dessus. Vous trouverez davantage de détails sur l’implémentation de ces réseaux NCP dans leur article scientifique ou dans le guide clair publié sur leur GitHub [2].
C’est à cette étape que se produit la plus grande réduction du nombre de paramètres. Mathias Lechner explique que « les NCP sont jusqu’à 3 ordres de grandeur plus petites que ce qui aurait été possible avec les anciens modèles de pointe », comme vous pouvez le voir dans le tableau 2 ci-dessous. Les deux systèmes sont entraînés simultanément et travaillent ensemble pour créer cette voiture autonome.
Comparaison de la taille des réseaux. Image tirée de l’article scientifique
Puisque le système est si petit, les chercheurs ont pu voir où il concentrait son attention dans les images reçues. Ils ont découvert qu’un réseau aussi compact, qui extrait seulement la partie la plus importante de l’image, poussait les quelques neurones de décision à se concentrer uniquement sur le bord de la route et sur l’horizon. Il s’agit d’un comportement unique parmi les systèmes d’intelligence artificielle actuels, qui analysent chaque détail de l’image et utilisent beaucoup plus d’information que nécessaire.
Dynamique globale du réseau. Image tirée de l’article scientifique
Prenez seulement une seconde pour observer la faible quantité d’information envoyée au réseau NCP comparativement aux autres types de réseaux. Rien qu’en regardant cette image, nous pouvons voir qu’il est clairement plus efficace et plus rapide à calculer que les approches actuelles.
De plus, alors que le bruit, comme la pluie ou la neige, représente un grand problème pour les approches actuelles de maintien dans la voie, le système NCP a démontré une forte résistance aux artefacts d’entrée. Son architecture et son nouveau modèle neuronal continuent de concentrer leur attention sur l’horizon de la route même lorsque la caméra produit une image bruitée, comme vous pouvez le voir dans la courte vidéo ci-dessous.
Robustesse démontrée dans un environnement bruité. Image tirée de l’article scientifique
Conclusion
Leur nouvelle approche est plus robuste, plus rapide à entraîner grâce à sa petite taille et plus interprétable puisqu’elle permet de visualiser clairement l’activité à l’intérieur du réseau neuronal. Il s’agit d’une nouvelle génération de modèles profonds et d’une grande avancée dans le domaine de l’intelligence artificielle, qui ouvre de nouvelles perspectives en s’inspirant des systèmes nerveux biologiques.
Comme si cela n’était pas déjà assez impressionnant, ils ont aussi rendu leur code public. Ils ont même créé des tutoriels complets qui montrent comment créer ou importer leurs nouveaux réseaux NCP avec les neurones LTC [3], ainsi que comment empiler des NCP avec d’autres types de couches [4]. Tout est disponible sur leur GitHub.
Bien sûr, ce n’était qu’un simple aperçu de ce nouvel article scientifique. Je vous recommande fortement de lire l’article lié ci-dessous pour obtenir plus d’information.
Merci de m’avoir lu !
Si vous aimez mon travail et souhaitez rester à jour dans le domaine de l’IA, vous devriez absolument me suivre sur mes autres réseaux sociaux (LinkedIn, Twitter) et vous abonner à mon infolettre hebdomadaire sur l’IA !
Pour me soutenir :
- La meilleure façon de me soutenir est de devenir membre de ce site ou de vous abonner à ma chaîne YouTube si vous préférez le format vidéo.
- Soutenez financièrement mon travail sur Patreon.
- Suivez-moi ici sur mon blogue ou sur Medium.
- Vous voulez vous lancer en IA ou améliorer vos compétences ? Lisez ceci !
- Apprenez l’IA avec nous en rejoignant notre communauté Discord. Partagez vos projets, vos articles scientifiques et vos meilleurs cours, trouvez des coéquipiers pour Kaggle et bien plus encore !
Références
[1] M. Lechner, R. Hasani, A. Amini, T. A. Henzinger, D. Rus et R. Grosu, Neural circuit policies enabling auditable autonomy, 2020, Nature Machine Intelligence
[2] M. Lechner et R. Hasani, Code for Neural Circuit Policies Enabling Auditable Autonomy, 2020, GitHub
[3] M. Lechner et R. Hasani, Google Colab: Basic usage, 2020, Google Colab
[4] M. Lechner et R. Hasani, Google Colab: Stacking NCPs with other layers, 2020, Google Colab
FAQ
Qu’est-ce qu’une politique de circuit neuronal ?
Une NCP est un réseau récurrent compact dont le câblage s’inspire des circuits neuronaux biologiques.
Pourquoi explorer de plus petits réseaux pour la conduite autonome ?
Un nombre réduit de paramètres peut diminuer les calculs et rendre la dynamique interne plus facile à examiner tout en conservant un contrôle utile.
En quoi les NCP diffèrent-elles des modèles supervisés très profonds ?
Elles utilisent une récurrence structurée et clairsemée plutôt que d’empiler de nombreuses couches denses pour apprendre à conduire.
Quel problème de généralisation les chercheurs tentent-ils de résoudre ?
Un modèle de conduite doit réagir de façon sécuritaire à des routes, à des conditions météorologiques et à des situations différentes de ses exemples d’entraînement.
L’inspiration biologique garantit-elle une intelligence semblable à celle des humains ?
Non. L’architecture emprunte des principes d’organisation aux systèmes nerveux, mais demeure un contrôleur appris pour une tâche précise.