Regardez notre vidéo soumise à la compétition de vidéos sur l’IA de l’IJCAI-21 (adaptée)
Vous avez probablement entendu dire que le champion du monde d’échecs, de go et même de certains jeux vidéo comme Dota est une machine. Les récents progrès de l’intelligence artificielle ont permis aux chercheurs de vaincre les meilleurs joueurs humains au monde dans ces jeux grâce à une technique appelée apprentissage par renforcement. Cette même technique a aussi permis à des robots de marcher, d’ouvrir des portes et même de jouer au soccer. Mais en quoi consiste-t-elle exactement ? Ce court article vise à présenter les bases de cette technologie et à donner un aperçu de son fonctionnement.
Comment ça fonctionne
L’apprentissage par renforcement s’inspire des êtres vivants en optimisant les récompenses positives et négatives.
L’apprentissage par renforcement est une technologie inspirée des êtres vivants. En général, ceux-ci apprennent certains comportements afin d’obtenir des récompenses ou d’éviter des punitions. Si vous mangez quelque chose de délicieux, vous voudrez peut-être en manger de nouveau. Si vous touchez une cuisinière brûlante, vous n’aurez probablement pas envie de recommencer. L’apprentissage par renforcement reprend la même idée : enseigner aux machines à obtenir des récompenses positives et à éviter les récompenses négatives. Nous appelons ces machines des « agents ».
Un agent qui évolue dans son environnement, ici un terrain de soccer.
Ces agents évoluent dans un environnement. Ils l’observent et agissent en fonction de leurs observations. Selon le résultat de leurs actions, ils reçoivent une récompense positive ou négative. Au début, l’agent se comporte de façon aléatoire, mais il s’améliore progressivement par essais et erreurs. Autrement dit, il apprend à maximiser la quantité de récompenses qu’il obtient au cours de sa vie.
Un exemple simple…
Prenons un exemple simple. Vous vous trouvez sur une ligne imaginaire, avec un gâteau prêt à être mangé d’un côté et un feu de camp brûlant de l’autre. Que feriez-vous dans cette situation ? Vous répondriez probablement que vous marcheriez directement vers le gâteau. Sinon, vous vous blesseriez en allant dans le feu. Mais comment un ordinateur peut-il le savoir et apprendre le même processus de décision ? Par essais et erreurs !
Comme nous l’avons dit, l’agent se comporte d’abord aléatoirement. La moitié du temps, il va à gauche, et l’autre moitié, à droite. Mais à un moment donné, il atteint l’une des récompenses, qu’elle soit positive ou négative.
Un exemple simple d’apprentissage par renforcement où l’agent explore son environnement pour maximiser ses récompenses.
À ce moment-là, l’agent apprend qu’aller vers la gauche fait mal ou, à l’inverse, s’il a eu assez de chance, il découvre à quel point un gâteau est délicieux. C’est tout ! Une fois qu’il connaît ces récompenses, il peut adopter le comportement optimal dans cet environnement et se diriger directement vers le gâteau à chaque fois.
Cet exemple est simple, puisque l’agent peut seulement aller à droite ou à gauche. Habituellement, il aurait toutefois beaucoup plus de chemins possibles. Même s’il a déjà trouvé une bonne récompense dans un environnement aussi complexe, il doit continuer à en chercher de meilleures. Autrement dit, un plus gros gâteau nous attend peut-être au prochain coin. De temps en temps, nous devons donc saisir notre chance et aller voir.
Nous pouvons faire un parallèle avec le monde réel. Si vous êtes comme moi, vous commandez régulièrement la même pizza à la même pizzeria. Mais que se passerait-il si vous en essayiez une nouvelle de temps à autre ? Vous pourriez l’aimer encore plus et décider qu’elle devient votre nouvelle préférée. Vous n’auriez jamais découvert cette amélioration sans essayer quelque chose de nouveau, même si vous aimiez déjà la première.
Conclusion
Bien sûr, les scénarios ne sont pas tous aussi simples. En apprentissage par renforcement, chaque problème peut toutefois être vu de cette manière. Seul l’environnement dans lequel l’agent évolue change avec chacun des nouveaux défis qu’il rencontre. Qu’il s’agisse d’un échiquier, d’un jeu vidéo ou même de l’état des moteurs d’un robot qui apprend à marcher, la logique reste la même : l’agent essaie des choses, observe comment l’environnement réagit à ses actions et s’adapte pour faire mieux la prochaine fois. On peut voir l’apprentissage par renforcement comme une façon darwinienne d’apprendre pour les machines.
Si tout cela vous semble clair, félicitations ! Vous comprenez maintenant ce qu’est l’apprentissage par renforcement et comment il fonctionne. Il existe évidemment plus de détails techniques, mais vous saisissez l’essentiel de cette technique étonnante aux capacités incroyables.
Article écrit par
Malrick Costantini, LinkedIn, site Web. Si vous aimez cet article, vous pouvez aussi consulter les autres projets de Malrick, dont ce site Web, DealTracker, qui compare des produits d’occasion !
Elias Ilmari, LinkedIn
Louis-François Bouchard, LinkedIn, site Web
Venez discuter avec nous dans notre communauté Discord : Learn AI Together et partagez vos projets, vos articles scientifiques et les meilleures formations, trouvez des coéquipiers pour Kaggle et bien plus encore !
Si vous aimez mon travail et voulez rester au courant des nouveautés en IA, vous devriez vraiment me suivre sur mes autres réseaux sociaux, comme LinkedIn et Twitter, et vous abonner à mon infolettre hebdomadaire sur l’IA !
FAQ
Qu’est-ce que l’apprentissage par renforcement ?
Il entraîne un agent par l’interaction et utilise des récompenses pour rendre les actions utiles plus probables au fil du temps.
Quels sont les principaux éléments d’un problème d’apprentissage par renforcement ?
Un agent observe un état, exécute une action, reçoit une récompense et passe à un nouvel état.
Pourquoi un agent explore-t-il aléatoirement au départ ?
Avant de savoir quelles actions fonctionnent, il doit acquérir de l’expérience avec différentes possibilités plutôt que de répéter un choix fait sans information.
Comment l’apprentissage par renforcement peut-il dépasser les performances humaines ?
Un agent peut s’exercer à grande échelle, optimiser une récompense précise et découvrir des stratégies que les humains ne lui ont pas explicitement enseignées.
Une récompense élevée signifie-t-elle que le comportement est réellement bon ?
Seulement si la récompense reflète le véritable objectif. Un objectif mal défini peut produire un comportement impressionnant, mais indésirable.