En apprentissage profond (deep learning), on utilise des réseaux de neurones à plusieurs couches pour obtenir des fonctionnalités par apprentissage automatique. L’apprentissage par renforcement profond (deep reinforcement learning, ou deep RL) est un cas particulier où la fonctionnalité recherchée consiste à réaliser de façon efficace une tâche qui dure un certain temps. Ces techniques
connaissent à l’heure actuelle un essor sans précédent dans la recherche académique et industrielle.
L’objet de ce projet est de mettre en oeuvre un algorithme de deep RL existant pour réaliser un contrôleur qui apprend à piloter une voiture sur circuit. Le simulateur de pilotage (TORCS) et l’algorithme d’apprentissage initial (DDPG) seront fournis. Le gros du travail consistera à développer des outils pour analyser le comportement du véhicule en lien avec le contrôleur appris et, en fonction du niveau des étudiants, à améliorer les mécanismes d’apprentissage.
Entre autres choses, afin d’analyser le comportement du contrôleur, il pourra être utile de programmer à la main un contrôleur « expert » à partir d’une intuition de haut niveau de ce que ce contrôleur doit faire.
Pour les étudiants qui seront choisis, le principal bénéfice de ce projet sera de se familiariser avec les concepts et outils du deep RL, qui jouent un rôle significatif dans les progrès actuels de l’Intelligence Artificielle.
Réaliser ce projet présuppose une certaine capacité d’auto-formation au deep RL. Des supports de cours en vidéo et des TME seront fournis pour aider les étudiants à acquérir les concepts nécessaires.
Par ailleurs, des bonnes bases en programmation python et une certaine familiarité avec github sont
des prérequis.
Références :
TORCS : https://sourceforge.net/projects/torcs/
DDPG : https://github.com/openai/baselines/tree/master/baselines/ddpg
Un dépôt qui fait le lien: https://yanpanlau.github.io/2016/10/11/Torcs-Keras.html