Reinforcement learning methods for continuous spaces: policy gradient methods and their improvements (TRPO and PPO).

Méthodes d'apprentissage par renforcement pour espaces continus : les méthodes à gradient de politique et leurs améliorations (TRPO et PPO). v1.01

Franck Vandewiele (1) , Samuel Delepoulle (1)

1 LISIC - Laboratoire d'Informatique Signal et Image de la Côte d'Opale

This report deals with reinforcement learning methods for continuous spaces, focusing on policy gradient methods and their improvements TRPO and PPO. These methods solve the difficulties encountered by Q-learning approaches in continuous state or action spaces. The paper explains how these methods work and how they compare with other approaches.

Ce rapport traite des méthodes d'apprentissage par renforcement pour les espaces continus, en se concentrant sur les méthodes à gradient de politique et leurs améliorations TRPO et PPO. Ces méthodes permettent de résoudre les difficultés rencontrées par les approches de type Q-learning dans les espaces d'états ou d'actions continus. Le document fournit des explications sur le fonctionnement de ces méthodes et leur comparaison avec d'autres approches.

Mots clés: apprentissage par renforcement; IA; problèmes de contrôle continus

Domaines: Intelligence artificielle [cs.AI]

Franck Vandewiele, Samuel Delepoulle. Méthodes d'apprentissage par renforcement pour espaces continus : les méthodes à gradient de politique et leurs améliorations (TRPO et PPO). v1.01. Laboratoire d'Informatique Signal et Image de la Côte d'Opale. 2023. ⟨hal-04115352⟩