Thèse Année : 2024

Diversity based exploration for deep reinforcement learning

Exploration fondée sur la diversité pour l'apprentissage par renforcement profond

Résumé

This thesis is concerned with the family of methods at the intersection between deep reinforcement learning and evolutionary algorithms for solving problems where the algorithms ability to explore, in particular their management of the exploration-exploitation dilemma, plays a crucial role. Historically, deep reinforcement learning algorithms are recognized as being efficient in terms of sample efficiency, but have a limited ability to explore the space of possible solutions, due to their simple exploration mechanisms, often based on the addition of stochastic noise in the action space. On the other hand, evolutionary methods, and more particularly recent algorithms from the quality-diversity family, have a superior ability to explore, due to their exploration mechanisms based on the diversity of solutions within a population. They are capable of solving optimization problems where it is necessary to explore the solution space intelligently (by defining a subspace of interest called the behavior space), but are often costly in terms of interactions with the environment. The first part of the contributions of this thesis (Chapter 3) focuses on the development of an hybrid algorithm, called Quality-Diversity-Policy-Gradient (QD-PG), for solving difficult exploration problems in continuous control environments (simulated robotics), based on the algorithmic framework of quality-diversity methods, and aiming to make it sample efficient using gradient-based methods derived from reinforcement learning. In the second part (Chapter 4), we present: 1. A new quality-diversity algorithm, called MAP-Elites Low-Spread, which corrects the variance bias of the MAP-Elites algorithm and generates constant and regular solutions in the behavior space, 2. A method based on supervised deep learning for distilling a collection of solutions generated by MAP-Elites Low-Spread into a single deep neural network based on the Transformer architecture, which is capable of generating trajectories conditioned on a desired behavior with high accuracy. Finally, the last contribution part (Chapter 5) introduces a work in progress, where we propose using a Transformer-based model to predict the final state of continuous cellular automata from an initial state, without prior knowledge of their governing rules. We hypothesize that this model could be employed to automatically detect interesting patterns generated by a search algorithm.
Cette thèse étudie la famille de méthodes à l'intersection entre l'apprentissage par renforcement profond et les algorithmes évolutionnaires pour résoudre des problèmes où la capacité d'exploration des algorithmes, notamment leur gestion du dilemme exploration-exploitation, joue un rôle crucial. Historiquement, les algorithmes d'apprentissage par renforcement profond sont reconnus comme étant efficients en termes d'efficacité échantillonnale, c'est-à-dire du nombre d'interactions avec l'environnement qu'ils nécessitent pour résoudre un problème d'optimisation, mais ont cependant une capacité limitée à explorer l'espace des solutions possibles, du fait de leurs mécanismes d'exploration simples, souvent basés sur l'ajout de bruit stochastique dans l'espace d'action. D'un autre côté, les méthodes évolutionnaires, et plus particulièrement les algorithmes récents issus de la famille qualité-diversité, présentent une capacité d'exploration supérieure du fait de leurs mécanismes d'exploration axés sur la diversité des solutions au sein d'une population. Ils sont capables de résoudre des problèmes d'optimisation où il est nécessaire d'explorer l'espace des solutions de manière intelligente (en définissant un sous-espace d'intérêt appelé l'espace des comportements), mais sont souvent coûteux en termes d'interactions avec l'environnement. La première partie des contributions de la thèse (Chapitre 3) se concentre sur l'élaboration d'un algorithme, appelé QD-PG pour "Quality-Diversity-Policy-Gradient", permettant de résoudre des problèmes difficiles d'exploration dans des environnements de contrôle continu (robotique simulée), en se basant sur le cadre algorithmique des méthodes évolutionnaire, et en ayant pour objectif de le rendre efficient grâce aux méthodes basées sur la descente de gradient, issues de l'apprentissage par renforcement. Dans une deuxième partie (Chapitre 4), nous présentons: 1. Un nouvel algorithme de qualité-diversité, appelé MAP-Elites Low-Spread, qui permet de corriger le biais de variance de l'algorithme MAP-Elites et générer des solutions consistantes et régulières dans l'espace des comportements, 2. Une méthode basée sur l'apprentissage profond supervisé permettant de distiller une collection de solutions générées par MAP-Elites Low-Spread dans un réseau de neurones profond unique basé sur l'architecture Transformer, qui est capable de générer des trajectoires conditionnées sur un comportement désiré avec haute précision. Enfin, la dernière partie des contributions (Chapitre 5) introduit un travail en cours, dans lequel nous proposons d'utiliser un modèle basé sur l'architecture Transformer pour prédire l'état final d'automates cellulaires continus à partir de l'état initial et sans connaissance des règles qui les régissent. Nous faisons l'hypothèse qu'un tel modèle peut être employé, entre autres, à détecter automatiquement les patterns intéressants générés par un algorithme de recherche.
Fichier principal
Vignette du fichier
147915_MACE_2024_archivage.pdf (10.56 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-04917291 , version 1 (28-01-2025)

Identifiants

  • HAL Id : tel-04917291 , version 1

Citer

Valentin Macé. Diversity based exploration for deep reinforcement learning. Machine Learning [cs.LG]. Sorbonne Université, 2024. English. ⟨NNT : 2024SORUS445⟩. ⟨tel-04917291⟩
0 Consultations
0 Téléchargements

Partager

More