A Bottom-up Method for Rule Construction in Neural-Symbolic Reinforcement Learning

Abstract

Deep learning has been increasingly successful in the last few years, and it obtained a plethora of impressive results in various contexts. However, the drawbacks and the limitations of deep learning and related approaches have recently become indisputable. Actually, the results of deep learning algorithms are hardly interpretable, and they struggle to generalize to unseen situations. In order to overcome these problems, neural-symbolic methods have been recently proposed as a viable approach in various contexts because neural-symbolic methods combine symbolic with sub-symbolic machine learning methods to gain the advantages of both while avoiding that inherent problems. This dissertation focuses on the proposal of a new neural-symbolic method for neural-symbolic reinforcement learning by discussing its design, the developed implementation, and some experimental results. The first part of this dissertation overviews the ordinary reinforcement learning concepts, and it surveys the major deep reinforcement learning and relational reinforcement learning approaches available in the literature. The second part of the dissertation focuses on a structured comparison among some of the most representative neural-symbolic approaches for inductive logic programming, which can be considered as good candidates for neural-symbolic reinforcement learning. The last part of the dissertation presents the proposed method as an evolution of an existing algorithm proposed by Jiang & Luo and called Neural Logic Reinforcement Learning. The original algorithm provides for the generation of rules using a top-down approach, while the algorithm proposed in this dissertation uses a bottom-up approach that generates rules starting from the states of the environment to obtain general rules to be used for training. The proposed algorithm is presented and compared with the original algorithm to empirically assess the validity of the approach. The proposed method is able to effectively learn many tasks and it successfully generalize to slightly different versions of the training tasks. However, despite requiring less information from the user, it performs worse than NLRL. This dissertation is concluded with a discussion on some limitations of the proposed algorithm and with an overview of future research directions.

Negli ultimi anni, il deep learning ha avuto sempre maggior successo ed ha permesso di ottenere risultati molto significativi in diversi ambiti. Tuttavia, sono sempre più evidenti i limiti di queste tecniche, le quali non sono interpretabili e faticano a gestire situazioni mai viste. Allo scopo di superare i limiti intrinseci del deep learning, i metodi neuro-simbolici sono stati recentemente proposti come soluzione in vari contesti perché questi metodi combinano le tecniche di machine learning sub-simbolico con quelle di machine learning simbolico allo scopo di ottenere i vantaggi di entrambe evitandone gli svantaggi. Questo lavoro di tesi di dottorato di ricerca propone un approccio neuro-simbolico per risolvere problemi di reinforcement learning, discutendone la progettazione, la relativa implementazione ed alcuni risultati sperimentali. Nella prima parte di questo lavoro saranno introdotti i principali concetti di reinforcement learning, saranno inoltre presentati i principali approcci di deep reinforcement learning e relational reinforcement learning. La seconda parte di questo lavoro presenta un confronto tra i principali approcci neuro-simbolici basati su inductive logic programming, i quali possono essere considerati una buona base di partenza per risolvere problemi di reinforcement learning. L’ultima parte di questo lavoro presenta una nuova tecnica, la quale è progettata partendo da un algoritmo esistente introdotto da Jiang & Luo nel 2019 e chiamato Neural Logic Reinforcement Learning. Nell’algoritmo originale le regole di partenza vengono generate in modo top-down. Viceversa, in questa nuova proposta si usa un approccio bottom-up. Infatti, l'algoritmo proposto genera le regole partendo dagli stati forniti dall’ambiente allo scopo di ottenere regole generali da utilizzare durante la fase di addestramento. La nuova tecnica viene presentata e confrontata con quella originale, allo scopo di mostrarne empiricamente la validità. Il metodo proposto è in grado di completare efficacemente diversi task e riesce a generalizzare a versioni leggeremente diverse dei task usati per l'addestramento. Tuttavia, pur richiedendo meno informazioni da parte dell'utente, ottiene risultati peggiori rispetto a NLRL. La parte conclusiva di questo lavoro di tesi di dottorato di ricerca discute i limiti di questo nuovo approccio e presenta una panoramica su alcuni sviluppi futuri.