Decision-making, planning and control using deep reinforcement learning for autonomous driving vehicles

Abstract

Il settore dell’autonomous driving è diventato un topic di interesse mondiale negli ultimi anni attirando l’attenzione sia dell’accademia che dell’industria. Questo progetto di ricerca infatti, consiste nel proporre soluzioni innovative basate sul Deep Learning, e in particolare sul Deep Reinforcement Learning, per l’implementazione di sistemi per veicoli a guida autonoma addestrati in simulazione ma con un focus particolare all’analisi delle performance ottenute da tali sistemi nel mondo reale a bordo di un reale veicolo a guida autonoma. In particolare, la parte iniziale del progetto si è focalizzata sullo sviluppo di un modello in grado di eseguire l'immissione in rotatoria in modo sicuro predicendo azioni discrete per modulare il comportamento longitudinale del veicolo; successivamente, è stato sviluppato un algoritmo in grado di guidare il veicolo attraverso gli incroci controllando sia il comportamento longitudinale che laterale del veicolo e imparando a dare la precedenza in base al segnale di traffico e alla regola della precedenza a destra. Infine, nell’ultima parte del progetto è stata sviluppata una versione iniziale di un planner basato esclusivamente su tecniche di Reinforcement Learning addestrato e testato in scenari privi di traffico, in grado di guidare in maniera confortevole sia in simulazione che nel mondo reale.

The autonomous driving field has become a worldwide topic of interest in the last years both for academia and industrial purposes. The research project consists in the development of Deep Learning techniques and in particular of Deep Reinforcement Learning, for the development of autonomous driving systems trained in simulation, but with a particular focus on the deployment of such modules in real-world contexts. In particular, the first part of the project focused on the implementation of a model able to perform the roundabout immission maneuver predicting discrete actions to modulate the longitudinal behavior of the vehicle; afterwards, an algorithm able to drive the car through intersections has been developed, predicting both longitudinal and lateral vehicle behaviors and learning the priorities of other vehicles involved in the scenario based on the traffic signs and on the priority to the right rule. Finally, in the last part of the project, a beta version of a Reinforcement Learning planner has been implemented, training and testing the model in obstacle-free environments and obtaining a system able to drive smoothly and safely both in simulation and real-world scenarios.