Microscopic traffic simulation and maneuver execution with multi-agent deep reinforcement learning

Abstract

In questa tesi vengono fornite le basi, gli algoritmi ed alcuni esempi pratici per la realizzazione di un simulatore sintetico, i cui guidatori, seppur virtuali, sono in grado di seguire comportamenti complessi e hanno capacità di negoziazione, avvicinando quindi i comportamenti dei guidatori umani; inoltre, può essere assegnato a ciascun agente un differente comportamento, così che possa essere simulata anche la diversità nello stile di guida insita in ciascun individuo. Questo simulatore, che ha portato all'ideazione di un nuovo algoritmo multiagente di Deep Reinforcement Learning, è stato principalmente pensato per lo sviluppo di algoritmi di machine-learning il cui obiettivo è quello di essere efficienti nel mondo reale nonostante siano stati addestrati in simulazione. Nella seconda parte della tesi, infatti, questo simulatore viene utilizzato per lo sviluppo di un modulo di alto livello per l'esecuzione della manovra relativa all'inserimento in rotatoria da parte di un veicolo autonomo usando tecniche di Deep Reinforcement Learning, che sia in grado di interagire con altri utenti della strada e guidare il veicolo anche attraverso situazioni di traffico denso dove algoritmi classici porterebbero ad attese indefinite.

In this thesis, the basis, algorithms and practical examples are given for the development of a synthetic simulator, whose drivers, even if virtual, are endowed with human-like behaviors and able to navigate complex situations; moreover, to each agent can be assigned a different behavior, so that also the natural diversity among human driving styles can be simulated. This simulator, which brought to the design of a novel multi-agent Deep Reinforcement Learning algorithm, has been thought for being deployed for the development of machine-learning algorithms, whose goal is to be efficient in real-world despite being trained in simulation. Indeed, in the second part of the thesis, this simulator has been used for the development of a high-level module able to guide self-driving vehicles in roundabout insertions; this module, based on Deep Reinforcement Learning techniques, is able to negotiate with humans and accomplishing the maneuver even in dense traffic conditions where classical approaches would lead to undefinite waits.