Applicazioni di visione stereoscopica per sistemi embedded in agenti autonomi

Abstract

I principali problemi da risolvere sono due: la localizzazione e il rilevamento degli ostacoli. Il sistema autonomo, percepisce l'ambiente circostante mediante l'impiego di sensori ed utilizza queste informazioni per determinare la sua posa nel mondo e per riconoscere possibili ostacoli. Tra i sensori più utilizzati in ambito automotive, droni, etc.. vi sono le telecamere: queste sono, generalmente, più economiche di soluzioni come lidar e laser scanner, e hanno il vantaggio di restituire una informazione ricca e densa, seppur rumorosa. \\ Tuttavia l’elaborazione dei dati ottenuti con questo tipo di sensore risulta molto complessa e le soluzioni proposte allo stato dell’arte richiedono hardware specializzato e caratterizzato da consumi energetici elevati.\\ Questa tesi ha come obiettivo la presentazione di due algoritmi basati su mappe di disparità: un supporto alla localizzazione basato su keyframe e un rilevatore di ostacoli. In particolare gli approcci sviluppati sono stati realizzati per essere eseguiti su chip caratterizzati da un ridotto consumo energetico. Tali chip sono stati realizzati dall’azienda Ambarella per la quale è stato svolto il dottorato. \\ L’algoritmo di keyframe localization realizzato utilizza nello specifico una coppia di immagini 4K a 30fps e una disparità sparsa per dare supporto ad un filtro di localizzazione e consentire l'atterraggio in determinati basi con un errore inferiore ai 15cm. L’algoritmo di rilevazione degli ostacoli utilizza una mappa di disparità densa con una risoluzione di 4K per riuscire a individuare oggetti piccoli (dai 7cm ai 40cm) quali ad esempio coni stradali alti 30cm, rilevabili ad una distanza di 92m, e oggetti di grandi dimensioni come pedoni a una distanza di 150m.

The major issue to be solved are the localization and the obstacles detection. The system detects the surrounding environment through the sensor usage and use this information to define its positioning with respect to the surrounding space and obstacles. The cameras are the most ordinary sensors used for automotive and drones: they are cheaper than lidar and laser scanner solution and they give back information more detail, albeit noisy. Nevertheless, the processing of the obtained data is more complex and the solutions proposed by the state of the art require hardware system that need to high electric power consumption. This project has the aim to present two algorithms based on the disparity maps (DM): a localization support based on keyframe and obstacles detector. In particular, the developed approaches have been made to be executed on chip with a reduce electric power consumption. These chips have been made by Ambarella company, for which the phD has been held. The keyframe localization algorithm used a couple of 4K images (30fps) and a sparse disparity map to support to a localization filter and allows the landing into confined spaces with an error lower than 15cm. The obstacles detection algorithm use a dense disparity map with a resolution of 4K to allow to detect small objects (from 7 to 40 cm), for examples road cones tall 30cm, detectable from a distance of 92m and big objects as pedestrians from a distance of 150m.