Modal Symbolic Learning: from theory to practice

Abstract

Il Symbolic Learning (SL) studia algoritmi di apprendimento per modelli computazionali che si basano sulla logica formale (o logica simbolica) e, come tale, fornisce modelli di intelligenza artificiale che eseguono ragionamenti logici trasparenti, espliciti, nonostante il suo ruolo centrale nell'intelligenza artificiale (AI) degli anni '80/'90, gli ultimi due decenni di ricerca sull'IA sono stati contrassegnati da grandi progressi nel deep learning, che hanno spostato l'attenzione su modelli a scatola nera altamente accurati. Negli ultimi anni la SL è tornata alla ribalta come soluzione promettente al cosiddetto problema della scatola nera, a causa della natura interpretabile della rappresentazione della conoscenza sottostante, ma allo stato attuale appare sia sottosviluppata che sottosviluppata. frammentato e generalmente non è considerato un serio concorrente del deep learning, probabilmente a causa di due fattori principali. In primo luogo, mentre i metodi di deep learning sono specializzati in serie temporali, immagini, grafici, ecc., la maggior parte degli approcci SL diffusi sono ancora basati sulla logica proposizionale o sulla logica dei predicati, che sono adatti solo per dati statici, tabulari e per dati puramente relazionali. In secondo luogo, mentre esistono diversi framework di programmazione consolidati per il deep learning (ad esempio, tensorflow, Theano, Deeplearning4j, scikit-learn), le implementazioni degli algoritmi SL (quando disponibili) sono sparse tra diverse programmazioni e librerie, rendendo difficile apprezzare il vero potenziale dei linguaggi. delle rappresentazioni esplicite della conoscenza. Questa tesi affronta entrambe queste lacune. In primo luogo, con l'obiettivo di fornire una visione moderna e unificante sull'argomento, presentiamo SOLE, un framework astratto per le metodologie SL. Il framework, che è disponibile anche nella programmazione Julia linguaggio, fornisce una base logica solida e completa che consente l'uso di formalismo logico praticamente any e copre metodi (specifici della logica e -agonistici) dall'analisi dei dati simbolici, dall'apprendimento simbolico e dalla modellazione simbolica. risultati sperimentali pubblicati di recente mostrano come le estensioni dei metodi SL comuni a logiche modali più espressive possano portare a modelli interpretabili e accurati per attività con dati non tabulari. La parte sperimentale di questa tesi considera quattro diversi compiti di classificazione, serie temporali multivariate e immagini. Per ciascun compito, forniamo una valutazione sperimentale di un nuovo algoritmo di apprendimento dell'albero decisionale basato su logiche modali temporali/spaziali. I modelli appresi mostrano una precisione da media ad alta, e le ispezioni qualitative della conoscenza estratta rivelano intuizioni sui processi sottostanti al problema in questione. L’obiettivo di questo lavoro è incoraggiare la ricerca in SL e, in definitiva, consentire interazioni virtuose tra intelligenza umana e computazionale, durante la negoziazione di compiti difficili.

Symbolic Learning (SL) studies learning algorithms for computational models that rely on formal (or symbolic) logic and, as such, it provides AI models that perform transparent, explicit logical reasoning. Inspite of its central role in the Artificial Intelligence (AI) of the 80s/90s, the last two decades of research in AI had been marked by great advances in Deep Learning, which shifted the focus on highly accurate, black-box models. While this caused a slowdown in SL research, over the very last years, the field has been making a comeback as a promising solution to the so-called black box problem, due to the interpretable nature of its underlying knowledge representation. In its current state, SL appears fragmented, underdeveloped, and it is generally not regarded as a serious competitor to Deep Learning. This is likely due to two major factors. First, while deep learning methods specialized to time-series, images, graphs, etc., most of the widespread SL approaches are still based on propositional logic or predicate logic, which are only suitable for static, tabular data, and for purely relational data, respectively. Second, while several established programming frameworks exist for Deep Learning (e.g., tensorflow, Theano, Deeplearning4j, scikit-learn), implementations of SL algorithms (when available) are scattered across different programming languages and libraries, making it difficult to appreciate the true potential of explicit knowledge representations. This thesis addresses both of these gaps. First, with the aim of providing a modern, unifying view on the subject, we present SOLE, a comprehensive abstract framework for SL methodologies. The framework is based on a solid logical foundation that allow for the use of virtually any logical formalism, and covers (logic-specific and -agonistic) methods from Symbolic Data Analysis, Symbolic Learning and Symbolic Modelling. SOLE is also implemented and publicly available in the Julia programming language as Sole.jl, the first programming framework specifically tailored for symbolic methods. Second, we report recent, published experimental results showing how extensions of common SL methods to more expressive, modal logics can lead to interpretable and accurate models for tasks involving non-tabular data. The experimental part of this thesis considers four different classification tasks involving multivariate time-series and images. For each task, we provide an experimental evaluation of a novel decision tree learning algorithm based on temporal/spatial modal logics. The learned models display medium to high accuracies, and qualitative inspections of the extracted knowledge reveal insights into the underlying processes of the classification problems at hand. The objective of this work is to encourage research in SL, and to, ultimately, enable virtuous interactions between human and computational intelligence, when tackling hard tasks.