Data science applied to public fund management

Abstract

The growth in usage of Machine Learning (ML) models has been increasing over the past decade, with the practical introduction of high-performance models such as deep neural networks, only obtained by the improvement of computational resources for its usage. These types of models are generally high in performance, though this comes with the cost of being difficult to interpret, gaining the reputation of being black-box models. To tackle this issue, a specific area of Artificial Intelligence, eXplainable Artificial Intel- ligence (XAI) was formed, to introduce a degree of explanations on predictions made by the black-box models. The end goal of this dissertation was to make use of XAI methods on these models, to search for a standardization on how data is inserted, predicted, and fi- nally, explained. For this purpose, a systematic literature review was made, to define XAI as well as a taxonomy of XAI methods and practical applications of such methods. These practical applications serve as a baseline in the implementation of several XAI methods, concluding with a main experiment on a real dataset. For the explanations obtained with the XAI models, it was possible to create a diverse set of explanations for all experiments and successfully validate them, as the XAI methods are typically in agreement over what features were deemed most important for the predictive process.

O crescimento na utilização de modelos de Machine Learning (ML) tem vindo a acentuar-se ao longo da última década, com a introdução prática de modelos de alto desempenho como redes neuronais profundas, apenas conseguido com a melhoria dos recursos computacionais para a sua utilização. Este tipo de modelos, apesar de obterem um alto desempenho, costumam por norma ser de difícil interpretação, ganhando o termo “caixa-negra”, ou black-box, por não se saber ao certo como o modelo funciona e opera. Para endereçar este problema, está a ser desenvolvida uma área de estudo, Explainable Artificial Intelligence (XAI), especificamente para introduzir um grau de explicação nas previsões realizadas por estes modelos black-box. O objetivo principal desta tese foi utilizar XAI sobre estes modelos, de forma a procurar uma uniformização na forma como os dados são introduzidos, previstos e posteriormente, explicados. Para o efeito, foi realizada uma revisão sistemática de literatura, para definir XAI em si, uma taxonomia de categorização de métodos explicativos, bem como determinar aplicações práticas de XAI. Estas aplicações práticas serviram de base para a implementação de diversos métodos XAI, terminando com uma experiência principal, com dados reais. Para as explicações obtidas com os modelos XAI, foi possível criar um conjunto diversificado de explicações para todas as experiências e validá-las com sucesso, uma vez que os métodos XAI estão geralmente de acordo quanto às características consideradas mais importantes para o processo de previsão.