Explaining image classification by monitoring layers activity

Abstract

Explainable Artificial Intelligence (XAI) seeks to make AI systems more transparent, enabling users to understand and trust their decisions. The ability to identify untrustworthy predictions is particularly important for deploying AI in critical domains such as healthcare, finance, and autonomous systems. A recently proposed methodology, SVDbased Peephole, offers a novel way to detect ambiguous decisions by analyzing information passing through a neural network layer. This thesis aims to improve explainability in AI by extracting SVD-based peepholes from the layers of a very lightweight neural network. The method combines dimensionality reduction method (SVD) and unsupervised clustering to reveal structured activation patterns within the network. We investigate how internal representations evolve across layers of MobileNetV2 (a model optimized for efficiency) and how they relate to the decision making process. This work extends previous peephole techniques, traditionally applied to larger models, by adapting them to the more compact and complex architecture of MobileNetV2. Our findings show that even in compressed architectures like MobileNetV2, meaningful explainability can be achieved. By tracing class-related concepts through the network and visualizing them with conceptograms, we demonstrate how abstract representations develop across layers. Importantly, these visualizations not only improve explainability but also provide a practical way to assess the trustworthiness of model outputs. This positions SVD-based peepholes as both an explanatory tool and a diagnostic method, contributing to the broader goal of making AI systems more transparent, reliable, and accountable.

A Inteligência Artificial Explicável (XAI) procura tornar os sistemas de IA mais transparentes, permitindo que os utilizadores compreendam e confiem nas suas decisões. A capacidade de identificar previsões não confiáveis é crucial para aplicações em domínios críticos como saúde, finanças e sistemas autónomos. Uma metodologia recente, SVD-based Peephole, propõe uma forma de detetar decisões ambíguas ao analisar as informações que passam por uma camada de rede neural. Esta tese visa melhorar a explicabilidade em IA, extraindo peepholes baseados em SVD das camadas de uma rede neural leve. O método combina redução de dimensionalidade (SVD) e agrupamento não supervisionado para revelar padrões de ativação estruturados na rede. Investigamos como as representações internas evoluem nas camadas do MobileNetV2, um modelo otimizado para eficiência, e como se relacionam com o processo de decisão. Este trabalho estende técnicas de peephole, antes aplicadas a modelos maiores, adaptandoas à arquitetura compacta e complexa do MobileNetV2. Os resultados mostram que, mesmo em arquiteturas comprimidas, é possível alcançar explicabilidade significativa. Ao rastrear conceitos relacionados a classes e visualizá-los com conceptogramas, demonstramos como representações abstratas se desenvolvem ao longo das camadas. Estas visualizações não apenas melhoram a compreensão do modelo, mas também fornecem uma forma prática de avaliar a confiabilidade das suas previsões. Assim, peepholes baseados em SVD tornam-se ferramentas explicativas e de diagnóstico, contribuindo para sistemas de IA mais transparentes, confiáveis e responsáveis.