The role of explainable AI (XAI) in decision-making: An Interpretive Structural Modeling (ISM) analysis

Abstract

In recent years, Artificial Intelligence (AI) has transformed from a specialized field of study to a game-changing technology with numerous applications in fields including human resources, healthcare, defense, and security. Concerns regarding trust, accountability, and ethical alignment have been raised by the fact that contemporary AI models, particularly machine learning and deep learning systems, are becoming less interpretable due to their complexity. One important solution to these issues is Explainable AI (XAI), which seeks to make AI decision-making clear, intelligible, and consistent with human values. Despite its significance, the literature has flaws, such as excessive focus in certain sectors, failure to adequately incorporate morality into real-world applications, and a lack of investigation into user-centered, real-time explainability. By using constructivist methodologies, like Cognitive Mapping (CM) and Interpretive Structural Modeling (ISM), to organize and examine the factors that influence XAI in decision-making situations, this dissertation fills these gaps. While CM makes it possible to visualize stakeholder perspectives and emphasizes the causal linkages, ISM hierarchically arranges these determinants, highlighting important drivers and dependencies. This study bridges the gap between theoretical concepts and real-world applications by combining these methods to offer a comprehensive framework for comprehending XAI's function in decision-making. Organizations may deploy transparent and reliable AI systems more easily thanks to the model's actionable insights, which also boost stakeholder confidence and encourage morally sound decision-making.

Nos últimos anos, a Inteligência Artificial (IA) transformou-se de um campo de estudo especializado para uma tecnologia revolucionária, com inúmeras aplicações em áreas como os recursos humanos, a saúde, a defesa e a segurança. No entanto, o aumento da complexidade dos modelos de IA contemporâneos, em especial os sistemas de aprendizagem automática (machine learning) e aprendizagem profunda (deep learning), tem tornado estes sistemas cada vez menos interpretáveis, levantando preocupações quanto à confiança, responsabilidade e alinhamento ético. Uma solução importante para estes desafios é a Explainable AI (XAI), que procura tornar o processo de tomada de decisão da IA claro, compreensível e coerente com os valores humanos. Apesar da sua relevância, a literatura apresenta lacunas, como o foco excessivo em determinados setores, a falta de integração adequada da moralidade nas aplicações práticas e a escassez de estudos sobre explicabilidade em tempo real e centrada no utilizador. Esta dissertação procura colmatar essas lacunas através do recurso a metodologias construtivistas, como o Mapeamento Cognitivo (MC) e o Interpretive Structural Modeling (ISM), para organizar e analisar os fatores que influenciam a XAI em contextos de tomada de decisão. O MC permite visualizar as perspetivas dos stakeholders e destacar as ligações causais, enquanto o ISM organiza hierarquicamente esses fatores, evidenciando os principais drivers e dependências. Ao combinar estas abordagens, este estudo estabelece uma ponte entre os conceitos teóricos e as aplicações práticas, oferecendo um quadro abrangente para compreender o papel da XAI na tomada de decisão. O modelo resultante fornece perceções práticas que facilitam a implementação de sistemas de IA transparentes e fiáveis, reforçando a confiança dos stakeholders e promovendo decisões eticamente responsáveis.