Exploring the ethical accountability in artificial intelligence negotiation agents

Abstract

The expansion of Artificial Intelligence (AI) to several areas has been the recent years setting. The negotiation field was not left out and with the integration of negotiation agents its processes became more efficient, which raised ethical challenges, especially in terms of accountability. Therefore, the present dissertation studies the gap in understanding who holds accountability in the lifecycle of an AI Negotiation Agent. It is presented through the synthesis of negotiation theory, AI ethics and stakeholder management, which culminated in the development of a conceptual framework that maps roles and responsibilities, while assessing the extent to which AI Negotiation Agents themselves can be held accountable. By conducting qualitative research, including semi-structured interviews with eleven industry and academic professionals, key stakeholders were recognized, including Project Managers, External Auditors, and Data Protection Officers, and further categorized in their respective responsibility level (Low, Medium, High), across the three major phases of the AI Negotiation Agent lifecycle, development, usage and consequences. Furthermore, the research suggests that accountability resides on staying human-centric, where the Executive Management, Project Managers and the technical teams, such as the Project Team, bear the first layer of responsibility for the outcomes of the system. However, End Users detain a share on accountability by the quality of their prompts and consent over regulations. At last, the findings provide a practical bridge to fill the gap between the technical complexities and the managerial insights for decision-making, and it underlines the continuous challenges on AI systems, such as regulatory fragmentation, data governance breach and the End User’s trust on the outcome.

A expansão da Inteligência Artificial (IA) para diversas áreas tem sido o cenário dos últimos anos. O campo da negociação não foi exceção, e com a integração de agentes de negociação baseados em IA, os seus processos tornaram-se mais eficientes, o que também levantou desafios éticos, especialmente em termos de responsabilização. Assim, a presente dissertação estuda a lacuna na compreensão de quem detém a responsabilidade, no ciclo de vida de um Agente de Negociação com IA. Esta é apresentada através de uma síntese de teoria da negociação, ética em IA e gestão de stakeholders, culminando no desenvolvimento de um quadro conceptual que mapeia papéis e responsabilidades, enquanto avalia, até que ponto os próprios Agentes de Negociação com IA, podem ser considerados responsáveis. Através de uma análise qualitativa, incluindo entrevistas semiestruturadas com onze profissionais da indústria e académicos, foram identificados diferentes stakeholders chave como, por exemplo, Gestores de Projeto, Auditores Externos e Encarregados de Proteção de Dados. Categorizou-se igualmente os seus níveis de responsabilidade (Baixo, Médio, Alto) nas três fases principais do ciclo de vida do Agente de Negociação com IA: desenvolvimento, utilização e consequências. Adicionalmente, a pesquisa sugere que a responsabilização permanece centrada no ser humano, cabendo à Gestão Executiva, aos Gestores de Projeto e equipas técnicas, como a Equipa do Projeto, a primeira linha de responsabilidade pelos resultados do sistema. Contudo, os Utilizadores Finais partilham uma cota parte dessa responsabilidade, através da qualidade dos seus inputs e do consentimento sobre regulamentações. Por fim, os resultados proporcionam uma ponte prática para colmatar a lacuna entre complexidades técnicas e insights de gestão, para a tomada de decisão, sublinhando ainda os desafios contínuos nos sistemas de IA, como a fragmentação regulatória, falhas na governança de dados e a confiança do Utilizador Final nos resultados.