Reasoning or memory? Has ChatGPT developed a human-like theory of mind?

Abstract

Theory of mind (ToM) is a human cognitive capability that allows individuals to effectively communicate and engage in interpersonal relationships, through the ability to attribute desires, emotions, beliefs, intentions and mental states, to oneself and others. Artificial Intelligence (AI) engineers have long endeavoured to replicate these human capabilities with Large Language Models (LLMs), which has critical implications, particularly in job replacement. Studies have been reporting LLMs high performance in standardized ToM tests, but without disentangling possible memory effects due to previous exposure to such tests, which is a research gap. This study addressed this gap by comparing human and LLMs performance in the original and novel ToM tests. Findings show not only LLMs have high levels of performance across original and new ToM tests but also outperform humans in both versions. This discourages the memory-effect hypothesis and supports the contention that LLMs have acquired ToM human-like capabilities already.

A teoria da mente (ToM) é uma capacidade cognitiva humana que permite ao indivíduo comunicar eficazmente e criar relações interpessoais, através da capacidade de atribuir desejos, emoções, crenças, intenções e estados mentais a si mesmo e aos outros. Os engenheiros de Inteligência Artificial (IA) têm procurado replicar essas capacidades humanas em Modelos de Linguagem de Grande Escala (LLMs), o que pode ter implicações críticas, particularmente na substituição laboral. Alguns estudos têm reportado um elevado desempenho dos LLMs em testes padronizados de ToM, contudo, sem considerar possíveis efeitos de memória decorrentes da exposição prévia a tais testes, o que constitui uma lacuna de investigação. Este estudo abordou essa lacuna comparando o desempenho humano e dos LLMs em testes originais de ToM e em novas versões. Os resultados mostram que os LLMs não só têm um elevado nível de desempenho nos testes ToM originais e nos novos, como também superam o desempenho humano em ambas as versões. Isto enfraquece a hipótese do efeito de memória e apoia a tese de que os LLMs já adquiriram capacidades de ToM semelhantes às humanas.