An empirical comparative study of AI and human decision-making in candidate selection

Abstract

The increasing adoption of Artificial Intelligence (AI) in recruitment has raised critical questions about the reliability, fairness, and consistency of algorithmic decision-making compared to human recruiters. This study aims to empirically compare AI- and HR-based CV screening outcomes, focusing on decision-making consistency. Drawing on recruitment data from a multinational construction company in Portugal, three job categories were analyzed - Finance Analyst, Marketing Specialist, and Head of Project Management - using Phi coefficient correlation and Chi-square tests. The findings reveal negligible and statistically insignificant consistency between AI and HR at the junior and specialist levels, but a weak-tomoderate, statistically significant association at the senior managerial level. Case study analysis further illustrates that AI aligns with HR when candidate profiles are highly structured and explicit, while divergences arise in cases requiring contextual interpretation or domain-specific expertise. These results suggest that AI systems are more suitable as complementary tools rather than substitutes for human recruiters. The study contributes to both scholarly debate and organizational practice by clarifying the conditions under which AI recruitment tools enhance fairness and consistency, while highlighting the necessity of human oversight in complex hiring contexts.

A crescente adoção da Inteligência Artificial nos processos de recrutamento tem levantado questões críticas sobre a fiabilidade, a equidade e a consistência da tomada de decisão algorítmica em comparação com os recrutadores humanos. Este estudo procura comparar empiricamente os resultados da triagem de CVs efetuada por IA e por profissionais de Recursos Humanos, com foco na consistência da decisão. Com base em dados de recrutamento de uma empresa multinacional de construção em Portugal, foram analisadas três categorias de funções - Analista Financeiro, Especialista de Marketing e Diretor de Gestão de Projetos - recorrendo ao coeficiente Phi e a testes do qui-quadrado. Os resultados revelam uma consistência negligenciável e estatisticamente não significativa entre IA e RH nos níveis júnior e especialista, mas uma associação fraca a moderada, estatisticamente significativa, ao nível de gestão sénior. A análise de casos ilustra ainda que a IA se aproxima mais das decisões dos RH quando os perfis dos candidatos são altamente estruturados e explícitos, enquanto surgem divergências em situações que exigem interpretação contextual ou conhecimento específico do setor. Estes resultados sugerem que os sistemas de IA são mais adequados como ferramentas complementares, em vez de substitutos dos recrutadores humanos. O estudo contribui para o debate académico e para a prática organizacional ao clarificar as condições em que as ferramentas de recrutamento baseadas em IA podem melhorar a consistência das decisões, salientando a necessidade de supervisão humana em contextos de contratação complexos.