Explaing portuguese's public administration absenteeism through data mining

Abstract

Portuguese Public Administration (PPA) is the largest contractor in the country, with 12.8% of the Portugal’s active people working for it. Absenteeism and productivity are mutually connected. Thus, companies from public and private sector should always have it in mind, to prevent flaws in the processes and profit loss. Effectively, the main goal of this study is to understand PPA’s absenteeism, particularly the duration of the worker’s next absence, what leads to it, as well as explaining it, by creating a data mining model that fits the problem. To study PPA’s absenteeism it was collected data from a Human Capital Management (HCM) system, by extracting the annual absenteeism report, for 2016, and queries to the worker’s profile, absenteeism history and job characteristics, resulting in around 59,000 different absence records. Data mining techniques were used to clean the dataset and Recency, Frequency and Monetary (RFM) value methodology to add new variables to the problematic, originating richer information about the worker and the absence itself. Thereafter, the Support Vector Machines (SVM) algorithm was applied for modeling the absence duration in day and a 10-fold cross-validation scheme was adopted to assess and confirm the model’s robustness. Finally, major findings were revealed by this study as features related to the worker’s profile are less relevant than absence related features; the influence of the RFM methodology in this study, which managed to get all its computed variables in the 25th most important features; and the discovery of the most concerning employee profile.

A Administração Pública Portuguesa (APP) é o maior contratante do país, englobando 12.8% da população ativa. O absentismo e a produtividade estão mutuamente ligados, logo tanto as empresas dos vários setores devem tê-las em atenção para prevenir falhas nos processos e perda de lucro. Efetivamente, o principal propósito deste estudo é perceber o absentismo na APP, em especial a duração da próxima ausência de um trabalhador, as suas causas e explicá-la, através da criação de um modelo adequado ao problema. Para modelar o absentismo na APP recolheram-se dados de um sistema de gestão de recursos humanos, extraindo o relatório anual de absentismo, para 2016, e dados do perfil do trabalhador, histórico de absentismo e especificações do contrato, resultando em cerca de 59,000 ausências. Por sua vez, foram usadas técnicas de data mining para limpar o conjunto de dados e a metodologia Recency, Frequency and Monetary value (RFM) para adicionar novas variáveis à problemática e obter mais perspetivas sobre o trabalhador e a ausência. De seguida, foi aplicado o algoritmo Support Vector Machines (SVM) para modelar a duração da ausência em dias e um esquema de validação cruzada com 10 folds, que testou e aprovou a robustez do modelo. Por fim, este estudo revelou várias descobertas como: variáveis relacionadas com o perfil do trabalhador são menos relevantes que as relacionadas com a ausência em si; a influência da metodologia RFM neste estudo, que conseguiu ter todas as suas variáveis nas mais importantes; e a descoberta do perfil do trabalhador mais preocupante.