Port request classification automation through NLP

Abstract

The process of creating paper-free work environments, allied with the increasing interaction of users who interact with third party applications has led to the implementation of helpdesk systems. These are usually associated with specific departments, in the entities promoting information services to promote support and end-user satisfaction. However, these systems have flaws in problem solving due to difficulties in pre-analysis in the request, high response time and occasional human error. This project describes a prototype to automatically carry out the routine classification of requests from a help desk tool in the Port management environment. The proposed prototype is presented as a viable implementation for this sector. Several simulation models were employed and extensively tested during this work, such as SVM, Decision Tree, Random Forest, LSTM, BERT and a SVM hierarchical model. To verify the efficiency of these models we used F1-Score as a validation metric. We obtained F1-Scores of 95.42%, 93.47% and 77.23% when classifying the request's category, group and subgroup respectively, using a hierarchical model where the group was classified using a SVM model and where the category and subcategory were classified using BERT model. Lastly, a brief quantitative and longitudinal questionnaire was launched to determine the way that the helpdesk team views helpdesk request distribution. The request classification was considered crucial by the team, which had a consistently high opinion of its current importance in the workflow. They also demonstrated considerable confidence in the potential effectiveness of such a solution in automating this activity.

O processo de criação de ambientes de trabalho sem papel, aliado à crescente interação dos utilizadores que interagem com aplicações de terceiros, tem conduzido à implementação de sistemas de "helpdesk". No entanto, estes sistemas apresentam falhas na resolução de problemas, devido a dificuldades na pré-análise do pedido, ao elevado tempo de resposta, bem como a erros humanos ocasionais. Este projeto descreve um protótipo capaz de realizar automaticamente a rotina de classificação de pedidos de uma ferramenta de helpdesk em ambiente de gestão de Portos. O protótipo é proposto como uma implementação válida desta framework para verificar a sua viabilidade para este sector. Vários modelos de aprendizagem foram utilizados e testados durante este trabalho, tais como: SVM; "Decision Tree"; "Random Forest"; LSTM; BERT e um modelo hierárquico SVM. Para verificar a eficiência desses modelos, utilizamos o F1-Score como métrica de validação. Obtivemos F1-Scores de 95,42%; 93,47% e 77,23% ao classificar a categoria, o grupo e o subgrupo do pedido, respetivamente, utilizando um modelo hierárquico onde o grupo foi classificado usando um modelo SVM e onde a categoria e subcategoria foram classificadas com um modelo BERT. Por fim, foi lançado um breve questionário quantitativo e longitudinal para determinar a forma como a equipa de "helpdesk" encara o sistema de distribuição dos pedidos de "helpdesk". Este foi considerado crucial pela equipa, com uma opinião consistentemente elevada sobre a sua importância atual no fluxo de trabalho, e com uma confiança geral nos esforços e na eficácia de uma solução para automatizar esta atividade.