Manutenção prescritiva: Uso de PLN para identificação e prevenção de incidentes em pagamentos

Abstract

Os incidentes operacionais afetam as instituições financeiras, estando frequentemente associados a impactos na reputação das organizações envolvidas. Estes incidentes operacionais resultam em atrasos na realização de pagamentos ou até em pagamentos para a entidade errada, podendo levar a multas, processos, perda de clientes ou mesmo dos fundos transferidos. As organizações financeiras baseiam a sua atividade na confiança dos clientes. Nesse sentido, a boa reputação é fundamental para o funcionamento e sustentabilidade do negócio. Por esse motivo, os incidentes operacionais têm um impacto substancial nas organizações e são um problema sensível para as organizações financeiras. De forma a reduzir o impacto negativo dos incidentes operacionais numa organização financeira, há a necessidade de aumentar a quantidade de recursos de remediação dos mesmos, de maneira a assegurar a prevenção de incidentes. Para tal, este projeto propõe complementar o processo manual de classificação de incidentes com um processo automatizado, através de técnicas de Processamento de Linguagem e descoberta de conhecimento em texto, com o objetivo de melhorar o entendimento sobre as causas responsáveis por incidentes na organização. Para desenvolver este projeto analítico foi utilizada a metodologia "Cross Industry Standard Process for Data Mining" (CRISP-DM), sendo esta a metodologia mais comum para projetos de "Data Mining". Esta metodologia divide o projeto em seis fases sequenciais: compreensão do negócio, compreensão dos dados, preparação dos dados, modelação, avaliação e implementação, permitindo ao investigador alternar entre estas conforme as necessidades e desafios do projeto. No contexto deste projeto, os incidentes analisados ocorrem em equipas operacionais responsáveis pelo processamento e manutenção de instruções de pagamento em sistemas financeiros, estando frequentemente associados a erros de configuração, falhas na interpretação de instruções ou atrasos na atualização de informação crítica. Os incidentes considerados no presente estudo são auto-reportados pela equipa em formato de relatório, contendo predominantemente dados não-estruturados sob a forma de descrições textuais das causas dos incidentes. Foram utilizadas ferramentas de "Text Mining" para a extração e classificação de padrões a partir do texto, recorrendo a modelos de "Topic Modeling" probabilísticos e baseados em "embeddings". Por fim, foi realizado um inquérito de validação dos resultados ao universo operacional da equipa de produção, com o objetivo de mitigar possíveis vieses gerados pela análise de modelos não supervisionados. O modelo final identificou 18 tópicos relacionados com as causas dos incidentes. As equipas de produção avaliaram os resultados como claros e relevantes para a discussão e prevenção de risco dentro da organização, vendo relevância na expansão do estudo com dados anuais.

Operational incidents affect financial institutions and are often associated with reputational impacts on the organisations involved. These incidents may result in delays in payment execution or even in payments being sent to the wrong beneficiary, potentially leading to fines, legal proceedings, loss of clients, or even the loss of transferred funds. Financial institutions operate on the basis of trust, which is essential for clients to entrust them with their money. In this context, a strong reputation is fundamental to the functioning and sustainability of the business. For this reason, operational incidents have a substantial impact on organisations and represent a particularly sensitive issue for financial institutions. In order to reduce the negative impact of operational incidents within a financial organisation, it is necessary to strengthen remediation resources so as to ensure more effective incident prevention. To this end, this project proposes complementing the manual incident classification process with an automated approach based on Natural Language Processing and Text Mining techniques, with the aim of improving the understanding of the underlying causes of incidents within the organisation. The analytical development of this project followed the Cross-Industry Standard Process for Data Mining (CRISP-DM), one of the most widely adopted methodologies for Data Mining projects. This methodology structures the project into six sequential phases: business understanding, data understanding, data preparation, modelling, evaluation, and deployment, allowing the researcher to iterate between phases according to the needs and challenges encountered throughout the project. In the context of this project, the incidents analysed occur within operational teams responsible for the processing and maintenance of payment instructions in financial systems, and are often associated with configuration errors, misinterpretation of instructions, or delays in updating critical information. The incidents analysed in this study are self-reported by the operational team in the form of incident reports, consisting predominantly of unstructured data in the form of textual descriptions of incident causes. Text Mining techniques were applied to extract and classify patterns from the textual data, using both probabilistic topic modelling approaches and embedding-based models. Finally, a validation survey was conducted among the operational production teams to assess the results and mitigate potential biases inherent to the analysis of unsupervised models. The final model identified 18 topics related to the causes of operational incidents. The production teams evaluated the results as clear and relevant for the discussion and prevention of operational risk within the organisation, recognising the value of extending the analysis to future years using updated data.