Previsão de anulação de projetos na gestão de fundos públicos

Abstract

O recurso ao empréstimo de entidades terceiras para dar continuidade e desenvolvimento aos projetos é fundamental. No entanto, a aceitação das propostas apresentadas por múltiplas empresas requer uma análise detalhada, tendo especial atenção aos projetos de maior risco de cancelamento durante a sua vigência, devido às restituições monetárias. O estudo tem como objetivo prever com antecedência o risco associado a estes projetos, de modo a acompanhar com maior cuidado aqueles que aparentam ter um maior risco. Ao obter o conjunto de dados final após a agregação de múltiplos ficheiros, foram aplicados métodos de seleção de features - ANOVA F-value, Mutual Information, Feature Importance - com maior impacto na classificação do projeto. Verificou-se também que havia um desequilíbrio entre as classes apresentadas no conjunto de dados e, portanto, foram realizados testes com o método Synthetic Minority Over-sampling Technique (SMOTE), para gerar dados sintéticos de forma a equilibrar o conjunto de dados. Para obter o modelo com a melhor capacidade de classificar os projetos terminados dos anulados, foram realizados múltiplos testes com vários modelos, tipos de features e métodos de pré-processamento, totalizando 600 testes. No final, concluiu-se que o modelo Multi-Layer Perceptron com o método de pré-processamento Standard Scaler, com geração de dados sintéticos através do método SMOTE, redução da classe maioritária através de random under sampling e híper parametrização obteve o melhor resultado, obtendo um resultado de f1 de 79%. Sendo assim, este modelo é considerado um modelo preditivo com potencial para ser utilizado neste tipo de problemas.

The use of loans from third parties to give continuity and development to companies’ projects is fundamental. However, the acceptance of proposals submitted by multiple companies requires a detailed analysis, with particular attention to projects with a higher risk of cancellation during their term, due to monetary refunds. The study aims to predict the risk associated with these projects in advance, in order to monitor more carefully those that appear to have a greater risk. Once the final dataset was obtained, after aggregating multiple files, methods were applied to select the features - ANOVA F-value, Mutual Information, Feature Importance - with the greatest impact on project classification. It was also found that there was an imbalance between the classes presented in the dataset and so tests were carried out using the Synthetic Minority Over-sampling Technique (SMOTE) method to generate synthetic data in order to balance the dataset. To find the model with the best ability to classify completed projects from cancelled ones, multiple tests were carried out with various models, types of features and pre-processing methods. A total of 600 tests were performed. It was concluded that the Multi-Layer Perceptron model with the standard scaler pre-processing method, with generation of synthetic data using the SMOTE method, plus majority class reduction using random under sampling and hyper parameterisation obtained the best results, with 79% for f1 score. This model is therefore considered a predictive model with potential for use in this type of problem.