Desenvolvimento de um sistema de data warehouse / business intelligence: Aplicado a um data mart de gestão financeira

Abstract

O Laboratório Nacional de Engenharia Civil é uma instituição pública dedicada à investigação em todos os domínios da engenharia civil, sendo este muito importante no desenvolvimento de soluções tecnológicas e científicas em Portugal. No ano 2020, foi implementado um sistema de apoio à decisão que é alimentado por dados operacionais provenientes de vistas. A reestruturação dos dados operacionais e a ausência de manutenção do processo de ETL e do respetivo sistema de apoio à decisão impediam a sua utilização pelos decisores do LNEC para a tomada de decisões baseadas em dados. Este projeto tem como objetivo a análise, a identificação de fragilidades e a implementação de melhorias de um sistema de Data Warehouse e Business Intelligence de Gestão Financeira, com foco na avaliação da qualidade dos processos de ETL (Extract, Transform, Load) e dos modelos dimensionais adotados. A partir dessa análise, foram identificados requisitos para a melhoria do desenho do Data Warehouse e dos processos de ETL, visando otimizar sua qualidade em um contexto de aplicação real. Consequentemente, foram implementadas melhorias estruturais e funcionais no sistema, resultando num processo de integração mais eficiente e fiável.

The National Civil Engineering Laboratory (LNEC) is a public institution that conducts research in all areas of civil engineering, which is very important in the development of technological and scientific solutions in Portugal. In 2020, a decision support system was implemented that is fed by operational data sourced from database views. The alteration/restructuring of operational data, as well as a lack of maintenance of the ETL process and the respective decision support system, prevented it from being used by LNEC decision-makers for data-based decision-making. This project aims to analyze, identify weaknesses, and implement improvements to a Data Warehouse and Business Intelligence system for Financial Management, focusing on evaluating the quality of ETL (Extract, Transform, Load) processes and the dimensional models adopted. Based on this analysis, requirements for improving the design of the Data Warehouse and ETL processes was identified, with a view to optimizing their quality in a real application scenario. Consequently, structural and functional improvements were implemented in the system, resulting in a more efficient and reliable integration process.