A data quality framework for sensing data

Abstract

The increasing integration and use of sensors in Structural Health Monitoring systems has led to the massive production of data. However, the reliability of this data can be compromised by sensor failures, transmission issues, adverse environmental conditions, or deficiencies in acquisition and transmission processes. In this context, the quality of the data becomes critical, and systematic evaluation is essential to ensure that the data is fit for purpose and supports safe and informed decision-making. This dissertation proposes the development of a framework for evaluating the quality of data collected from sensors, with a real-world application in a dam located in Portugal. The framework was designed to operate during the data acquisition phase, immediately after sensor measurements are recorded and stored. As a practical implementation example, time series data from a plumbline sensor was used. The solution was developed in Python and enables the automated assessment of data profiling, two fundamental Data Quality dimension - Completeness and Timeliness - followed by threshold-based evaluation and the generation of visualisations for each of these steps.

A crescente integração e utilização de sensores em sistemas de monitorização de estruturas ("Structural Health Monitoring") tem levado à produção massiva de dados. No entanto, a sua fiabilidade pode ser comprometida por falhas nos sensores, problemas de transmissão, condições ambientais adversas ou deficiências nos processos de aquisição ou transmissão de dados. Neste contexto, a qualidade dos dados utilizados assume um papel crítico, sendo necessária a sua avaliação sistemática para garantir que são adequados ao seu propósito e suportam decisões seguras e informadas. Esta dissertação propõe o desenvolvimento de uma framework para avaliação da qualidade de dados provenientes de sensores, com aplicação real numa barragem em Portugal. A framework foi concebida para atuar na fase de aquisição de dados sensoriais, após o registo dos mesmos em sistema de informação. Como caso prático de implementação, foram utilizadas séries temporais provenientes de sensores de um instrumento fio de prumo. A solução foi implementada utilizando Python e permite avaliar automaticamente o Profiling dos dados, duas dimensões fundamentais de qualidade de dados - Timeliness e Completeness - e posterior avaliação comparando com thresholds, e a produção de visualizações para todos os passos mencionados.