Utilize este identificador para referenciar este registo:
http://hdl.handle.net/10071/15307
Autoria: | Antunes, António Lorvão Ferreira |
Orientação: | Cardoso, Elsa Alexandra Cabral da Rocha Barateiro, José Eduardo de Mendonça Tomás |
Data: | 28-Nov-2017 |
Título próprio: | Big data analytics applied to sensor data of engineering structures: automatic detection of outliers |
Referência bibliográfica: | ANTUNES, António Lorvão Ferreira - Big data analytics applied to sensor data of engineering structures: automatic detection of outliers [Em linha]. Lisboa: ISCTE-IUL, 2017. Dissertação de mestrado. [Consult. Dia Mês Ano] Disponível em www:<http://hdl.handle.net/10071/15307>. |
Palavras-chave: | Outlier detection Big data analytics Sensor data Machine Engenharia informática Engenharia civil Sistemas de segurança DATA MINING Transmissão de dados Monitorização Método de detecção |
Resumo: | To be able to control structural safety, engineering structures are monitored
by different kinds of sensors. The sensor data collected is used to create statistical
and predictive models, but data needs to be processed. Outlier detection and
treatment is a costly and slow process that we will try to improve through the use
of data mining and machine learning techniques. In a Big Data centered world,
outliers will appear more often and without an automated way to detect them, we
may not be able to anticipate and act on time.
In this dissertation we will try to identify and treat outliers from sensor data
(using real datasets from a dam), comparing and trying to improve the current
baseline methods. Since we do not have labeled datasets, we will use clustering
methods that allow us to group data and therefore understand which points should
be classified as an outlier. We will introduce an algorithm that makes use of Manual Acquisition System measurements and combines it with a clustering algorithm
(DBSCAN) and baseline methods to create a method that is able to identify and
remove most of the outliers in the datasets used for demonstration. De forma a controlar a segurança de estruturas de Engenharia Civil, estas são monitorizadas através de diversos sensores. Os dados de sensores são utilizados para construir modelos estatísticos e preditivos, porém necessitam de ser previamente tratados. A deteção e tratamento de Outliers (erros nos dados) é um processo lento e difícil que vamos tentar melhorar através da utilização de técnicas de Aprendizagem Automática e de Data Mining. Com o crescimento de Big Data, Outliers vão aparecer com mais frequência, e sem um método automático de deteção podemos não ser capazes de antecipar problemas e agir a tempo. Nesta dissertação temos como objectivo identificar e tratar Outliers em dados de sensores (utilizando dados reais de uma barragem), comparando e tentando melhorar os métodos actuais. Devido à falta de datasets classificados, vamos utilizar métodos de Clustering (agrupamento de dados) que nos permitem compreender que dados devem ou não ser classificados como outliers. Vamos introduzir um algoritmo que utiliza dados dos Sistemas de Aquisição Manuais e utilizá-lo juntamente com um algoritmo de clustering (DBSCAN) e métodos actuais de maneira a criar um método que é capaz de identificar e remover a maioria dos outliers nos datasets usados para demonstração. |
Designação do grau: | Mestrado em Engenharia Informática |
Arbitragem científica: | yes |
Acesso: | Acesso Aberto |
Aparece nas coleções: | T&D-DM - Dissertações de mestrado |
Ficheiros deste registo:
Ficheiro | Descrição | Tamanho | Formato | |
---|---|---|---|---|
antonio_ferreira_antunes_diss_mestrado.pdf | 8,34 MB | Adobe PDF | Ver/Abrir |
Todos os registos no repositório estão protegidos por leis de copyright, com todos os direitos reservados.