Automatic recognition of megalithic objects in areas of interest in satellite imagery

Abstract

The integration of airborne and satellite imagery with Computer Vision and Machine Learning methodologies provided the ability of covering ample ground and enabled the detection of new terrain features, providing means to remotely locate, monitor and protect from destruction sites of cultural heritage. This work seeks to fuse spectral information obtainable from multispectral or hyperspectral images with spatial information derived from panchromatic images, provided by ESA and obtained from its satellites, to implement a high-performance automatic detection system capable of detecting buried or covered by vegetation dolmens. Separate methods were implemented, where for hyperspectral images a system was attempted based on the dolmens respective spectral material signature, and for panchromatic and multispectral images a system that extracted spectral indices, fused all into one and applied circle detection to identify dolmen locations, eliminating false positives through supervised machine learning. The hyperspectral images could not be used for the creation of a dolmens’ material signature, and by extension cannot automatically delineate regions of high likelihood of dolmen presence in images, due to the size of each pixel being of much higher dimensions than the known dolmens and the dolmens surrounding environments being too similar. The system created through the fusion of panchromatic and multispectral images proved capable of detecting dolmen locations, while simultaneously proving that part of the existent defined ontology of the dolmen (their insertion near water sources) can be used to delineate areas of high probability of dolmen presence, and that using supervised learning methods can enable the elimination of around 87.2% of false positives.

A integração de imagens aéreas e satélite com metodologias do âmbito da Aprendizagem Automática (Machine Learning) e Visão Computacional (Computer Vision) providenciou a capacidade de cobrir terrenos amplos e permitiu a extração de novas características do terreno, fornecendo meios para localizar, monitorizar e proteger remotamente de destruição locais com património cultural. Este trabalho procura unir informações espectrais e espaciais, derivadas de imagens multiespectrais, hiperespectrais e pancromáticas cedidas e obtidas pelos satélites da ESA, para implementar um sistema de deteção automática de alto desempenho capaz de detetar dolmens enterrados ou cobertos por vegetação. Separadamente, implementaram-se métodos onde se tentou desenvolver um sistema baseado na assinatura espectral do material dos dolmens, para imagens hiperespectrais, e, para imagens pancromáticas e multiespectrais, um sistema para extrair índices espectrais, fundir todos os índices extraídos num só e aplicar deteção de círculos para identificar locais onde haja grande probabilidade de existir um dólmen, após eliminação de falsos positivos através de uma técnica supervisionada de Aprendizagem Automática. As imagens hiperespectrais não demonstraram capacidade de definir uma assinatura de material de dolmens e, por extensão, não aptas a delinear automaticamente regiões com alta probabilidade de presença de dólmen, devido à grande dimensão dos pixels em comparação com os pixels dos dolmens conhecidos e os arredores dos dolmens serem demasiado semelhantes. O sistema criado da fusão de imagens pancromáticas e multiespectrais mostrou-se capaz de detetar localizações de dólmen, provando, simultaneamente, que parte da informação na ontologia existente para dólmens em Portugal (nomeadamente, a inserção usual próximo de fontes de água) pode ser usada para delinear áreas de alta probabilidade de presença de dólmen e que o uso de métodos de aprendizagem supervisionada permitiu eliminar cerca de 87.2% falsos positivos.