Knowledge-based machine learning approach to indirect prospecting methodologies for monument identification

Abstract

Experts use domain knowledge and experience to identify and analyze archaeological monuments from satellite images. However, traditional object detection methods often rely solely on image data and operate as “black boxes,” which frequently result in false positives, especially when detecting small archaeological sites. For machines to effectively leverage domain knowledge, it must be organized in an interoperable format, addressing the challenge posed by scattered and fragmented data, particularly across multiple disciplines. This study tackles this issue by converting domain knowledge from diverse and multidisciplinary sources into a machine-readable format to reduce false positives in automatic object detection. The study links information about archaeological sites and their landscapes by implementing a Knowledge Graph (KG) based on CIDOC-CRM, its CRMgeo extension, and GeoSPARQL ontologies. This KG integrates textual data from semantic records with spatial data from vector topographic maps, encompassing (i) metadata definitions, (ii) general and specific concepts, and (iii) the geometry of each represented entity. This representation can provide insights into elements within a scene that may not be visible in images. Subsequently, the output from an object detection approach was integrated with the KG to train a Knowledge Graph–Machine Learning (KG-ML) model. This model identifies areas of interest (AOIs) where dolmens in Pavia and Mora (Portugal) are likely to be found, using contextual knowledge to exclude images with a low probability of accurate detections. The KG-ML approach effectively reduced false positives, provided contextual information that clarified recognition decisions, and enhanced the understanding of detected sites.

Para o reconhecimento de monumentos arqueológicos em imagens de satélite, os especialistas utilizam conhecimento de domínio e sua experiência. No entanto, métodos automatizados de detecção de objetos, em geral, dependem apenas das imagens, funcionando como “caixas-pretas”. Essa técnica também tende a retornar uma alta taxa de falsos positivos, especialmente no caso de monumentos de pequenas dimensões. Para que as máquinas possam utilizar o conhecimento de domínio, é necessário torná-lo interoperável. Para isso, é preciso superar o desafio imposto pela dispersão e fragmentação dos dados. Este estudo aborda essa questão ao converter conhecimento de domínio de fontes diversas e multidisciplinares em um formato legível por máquina e, assim, contribuir para reduzir os falsos positivos na detecção de objetos. A implementação de um Knowledge Graph (KG), usando como modelo estrutural o CIDOC-CRM, sua extensão CRMgeo e GeoSPARQL, permitiu a integração de informações sobre sítios arqueológicos e a geografia onde estes estão localizados. Combinando dados textuais com dados espaciais, o KG fornece insights sobre elementos de uma cena que podem não ser diretamente visíveis nas imagens. Posteriormente, os resultados de uma abordagem de detecção de objetos usando técnicas de Visão Computacional foram integrados ao KG para treinar um modelo híbrido KG–Machine Learning (KG-ML), com o objetivo de identificar áreas de interesse (AOIs) onde seria mais provável encontrar dolmens. O modelo utiliza o conhecimento contextual da área para excluir imagens com baixa probabilidade e melhorar a precisão da detecção.