Please use this identifier to cite or link to this item:
http://hdl.handle.net/10071/27329
Author(s): | Fogaça, Joana Pereira |
Advisor: | Brandão, Tomás Gomes da Silva Serpa Ferreira, João Carlos Amaro |
Date: | 28-Dec-2022 |
Title: | Deep learning-based graffiti detection: A study using images from the streets of Lisbon |
Reference: | Fogaça, J. P. (2022). Deep learning-based graffiti detection: A study using images from the streets of Lisbon [Dissertação de mestrado, Iscte - Instituto Universitário de Lisboa]. Repositório Iscte. http://hdl.handle.net/10071/27329 |
Abstract: | The Lisbon City Council is interested in developing a system that automatically detects in real-time
illegal graffiti present throughout the city of Lisbon by using cars equipped with cameras. This system
would allow a more efficient and faster identification and clean-up of the illegal graffiti constantly being
produced. More immediate response to this kind of vandalism has become more and more relevant to
ensure that the city remains a clean and safe place where citizens feel comfortable and happy and to
discourage this kind of act.
However, because there were only images available, this thesis became a proof of concept of the
system's viability to understand if it makes sense to engage more effort in creating the system. Images
were provided and collected from different sources that included illegal graffiti, images with graffiti
considered street art, and images without graffiti.
A pipeline was then developed that first classifies the image with one of the following labels: illegal
graffiti, street art, or no graffiti. And then, if it is illegal graffiti, another model was trained to detect
the coordinates of graffiti on an image.
Pre-processing, data augmentation and transfer learning techniques were used to train the
models.
Regarding the classification model, an overall accuracy of 81.4% and F1-scores of 86%, 81% and
66% were obtained for the classes street art, illegal graffiti and image without graffiti, respectively.
As for the graffiti detection model, an Intersection over Union (IoU) of 70.3% was obtained for the
test set. A Câmara Municipal de Lisboa está interessada em desenvolver um sistema que detete automaticamente e em tempo real os graffitis ilegais na cidade de Lisboa, utilizando carros equipados com câmaras fotográficas. Este sistema permitiria uma identificação e limpeza mais rápida e eficiente dos graffitis ilegais que estão constantemente a ser produzidos. Uma resposta imediata a este tipo de vandalismo tornou-se cada vez mais pertinente não só para assegurar que a cidade continua a ser um local limpo e seguro onde os cidadãos se sentem confortáveis e felizes como também para desencorajar este tipo de atos. Esta tese consiste numa prova de conceito da viabilidade do sistema, de forma a compreender se faz sentido dedicar mais esforços à criação do sistema. Foram fornecidas e recolhidas imagens de diferentes fontes que incluíam graffitis ilegais, imagens com graffitis consideradas arte de rua e imagens sem graffitis. Foi desenvolvida uma pipeline que primeiro classifica a imagem com uma das seguintes etiquetas: graffiti ilegal, arte de rua ou sem graffiti. Caso seja um graffiti ilegal, é utilizado outro modelo que deteta as coordenadas do graffiti na imagem. Foram utilizadas técnicas de pré-processamento, aumento de dados e transferência de aprendizagem para treinar os modelos. Quanto ao modelo de classificação, foi obtida uma acurácia global de 81,4% e F1-score de 86%, 81% e 66% para as classes street-art, graffiti ilegal e imagem sem graffiti, respetivamente. Quanto ao modelo de deteção de graffiti, foi obtida uma Interceção sobre a União (IoU) de 70,3% para o conjunto de teste. |
Department: | Departamento de Ciências e Tecnologias da Informação |
Degree: | Mestrado em Ciência de Dados |
Peerreviewed: | yes |
Access type: | Open Access |
Appears in Collections: | T&D-DM - Dissertações de mestrado |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
master_joana_pereira_fogaca.pdf | 26,48 MB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.