Deep learning-based graffiti detection: A study using images from the streets of Lisbon

Abstract

The Lisbon City Council is interested in developing a system that automatically detects in real-time illegal graffiti present throughout the city of Lisbon by using cars equipped with cameras. This system would allow a more efficient and faster identification and clean-up of the illegal graffiti constantly being produced. More immediate response to this kind of vandalism has become more and more relevant to ensure that the city remains a clean and safe place where citizens feel comfortable and happy and to discourage this kind of act. However, because there were only images available, this thesis became a proof of concept of the system's viability to understand if it makes sense to engage more effort in creating the system. Images were provided and collected from different sources that included illegal graffiti, images with graffiti considered street art, and images without graffiti. A pipeline was then developed that first classifies the image with one of the following labels: illegal graffiti, street art, or no graffiti. And then, if it is illegal graffiti, another model was trained to detect the coordinates of graffiti on an image. Pre-processing, data augmentation and transfer learning techniques were used to train the models. Regarding the classification model, an overall accuracy of 81.4% and F1-scores of 86%, 81% and 66% were obtained for the classes street art, illegal graffiti and image without graffiti, respectively. As for the graffiti detection model, an Intersection over Union (IoU) of 70.3% was obtained for the test set.

A Câmara Municipal de Lisboa está interessada em desenvolver um sistema que detete automaticamente e em tempo real os graffitis ilegais na cidade de Lisboa, utilizando carros equipados com câmaras fotográficas. Este sistema permitiria uma identificação e limpeza mais rápida e eficiente dos graffitis ilegais que estão constantemente a ser produzidos. Uma resposta imediata a este tipo de vandalismo tornou-se cada vez mais pertinente não só para assegurar que a cidade continua a ser um local limpo e seguro onde os cidadãos se sentem confortáveis e felizes como também para desencorajar este tipo de atos. Esta tese consiste numa prova de conceito da viabilidade do sistema, de forma a compreender se faz sentido dedicar mais esforços à criação do sistema. Foram fornecidas e recolhidas imagens de diferentes fontes que incluíam graffitis ilegais, imagens com graffitis consideradas arte de rua e imagens sem graffitis. Foi desenvolvida uma pipeline que primeiro classifica a imagem com uma das seguintes etiquetas: graffiti ilegal, arte de rua ou sem graffiti. Caso seja um graffiti ilegal, é utilizado outro modelo que deteta as coordenadas do graffiti na imagem. Foram utilizadas técnicas de pré-processamento, aumento de dados e transferência de aprendizagem para treinar os modelos. Quanto ao modelo de classificação, foi obtida uma acurácia global de 81,4% e F1-score de 86%, 81% e 66% para as classes street-art, graffiti ilegal e imagem sem graffiti, respetivamente. Quanto ao modelo de deteção de graffiti, foi obtida uma Interceção sobre a União (IoU) de 70,3% para o conjunto de teste.