Identification of residues deposited outside of the deposition equipment, using video analytics

Abstract

In areas where waste production is excessive, sometimes improper deposition occurs around the garbage equipment, requiring more effort from the waste collection teams. In this dissertation an image recognition system is proposed for the detection and classification of waste outside the existing waste disposal equipment. The main motivation is to facilitate the work of waste collection in the city of Lisbon, which is done by the teams of the Lisbon Waste Collection Centers. In order to help the waste collection planning, the collection team inspectors in partnership with the Lisbon City Council created a repository with several datasets, which they named, 'LxDataLab'. The collected images go through the pre-processing process and finally are submitted to waste detection and classification, through deep learning networks. In this sense, a classification and identification method using neural networks for image analysis is proposed: the first approach consisted in training a deep learning convolutional neural network (CNN) specifically developed to classify residues; in a second approach a CNN was trained using a pre-trained MobileNetV2 model, which only the last layer was trained. The training in this approach was faster compared to the previous approach, as were the performance values in detecting the class and the amount of residues in the images. The hit rate for the classification of the selected debris varied between 80%, for test set. After the detection and classification of the residues in the images are recognized, annotations are generated on the images.

Nas áreas onde a produção de resíduos é excessiva, por vezes ocorre a deposição indevida em torno dos equipamentos de deposição de lixo, exigindo mais esforço por parte das equipas de recolha destes resíduos. Nesta dissertação é proposto um sistema de reconhecimento de imagem para a deteção e classificação de resíduos fora dos equipamentos de deposição existentes para o mesmo. A principal motivação é facilitar o trabalho de recolha dos resíduos na cidade de Lisboa. De forma a possibilitar o desenvolvimento de algoritmos que possam vir a ser úteis na automatização de tarefas em diferentes áreas de intervenção, a Câmara Municipal de Lisboa criou um repositório, denominado ‘LxDataLab’, contendo vários conjuntos de dados. Estes dados, por sua vez são submetidos a um processo pré-processamento e por fim são submetidas para deteção e classificação dos resíduos. Assim é proposto um método de classificação e identificação de resíduos utilizando redes neuronais para análise de imagens: a primeira abordagem consistiu no treino de uma rede neuronal convolucional de aprendizagem profunda (CNN) desenvolvida especificamente para classificar resíduos; numa segunda abordagem foi treinada uma CNN utilizando um modelo pré-treinado MobileNetV2. Nesta última abordagem, o treino foi mais rápido em relação à abordagem anterior, e o desempenho na deteção da classe e da quantidade de resíduos nas imagens foi superior. A taxa de acerto para as classes de resíduos selecionadas variou nos 80% para o conjunto de teste. Após a deteção e classificação dos resíduos nas imagens são geradas anotações nas mesmas.