Detection of dish manufacturing defects using a deep learning-based approach

Abstract

Quality control is essential to ensure the smooth running of an industrial process. This work proposes to use and adapt a deep learning-based algorithm that will integrate an automatic quality control system at a porcelain dish factory. This system will receive images acquired in real time by high resolution cameras directly placed on production line. The algorithm proposed in this research work will classify the dishes presented in the images as "defective" or "without defect". Therefore, the objective of the system will be the detection of defective dishes, causing fewer defective dishes to reach the market, thus contributing to a better reputation of the factory. This system is based on the application of an algorithm called Convolutional Neural Network. This algorithm requires a large amount of data to be trained and to perform the image classification. Since the COVID-19 pandemic was felt on a larger scale in Portugal at the time of the development of this research work, it was impossible to obtain data directly from the factory. Due to this setback, the data used in this work was artificially generated. By providing the complete images of dishes to the algorithm, it achieved a defect detection accuracy of 92.7% with the first dataset and 91.9%. with the second. When providing the algorithm 100x100 pixel segments of the original images, using the second created dataset, it reached 91.6% accuracy in the classification of these segments, which translated into a 52.0% accuracy rate in the classification of the complete dish images.

O controlo de qualidade é fundamental para assegurar o bom funcionamento de um processo industrial. Este trabalho propõe a utilização e adaptação de um algoritmo, baseado em aprendizagem profunda, como parte integrante de um sistema automático de controlo de qualidade numa fábrica de pratos de porcelana. Este sistema receberá imagens adquiridas em tempo real por câmaras fotográficas colocadas diretamente sobre a linha de produção. O algoritmo utilizado classificará os pratos presentes nas imagens como "defeituoso" ou "sem defeito". O objetivo do sistema será, portanto, a deteção de pratos defeituosos, fazendo com que menos pratos com defeito cheguem ao mercado, contribuindo assim para uma melhor reputação da fábrica. Este sistema é baseado na aplicação de uma rede neuronal convolucional. Este tipo de redes requer um elevado número de dados para ser treinado de modo a conseguir realizar a classificação de imagens. Uma vez que a pandemia de COVID-19 se fez sentir em maior escala em Portugal na altura do desenvolvimento deste trabalho, foi impossível a obtenção de imagens provenientes da fábrica. Devido a este contratempo, os dados utilizados neste trabalho foram gerados artificialmente. Ao fornecer imagens completas de pratos ao algoritmo, o mesmo atingiu uma taxa de acerto da deteção de defeitos de 92,7% com o primeiro conjunto de dados e 91,9% com o segundo. Ao fornecer ao algoritmo segmentos de 100x100 pixéis da imagem original, o mesmo atingiu 91,6% de taxa de acerto, o que se traduziu numa taxa de acerto de 52,0% na classificação das imagens completas de pratos.