Aplicação de algoritmos de deep learning: Modelo de reconhecimento de imagem e análise do comportamento dos consumidores em lojas de checkout autónomo

Abstract

Recentes avanços em campos como deep learning e computer vision, trouxeram novas possibilidades à área do retalho. Tais avanços forneceram novas ideias e capacidades às lojas de explorarem novos tipos de informação, devido às múltiplas câmaras implementadas no estabelecimento. Nesta dissertação, é desenvolvida uma investigação que estuda possíveis comportamentos de clientes que esses estabelecimentos podem explorar a partir da análise de imagens. Neste seguimento, é necessário perceber como se pode analisar e tirar proveito das mesmas e ter a capacidade de reconhecer intervenientes no processo de compra, através da parametrização do melhor modelo, utilizando técnicas de deep learning. Com os objetivos da investigação em mente, é realizada uma extensa pesquisa através de uma Revisão Sistemática da Literatura na área de Big Data aplicada a computer vision, deep learning e os métodos de análise de sensores. Adicionalmente, é efetuada uma análise aos resultados de um questionário, aplicado a consumidores nacionais, que pretenderia criar empatia com os mesmo, de modo a tentar traduzir as suas posições em propostas de valor. Paralelamente, foram recolhidos e analisados dados de imagem provenientes de um retalhista português e utilizados os algoritmos Yolo e Hidden Markov Model, considerando a sua rapidez e características, mas também a presença em estudos modernos. Os resultados permitiram identificar pessoas com uma accuracy média de 85%. Foram ainda construídos mapas de frequências e heat maps, com o principal contributo de enaltecer padrões de consumo e afluências na loja, para aferir o impacto que este tipo de informação pode ter na experiência do consumidor.

Recent advances in fields such as deep learning and computer vision have brought new possibilities in the retail area. Such advances have provided new insights and capabilities for shops to exploit new types of information due to the multiple cameras deployed in the establishment. In this dissertation, an investigation is developed that studies possible customer behaviours that these establishments can exploit from image analysis. In this follow up, it is necessary to understand how one can analyse and take advantage of them and have the ability to recognise actors in the shopping process by parameterising the best model using deep learning techniques. With the research objectives in mind, an extensive literature review is carried out in the area of Big Data applied to computer vision and deep learning, but also in sensor analysis methods. Additionally, a survey was implemented to a portuguese consumers sample that intended to create empathy with consumers in order to understand their wishes to try to translate them into value propositions. In parallel, image data from a portuguese retailer was collected and the Yolo algorithm was used together with Hidden Markov Model to analyse it, considering its speed and characteristics, but also its presence in modern studies. The results allow identifying people with an average accuracy of 85%. Frequency maps and heat maps were also generated, with the main contribution of highlighting consumption patterns and affluence in the shop, to assess the impact that this type of information can have on consumer experience.