Sistema de monitorização visual para a otimização da produção de uva de mesa

Abstract

Nos últimos anos, o setor agrícola tem enfrentado diversos desafios, entre os quais se destaca a monitorização precisa do estado de maturação da produção, um problema particularmente relevante para os produtores de uva de mesa. Este indicador é definido a partir da contabilização dos cachos, do número de bagos e da cor predominante. Desta forma, identificou-se uma oportunidade de melhoria na extração deste indicador, permitindo o aperfeiçoamento da gestão agrícola da produção e, refletindo diretamente na qualidade final do cacho. O presente estudo propõe o desenvolvimento de um algoritmo capaz de detetar e analisar o estado de maturação com base no processamento de vídeos adquiridos no terreno. Assim, foi estruturada uma metodologia que integra técnicas avançadas de visão computacional, de modo a otimizar o desempenho da tarefa de monitorização. Assim, o algoritmo utiliza o modelo YOLOv12s, que foi treinado com base num conjunto de dados específico para a deteção dos cachos, onde obteve um F1-score de 0.935 e um mAP de 0.98. Além destes resultados obtidos, o algoritmo apresentou valores muito próximos das contagens manuais realizadas em campo e uma análise de estimativas consistentes da cor predominante associada ao grau de maturação. No que se refere à contagem de bagos, o sistema utilizou o modelo SAM2.1b+ para a segmentação de cachos e bagos, seguido de uma estimativa do número de bagos que compensa as oclusões, por meio de uma função polinomial. O método obteve uma média de 50 bagos por cacho, demonstrando resultados promissores.

In recent years, the agricultural sector has faced several challenges, among which the accurate monitoring of the ripeness of produce stands out, a particularly relevant problem for table grape producers. This indicator is defined based on the number of bunches, the number of berries, and the predominant colour. This has identified an opportunity for improvement in the extraction of this indicator, allowing for the refinement of agricultural production management and directly reflecting on the final quality of the bunch. This study proposes the development of an algorithm capable of detecting and analysing the state of ripeness based on the processing of videos acquired in the field. Therefore, the methodology was structured, integrates advanced computer vision techniques to optimise the performance of the monitoring task. Therefore, the algorithm uses the YOLOv12s model, which was trained based on a specific dataset for detecting bunches, where it got an F1-score of 0.935 and a mAP of 0.98. In addition to these results, the algorithm presented values very close to the manual counts performed in the field and a consistent analysis of estimates of the predominant colour associated with the degree of ripeness. About berry counting, the system used the SAM2.1b+ model for cluster and berry segmentation, followed by a conversion from 2D to 3D counting using a polynomial function. The method obtained an average of 50 berries per cluster, demonstrating promising results.