A deep learning toolkit for water stress detection in viticulture

Abstract

This thesis presents a Deep Learning approach to water stress detection and localisation, in vineyards, through the development of two convolutional neural network models. Leveraging a U-Net based architecture, an initial model was trained to perform image segmentation on an Agriculture-Vision, a large-scale dataset containing UAV-captured images of farmland. Using transfer learning techniques, a second model was trained to detect and localise water stress on only 40 unique UAV-captured thermal images of a vineyard in Lisbon, Portugal. This approach was motivated by the lack of an existing pre-trained model to perform similar tasks and the reduced number of unique UAV-captured thermal images. The models’ performance was evaluated using several metrics, including Binary Cross Entropy loss, Precision, Recall, Intersection over Union and Accuracy, further validated by computing confusion matrices that demonstrated their predictive capabilities. The training and validation sets achieved respective values of 0.17 and 0.26 for Binary Cross Entropy loss, 0.88 and 0.82 for Intersection over Union, 0.91 and 0.89 for Precision, 0.96 and 0.91 for Recall, and 0.93 and 0.90 for Accuracy. In addition, a platform supporting the final model was built using the Python-based Django framework, structured to assist viticulturists in managing multiple projects across various seasons. The architecture enables efficient data upload, processing, and visualisation, ensuring practical usability in real-world applications. The experimental results highlight the potential of the proposed models, demonstrating their potential as a viable tool to assess and mitigate the effects of water stress in vineyards. As future work, extensive data collection will be performed in various vineyards and seasons, in collaboration with expert viticulturists to improve the models’ predictive capabilities.

Esta tese apresenta uma abordagem de Deep Learning para a deteção e localização de stress hídrico em vinhas, através do desenvolvimento de duas redes neuronais convolucionais. Com base na arquitetura U-Net, um modelo inicial foi treinado para fazer segmentação de imagens da base de dados Agriculture-Vision, que contém várias imagens capturadas por drones de campos agrícolas. Através de técnicas de transferência de conhecimento, um segundo modelo foi treinado para detetar e localizar stress hídrico, usando apenas 40 imagens térmicas únicas capturadas por um drone numa vinha em Lisboa, Portugal. Esta decisão foi motivada pela falta de um modelo pré-treinado para desempenhar este tipo de tarefas e pela quantidade reduzida das imagens térmicas capturadas. O modelo foi avaliado através de várias métricas, incluindo Binary Cross Entropy loss, Precision, Recall, Intersection over Union e Accuracy, sendo este validado ao criar matrizes de confusão, que demonstram as capacidades dos modelos. Os conjuntos de treino e validação atingiram valores respetivos de 0,17 e 0,26 para a Binary Cross Entropy loss, 0,88 e 0,82 para a Intersection over Union, 0,91 e 0,89 para a Precision, 0,96 e 0,91 para a Recall e 0,93 e 0,90 para a Accuracy. Além disso, foi desenvolvida uma plataforma para o modelo final, usando a Django framework, escrita em Python, para apoiar viticultores a gerir vários projetos durante as diferentes estações do ano. A arquitetura permite carregar, processar e visualizar informação de forma eficiente, assegurando a sua viabilidade e aplicabilidade no mundo real. Os resultados experimentais salientam o potencial dos modelos propostos, demonstrando a sua capacidade como ferramentas viáveis para avaliar e mitigar os efeitos de stress hídrico em vinhas. No futuro, será efetuada uma recolha de dados extensiva em diversas vinhas e ao longo do ano, em colaboração com viticultores para melhorar o algoritmo.