Thermal image analysis for precision agriculture

Abstract

The growth of the world population requires better management of natural resources, particularly more sustainable use of water. This project therefore proposes a solution based on deep learning techniques that uses thermal images making use of their true thermal values to perform a more accurate non-invasive detection and prediction of water stress in agricultural plants. When integrated into an unmanned aerial system (drone), this approach has the potential to monitor large agricultural fields. The proposed method aims to reduce the use of invasive techniques that take longer to implement and require more manual labor, such as the installation of ground sensors throughout the agricultural field. By replacing these methods with an aerial system, it becomes possible to obtain faster, more flexible measurements at a lower cost. The methodology developed is structured in two main stages: (i) the detection and location of plants using a YOLO object detector; and (ii) the classification of the level of water stress using a convolutional neural network (CNN), which directly uses the actual thermal values present in the images. The data used to train the models were obtained from three sets of parsley plants subjected to different levels of soil moisture - 25%, 50%, and 85% - determined using weighing methods and soil moisture sensors. The detection model achieved a mAP@50 of 99.5% and a mAP@50-95 of 91.5%. The CNN showed an accuracy of 99.05% in water stress classification using transfer learning and 84.97% when using a custom model. This approach proves that thermal images are capable of performing a quick and accurate assessment of plants’ water needs and by making this information available in a practical and agile way, it is possible to support farmers irrigating their crops more accurately and efficiently, saving water in the process.

O crescimento da população mundial exige uma melhor gestão dos recursos naturais, nomeadamente uma utilização mais sustentável da água. Este projeto propõe então uma solução baseada em técnicas de aprendizagem profunda que recorre a imagens térmicas, utilizando aos seus valores térmicos verdadeiros para realizar uma deteção e previsão não invasiva do stress hídrico das plantas agrícolas mais preciso. Quando integrado num sistema aéreo não tripulado (drone), esta abordagem tem potencial para monitorizar campos agrícolas extensos. O método proposto visa a reduzir o uso de técnicas invasivos, de maior tempo de implementação e que necessitem de mais mão de obra como a instalação de sensores terrestres ao longo do campo agrícola. Ao substituir estes métodos por um sistema aéreo, torna-se possível obter medições mais rápidas, flexíveis a menor custo. A metodologia desenvolvida está estruturada em duas etapas principais: (i) a deteção e localização das plantas através de um detetor de objetos YOLO; e (ii) a classificação do nível de stress hídrico por meio de uma rede neuronal convolucional (CNN), a qual utiliza diretamente os valores térmicos reais presentes nas imagens. Os dados utilizados para o treino dos modelos foram obtidos a partir de três conjuntos de plantas de salsa submetidas a diferentes níveis de hidratação do solo - 25%, 50% e 85% - determinados através de métodos de pesagem e sensores de humidade do solo. O modelo de deteção alcançou um mAP@50 de 99,5% e um mAP@50-95 de 91.5%. A CNN apresentou uma precisão de 99,05% na classificação do stress hídrico utilizando a aprendizagem por transferência e 84,97% ao utilizar um modelo personalizado. Esta abordagem prova que as imagens térmicas são capazes de realizar uma avaliação rápida e precisa das necessidades hídricas das plantas. Ao disponibilizar esta informação de forma prática e ágil torna possivél apoiar os agricultores na irrigação das suas culturas de forma mais precisa e eficiente, poupando água no processo.