VAR-AS, sustained attention detection system in the learning environment

Abstract

This dissertation presents a system for monitoring heart rate variability (HRV) by electrocardiogram (ECG) and photoplethysmography (PPG) for the detection of attention state in a learning environment. The ECG and PPG signs were acquired and processed through the development of a multi-microcontroller embedded system. When the waves of these signals are extracted, the heart rate is calculated through the time intervals between the R peaks for the electrocardiogram and between the beats for photopletismography. Finally, in order to indicate the level of attention on the part of the user, an input was added in which the volunteer marks the periods he or she considers to be most attentive. This data is associated with a millisecond resolution time stamp and sent in real time via Internet WiFi to a database in the cloud. After this data is stored, the HRV is analysed based on algorithms developed with the Matlab tool. These algorithms allow the study of cardiac variability according to time and frequency domains and how non-linear HRV measurements were also considered. Finally, a module for measuring skin conductivity was added, relating it to the analysis of the level of stress during the learning process. In order to prove the reliability of the system, several volunteers were tested in real environments according to a stipulated protocol. These records were analysed as a starting point to classify situations of greater attention of the volunteer in an educational scenario.

Esta dissertação apresenta um sistema de monitorização da variabilidade da frequência cardíaca (VFC) através da Eletrocardiograma (ECG) e Fotoplestimografria (PPG) para a deteção do estado de atenção num ambiente de aprendizagem. Os signais de ECG e PPG foram adquiridos e processados através do desenvolvimento de um sistema embebido multi-microcontrolador. Ao extrair-se as ondas destes sinais, calcula-se a frequência cardíaca através dos intervalos de tempo entre os picos R para o eletrocardiograma e entre os batimentos para a fotopletismografia. Por fim, para poder indicaro nível da atenção da parte do utente adicionou-se um input em que o voluntário marca os períodos que considera estar mais atento. Estes dados são associados a uma marca temporal com resolução ma base de dados na nuvém. Após o armazenamento destes dados, analisa-se a VFC com base em algoritmos desenvolvidos com a ferramenta Matlab. Estes algoritmos permitem estudar a variabilidade cardíaca segundo os domínios do tempo, da frequência e como tambem foram consideradas medidas VFC não lineares. Por fim, adicionou-se um módulo para a medição da condutividade da pele, relacionando-a com a avaliação do nível de stress durante o processo de aprendizagem. Para comprovar a fiabilidade do sistema realizaram-se testes a diversos voluntários em ambientes reais de acordo com um protocolo estipulado. Estes registos foram analisados como ponto de partida para classificar situações de maior atenção do voluntário perante um cenário educativo.