M-R-I-o-T: MR e IoT para reabilitação física

Abstract

Este trabalho descreve uma solução para reabilitação de membros superiores com recurso a tecnologias de realidade mista (MR) e Internet das Coisas (IoT) através de jogos sérios para os óculos de realidade virtual (VR) Meta Quest 2, que possui funcionalidades para a criação de ambientes MR, e de sensores inteligentes incorporados num par de luvas. As luvas têm como plataformas de computação o Arduino Nano. Sensores de força e flexão são utilizados para obter informação da força e flexão realizada pelos dedos do paciente, juntamente com informações sobre a aceleração e a rotação das mãos. Os sensores inteligentes realizam a comunicação com os óculos VR através de protocolo Bluetooth. Os dados obtidos pelos sensores são enviados no decorrer do jogo pelos óculos para uma base de dados na cloud com base no Amazon RDS. As comunicações com a base de dados são feitas com recurso a ficheiros PHP desenvolvidos e alojados numa instância criada pela Amazon EC2. Os dados obtidos são depois observáveis numa aplicação para smartphones onde se pode também visualizar os dados do utilizador e criar usuários.

This work describes a solution for rehabilitation of upper members using technologies of mixed reality (MR) and Internet of Things (IoT) using serious games for virtual reality (VR) headset Meta Quest 2, which possesses functionalities that can simulate MR environments, and smart sensors inserted onto a pair of gloves. These gloves are composed by Arduino Nano boards with connections to force and flexibility sensors, to get information of the force and the flexibility used on each finger of the patient, as well as information about the acceleration and rotation of the hands. The Arduino Nano board establishes a Bluetooth connection with the VR headset. The obtained data is sent from the headset to a cloud database created in Amazon RDS. The communications with the database are done by using PHP scripts which were developed and allocated on a virtual machine created by Amazon EC2. The obtained data is then observable on a cross-platform application for smartphones where the user can visualize the exercise data and create new users.