Sistema de tradução da língua gestual Portuguesa em tempo real

Abstract

O avanço na área da saúde só é possível graças ao avanço da tecnologia. Novos conceitos e sistemas permitem melhorar a qualidade de vida das pessoas. Os sistemas de reconhecimento de gestos são um dos campos procedentes do avanço da tecnologia. Não só tem aplicação na área da saúde mas também em áreas como a realidade virtual, industria automóvel, e outras tantas. O objetivo deste trabalho era criar um sistema wireless e low-cost de reconhecimento de gestos, capaz de traduzir Língua Gestual Portuguesa para Língua Portuguesa. Este projeto teve um âmbito mais restrito, na medida em que se foca no alfabeto português. O sistema é composto por uma rede de sensores implementada numa luva através de fios condutores e snaps. Ao ser utilizada, a luva faz a leitura da posição dos dedos assim como da direção da mão em tempo real. Esta informação é dada por sensores de flexão baseados em velostat e pelo acelerómetro, respetivamente. A informação recolhida pela luva, que caracteriza o gesto, é então enviada para a aplicação móvel pelo protocolo de comunicação Bluetooth. Este protocolo tem a vantagem de ser wireless e de não necessitar da conexão do dispositivo móvel à Internet para comunicar. A leitura desta informação em conjunto com o k-Nearest Neighbors, algoritmo de aprendizagem supervisionada que se baseia na similaridade dos dados que caracterizam o gesto feito em tempo real com os dados que classificam cada letra do alfabeto, permite ao sistema fazer a tradução de Língua Gestual Portuguesa para a Língua Portuguesa. Esta tradução é posteriormente visualizada numa aplicação móvel. Com o sistema desenvolvido foi atingida uma taxa de acerto quando utilizado o k-Nearest Neighbors de 93.31% e 89.66%, e de 78.27% e 71.16% quando utilizadas as Redes Neuronais, para uma pessoa com conhecimento em Língua Gestual Portuguesa e para uma pessoa sem conhecimento em Língua Gestual Portuguesa, respetivamente.

Advancement in healthcare is only possible thanks to the advancement of technology. New concepts and systems improve people’s quality of life. Gesture recognition systems are one of the fields coming from the advancement of technology. Not only is it applicable in healthcare but also in areas such as virtual reality, the automotive industry, and many more. The main goal was to create a wireless and low-cost gesture recognition system capable of translate Portuguese Sign Language to Portuguese Language. This project focuses on the Portuguese alphabet translation. The system is composed by a sensor network implemented in a glove through conductive thread and snaps. When used, the glove has the function of reading the position of the fingers as well as the direction of the hand. This information is given by flex sensors based on velostat and accelerometer, respectively. The information collected by the glove, which characterizes the gesture, is then sent to the mobile application by the Bluetooth communication protocol. This protocol has the advantage of not require the connection of the mobile device to the Internet to communicate. The reading of this information together with k-NN, a supervised learning algorithm which is based on similarity of data that characterizes the gesture made in real time with data that classifies letters of the alphabet, allows the system to translate the Portuguese Sign Language to Portuguese Language. This translation is shown in a mobile application. With the developed system a hit rate was reached when using the k-Nearest Neighbors of 93.31% and 89.66%, and 78.27% and 71.16% when used the Neural Networks, for a person with knowledge of Portuguese Sign Language and for a person without knowledge of Portuguese Sign Language, respectively.