Utilize este identificador para referenciar este registo:
http://hdl.handle.net/10071/22215
Autoria: | Ferreira, Sara Cristina Martins |
Orientação: | Souto, Nuno Postolache, Octavian |
Data: | 6-Dez-2019 |
Título próprio: | Sistema de tradução da língua gestual Portuguesa em tempo real |
Referência bibliográfica: | Ferreira, S. C. M. (2019). Sistema de tradução da língua gestual Portuguesa em tempo real [Dissertação de mestrado, Iscte - Instituto Universitário de Lisboa]. Repositório Iscte. http://hdl.handle.net/10071/22215 |
Palavras-chave: | Língua gestual portuguesa Sistema wireless Reconhecimento de gestos Interação homem-máquina Protocolo de comunicação Machine learning Android Portuguese sign language Wireless system Gesture recognition Human-computer interaction Communication protocol |
Resumo: | O avanço na área da saúde só é possível graças ao avanço da tecnologia. Novos
conceitos e sistemas permitem melhorar a qualidade de vida das pessoas. Os
sistemas de reconhecimento de gestos são um dos campos procedentes do avanço
da tecnologia. Não só tem aplicação na área da saúde mas também em áreas como
a realidade virtual, industria automóvel, e outras tantas.
O objetivo deste trabalho era criar um sistema wireless e low-cost de reconhecimento
de gestos, capaz de traduzir Língua Gestual Portuguesa para Língua
Portuguesa. Este projeto teve um âmbito mais restrito, na medida em que se foca
no alfabeto português.
O sistema é composto por uma rede de sensores implementada numa luva através
de fios condutores e snaps. Ao ser utilizada, a luva faz a leitura da posição
dos dedos assim como da direção da mão em tempo real. Esta informação é dada
por sensores de flexão baseados em velostat e pelo acelerómetro, respetivamente.
A informação recolhida pela luva, que caracteriza o gesto, é então enviada para
a aplicação móvel pelo protocolo de comunicação Bluetooth. Este protocolo tem
a vantagem de ser wireless e de não necessitar da conexão do dispositivo móvel à
Internet para comunicar. A leitura desta informação em conjunto com o k-Nearest
Neighbors, algoritmo de aprendizagem supervisionada que se baseia na similaridade
dos dados que caracterizam o gesto feito em tempo real com os dados que
classificam cada letra do alfabeto, permite ao sistema fazer a tradução de Língua
Gestual Portuguesa para a Língua Portuguesa. Esta tradução é posteriormente
visualizada numa aplicação móvel.
Com o sistema desenvolvido foi atingida uma taxa de acerto quando utilizado
o k-Nearest Neighbors de 93.31% e 89.66%, e de 78.27% e 71.16% quando utilizadas
as Redes Neuronais, para uma pessoa com conhecimento em Língua Gestual
Portuguesa e para uma pessoa sem conhecimento em Língua Gestual Portuguesa,
respetivamente. Advancement in healthcare is only possible thanks to the advancement of technology. New concepts and systems improve people’s quality of life. Gesture recognition systems are one of the fields coming from the advancement of technology. Not only is it applicable in healthcare but also in areas such as virtual reality, the automotive industry, and many more. The main goal was to create a wireless and low-cost gesture recognition system capable of translate Portuguese Sign Language to Portuguese Language. This project focuses on the Portuguese alphabet translation. The system is composed by a sensor network implemented in a glove through conductive thread and snaps. When used, the glove has the function of reading the position of the fingers as well as the direction of the hand. This information is given by flex sensors based on velostat and accelerometer, respectively. The information collected by the glove, which characterizes the gesture, is then sent to the mobile application by the Bluetooth communication protocol. This protocol has the advantage of not require the connection of the mobile device to the Internet to communicate. The reading of this information together with k-NN, a supervised learning algorithm which is based on similarity of data that characterizes the gesture made in real time with data that classifies letters of the alphabet, allows the system to translate the Portuguese Sign Language to Portuguese Language. This translation is shown in a mobile application. With the developed system a hit rate was reached when using the k-Nearest Neighbors of 93.31% and 89.66%, and 78.27% and 71.16% when used the Neural Networks, for a person with knowledge of Portuguese Sign Language and for a person without knowledge of Portuguese Sign Language, respectively. |
Designação do grau: | Mestrado em Engenharia de Telecomunicações e Informática |
Arbitragem científica: | yes |
Acesso: | Acesso Aberto |
Aparece nas coleções: | T&D-DM - Dissertações de mestrado |
Ficheiros deste registo:
Ficheiro | Descrição | Tamanho | Formato | |
---|---|---|---|---|
master_sara_martins_ferreira.pdf | 18,57 MB | Adobe PDF | Ver/Abrir |
Todos os registos no repositório estão protegidos por leis de copyright, com todos os direitos reservados.