Please use this identifier to cite or link to this item:
http://hdl.handle.net/10071/13798
Author(s): | Silva, Pedro Coelho Grácio da |
Advisor: | Dias, Miguel Sales |
Date: | 3-Dec-2015 |
Title: | Multimodal emotion recognition |
Reference: | SILVA, Pedro Coelho Grácio da - Multimodal emotion recognition [Em linha]. Lisboa: ISCTE-IUL, 2015. Dissertação de mestrado. [Consult. Dia Mês Ano] Disponível em www:<http://hdl.handle.net/10071/13798>. |
Keywords: | Emotions Automatic recognition 3D Camera Multimodal Audio Video Depth Engenharia informática Interação homem-máquina Emoção 3D Reconhecimento biométrico Tecnologia audiovisual |
Abstract: | Reading emotions from facial expression and speech is a milestone in Human-Computer
Interaction. Recent sensing technologies, namely the Microsoft Kinect Sensor, provide
basic input modalities data, such as RGB imaging, depth imaging and speech, that can
be used in Emotion Recognition. Moreover Kinect can track a face in real time and
present the face fiducial points, as well as 6 basic Action Units (AUs).
In this work we explore this information by gathering a new and exclusive
dataset. This is a new opportunity for the academic community as well to the progress
of the emotion recognition problem. The database includes RGB, depth, audio, fiducial
points and AUs for 18 volunteers for 7 emotions. We then present automatic emotion
classification results on this dataset by employing k-Nearest Neighbor, Support Vector
Machines and Neural Networks classifiers, with unimodal and multimodal approaches.
Our conclusions show that multimodal approaches can attain better results. Ler e reconhecer emoções de expressões faciais e verbais é um marco na Interacção Humana com um Computador. As recentes tecnologias de deteção, nomeadamente o sensor Microsoft Kinect, recolhem dados de modalidades básicas como imagens RGB, de informaçãode profundidade e defala que podem ser usados em reconhecimento de emoções. Mais ainda, o sensor Kinect consegue reconhecer e seguir uma cara em tempo real e apresentar os pontos fiduciais, assim como as 6 AUs – Action Units básicas. Neste trabalho exploramos esta informação através da compilação de um dataset único e exclusivo que representa uma oportunidade para a comunidade académica e para o progresso do problema do reconhecimento de emoções. Este dataset inclui dados RGB, de profundidade, de fala, pontos fiduciais e AUs, para 18 voluntários e 7 emoções. Apresentamos resultados com a classificação automática de emoções com este dataset, usando classificadores k-vizinhos próximos, máquinas de suporte de vetoreseredes neuronais, em abordagens multimodais e unimodais. As nossas conclusões indicam que abordagens multimodais permitem obter melhores resultados. |
Degree: | Mestrado em Engenharia de Telecomunicações e Informática |
Peerreviewed: | yes |
Access type: | Open Access |
Appears in Collections: | T&D-DM - Dissertações de mestrado |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
[FINAL]Multimodal Emotion Recognition_to_ISCTE_pedro.pdf | 2,53 MB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.