A unity-based framework for sound transmission and perception in video games

Abstract

The ability for humans to hear, attend to, and understand incoming sounds is affected, at least, by environmental, morphological, and cognitive factors. Conversely, current implementations of audition in virtual characters often only consider as constraint to the auditory process the distance between the sound emitter and the sound receiver. To cope with this limitation, this dissertation presents a novel framework, directed to game developers interested in implementing non-player characters with noisy, characterspecific, and context-dependent auditory perception. The framework is prepared to be integrated with games developed in Unity's game engine, providing custom made Unity scripts that simplify the integration into Unity games. A First Person Shooter game named Fortress was developed, which was integrated with the framework in order to test the mechanisms for sound transmission and perception provided by the framework. The framework allows developers to enable the ability for virtual characters to perceive sound from their surroundings, while keeping the ability of perception closely binded to the current context the virtual character is in. The developer may then customize each virtual character's physical and psychological traits that react the way the virtual character perceives sound from its surroundings. Consequently, the level of immersion for players is increased, as the characters from the virtual world react to sound from their surroundings in a more human way.

A capacidade humana de ouvir, percepcionar e compreender sons é afetada, no mínimo, por fatores ambientais, físicos e cognitivos. Implementações atuais de audição em agentes virtuais apenas consideram a distância entre o emissor do som e o seu receptor como fator influenciador da sua receção. De forma a superar essa limitação, esta dissertação apresenta uma framework direcionada a programadores de jogos de vídeo interessados em dotar os seus personagens virtuais de audição reactiva a ruído, às características do agente e dependente do contexto. A framework é direcionada a jogos desenvolvidos para o motor de jogo Unity, através da disponibilização de ferramentas que facilitam a integração em jogos do motor de jogo Unity. Um jogo do tipo First Person Shooter , Fortress, foi desenvolvido com o objectivo de integrar e testar as funcionalidades de transmissão e percepção de som disponibilizadas pela framework. Os programadores de jogos de vídeo passam a poder dotar as suas personagens virtuais de perceção de sons provenientes do ambiente virtual, relacionando a capacidade de perceção com o contexto do personagem virtual. Os programadores podem costumizar os atributos físicos e psicológicos que afetam a capacidade de perceção do som por parte dos personagens virtuais. Em consequência da melhor aproximação da capacidade auditiva dos personagens virtuais com a capacidade auditiva humana, os personagens apresentaram um comportamento mais el à realidade, aumentando a imersão do jogador no mundo do jogo.