Quality assessment of 2D image rendering for 4D light field content

Abstract

Light Field (LF) technology, comprising visual data representations with huge amount of information, can be used to solve some of the current 3D technology limitations while enabling also new image functionalities not straightforwardly supported by traditional 2D imaging. However, current displays are not ready to process this kind of content, which means that rendering algorithms are necessary to present this type of visual content in 2D or 3D multi-view displays. However, the visual quality experienced by the user is highly dependent on the rendering approach adopted. Therefore, LF rendering technology requires appropriate quality assessment tests with real people, as there is no better and reliable way to assess the quality of these type of algorithms. In this context, this dissertation aims to study, implement, improve and compare various LF rendering algorithms and rendering approaches. Performance evaluation is done through subjective quality assessment tests aiming to understand which algorithm performs better in certain situations and the subjective quality impact of some of those algorithm parameters. Additionally, a comparison of single plane of focus versus all-infocus LF rendering approaches is also evaluated.

A tecnologia de campos de luz – Light Field (LF), composta por representações visuais de dados com grande quantidade de informação, pode ser usada para solucionar algumas das limitações atuais da tecnologia 3D, além de permitir novas funcionalidades que não são suportadas diretamente pela imagem 2D tradicional. No entanto, os dispositivos de visualização actuais não estão preparados para processar este tipo de conteúdo, o que significa que são necessários algoritmos de renderização para apresentar este tipo de conteúdo visual em versão 2D ou em versão 3D com múltiplas vistas. No entanto, a qualidade visual do ponto vista da percepção do utilizador é altamente dependente da abordagem de renderização adotada. Portanto, a tecnologia de renderização LF requer avaliação de qualidade adequada com pessoas reais, já que não há maneira melhor e mais confiável de avaliar a qualidade deste tipo de algoritmos. Neste contexto, esta dissertação tem como objetivo estudar, implementar e comparar diversos algoritmos e abordagens de renderização LF. A avaliação de desempenho é feita recorrendo a testes subjetivos de avaliação de qualidade para entender qual algoritmo que apresenta melhor desempenho em determinadas situações e a influência, em termos da qualidade subjetiva, de alguns parâmetros de input em certos algoritmos. Além disso, também é avaliada uma comparação de abordagens de renderização com focagem em apenas um plano versus renderização com focagem em todos os planos.