Efficient solutions for light field coding

Abstract

This Thesis aims at studying and developing efficient solutions for light field coding. In this regard, this Thesis proposes a light field coding solution based on the High Efficiency Video Coding (HEVC) standard and using a non-local spatial prediction scheme, named selfsimilarity compensated prediction. This solution is able to exploit the inherent correlations of this new type of content to achieve high rate-distortion performance, without requiring any explicit knowledge of the particular optical acquisition setup used when acquiring the content. In addition to this, aiming at allowing faster deployment of light field applications and services in the consumer market, a scalable light field coding solution that provides backward compatibility with legacy display devices (e.g., 2D, 3D stereo, and 3D multiview) is also proposed in this Thesis. The proposed display scalable solution makes use of an efficient inter-layer prediction scheme that when combined with the self-similarity compensated prediction is able to achieve, in most of the cases, better rate-distortion performance than the non-scalable HEVC solution. Finally, to support the richer and flexible interaction functionalities that arise in light field imaging applications, this Thesis also proposes a novel scalability concept, named Field of View (FOV) scalability, as well as a FOV scalable coding solution. The FOV scalability supports progressively richer interaction functionalities in each higher layer by hierarchically organizing the light field angular information. Moreover, two novel inter-layer coding solutions are also proposed so as to achieve high rate-distortion performance in enhancement layer coding.

Esta Tese visa estudar e desenvolver soluções eficientes para a codificação do campo de luz. Especificamente, esta Tese propõe uma solução de codificação do campo de luz que se baseia na norma HEVC (High Efficiency Video Coding) e que utiliza um método de predição espacial não-local aqui designada como predição compensada da autossemelhança. A solução proposta é capaz de explorar as correlações inerentes ao conteúdo de campo de luz e, desta forma, obter um alto desempenho em termos de débito-distorção sem que seja necessário conhecer os pormenores do sistema ótico utilizado na aquisição do conteúdo. Adicionalmente, com o intuito de possibilitar uma difusão mais rápida de serviços e aplicações de campo de luz no mercado de consumo, esta Tese também propõe uma solução escalável de codificação do campo de luz de forma a garantir a compatibilidade com os dispositivos de visualização convencionais (por exemplo, 2D, 3D estereoscópico e 3D multivista). A solução escalável proposta assenta na utilização de um método eficiente de predição entre camadas que quando combinado com a predição compensada da autossemelhança consegue atingir, na maioria dos casos, um melhor desempenho em termos de débitodistorção que a solução não-escalável do HEVC. Finalmente, para garantir o suporte das poderosas funcionalidades de interação que surgem em aplicações de campo de luz, esta Tese propõe um novo conceito de escalabilidade chamado escalabilidade de campo de visão, assim como uma solução de codificação de campo de luz que suporta este novo tipo de escalabilidade. A escalabilidade de campo de visão possibilita organizar hierarquicamente a informação angular do campo de luz de forma a suportar, progressivamente, funcionalidades de interação mais ricas em cada camada superior. Para alcançar um alto desempenho em termos de débito-distorção na codificação das camadas superiores, dois novos métodos de predição entre camadas são também propostos.