Light field processing for immersive systems

Abstract

Light Field (LF) imaging is an immersive imaging modality that has attracted increasing attention in recent decades, due to its ability of capturing both light intensity and direction information of a scene in a Four-Dimensional (4D) array, known as the 4D LF. The rich information included in 4D LFs enables the viewer to explore the scene from different perspectives, hence, enhancing depth perception and realism. However, the promise of an immersive experience comes with challenges that need to be investigated, notably in terms of processing and editing. One example of those challenges is to efficiently process/edit 4D LFs by exploiting the spatio-angular correlations while ensuring spatial accuracy and angular consistency. Therefore, this Thesis tackles this challenge through several methods that together form a pipeline to efficiently process/edit 4D LFs. At first, this Thesis proposes an efficient disparity propagation method that enables computing angularly consistent disparity maps for all LF views. Afterwards, this Thesis proposes novel over-segmentation methods that rely on disparity maps as an additional guiding feature to group corresponding pixels across LF views into spatioangular segments. The over-segmented 4D LFs are then used as an intermediate representation that enables LF segmentation and facilitates neural style transfer propagation. In this Thesis, it has been shown that representing 4D LFs based on over-segmentation allows the usage of classical graph cut and graph neural networks to achieve efficient 4D LF segmentation. The proposed processing and editing LF methods have shown outperforming performance in several aspects, such as spatial accuracy and angular consistency.

A imagiologia de campo de luz (LF) é uma modalidade de imagem imersiva que tem atraído cada vez mais atenção nas últimas décadas, devido à sua capacidade de captar a intensidade e a informação sobre a direção da luz de uma cena numa matriz de quatro dimensões (4D), conhecida como LF 4D. A vasta informação incluída nos LF 4D permite ao espetador explorar a cena a partir de diferentes perspectivas, melhorando assim a perceção da profundidade e o realismo. No entanto, a promessa de uma experiência imersiva traz consigo desafios que precisam de ser investigados, nomeadamente em termos de processamento e edição. Um exemplo desses desafios é o processamento e a edição eficientes de LFs 4D, explorando as correlações espácio-angulares e assegurando simultaneamente a precisão espacial e a consistência angular. Assim, esta Tese aborda este desafio através de vários métodos que, em conjunto, formam um pipeline para processar/editar eficientemente LFs 4D. Em primeiro lugar, esta Tese propõe um método eficiente de propagação de disparidades que permite calcular mapas de disparidades angularmente consistentes para todas as vistas de LF. Posteriormente, esta Tese propõe novos métodos de sobre-segmentação que se baseiam em mapas de disparidade como uma caraterística adicional de orientação para agrupar pixéis correspondentes em vistas LF em segmentos espácio-angulares. Os LFs 4D sobre-segmentados são então utilizados como uma representação intermédia que permite a segmentação dos LFs e facilita a propagação da transferência neuronal de estilo. Nesta Tese, foi demonstrado que a representação de LFs 4D com base na sobresegmentação permite a utilização de técnicas clássicas de corte de grafos e de redes neuronais de grafos para obter uma segmentação de LF 4D eficiente. Os métodos propostos mostraram um desempenho superior em vários aspectos, como a precisão espacial e a consistência angular.