Light field processor: a lytro illum imaging application

Abstract

Light field imaging technology is at the intersection of three main research areas: computer graphics, computational photography and computer vision. This technology has the potential to allow functionalities that were previously impracticable, if not impossible, like refocusing photographic images after the capture or moving around in a VR scene produced by a real-time game engine, with 6DoF. Traditional photography produces one single output whenever a user presses the shot button. Light field photography may have several different outputs because it collects much more data about a scene. Thus it requires post-processing in order to extract any piece of useful information, like 2D images, and that is a characteristic feature that makes this technology substantially different from all others in the field of image making. Post processing means using a specialised application and, since this technology is still in its infancy, those applications are scarce. This context presented a good opportunity for such a development. Light Field Processor is the main outcome of this work. It is a computer application able to open and decode images from Lytro Illum light field cameras, which it may then store as a new file format (Decoded Light Field), proposed in this dissertation, for later use. It is able to extract 2D viewpoints, 2D maps of viewpoints or the microlens array, videos showing the intrinsic parallax of the light field and metadata, as well as do some basic image processing.

A tecnologia de imagem de campo de luz está na intersecção de três grandes áreas de investigação: gráficos por computador, fotografia computacional e visão por computador. Esta tecnologia tem o potencial de possibilitar funcionalidades que eram anteriormente impraticáveis, senão mesmo impossíveis, tais como refocar imagens fotográficas após a captura ou movimentar-se numa cena de RV produzida por um motor de jogos em tempo real, com 6 graus de liberdade. A fotografia tradicional produz uma única saída sempre que um utilizador prime o botão de disparo. A fotografia campo de luz pode ter várias saídas diferentes porque junta muito mais dados acerca da cena. Logo ela requer pós-processamento por forma a extrair qualquer informação útil, como imagens 2D, e essa é uma funcionalidade característica que faz desta tecnologia substancialmente diferente de todas as outras no ramo da produção de imagem. Pós-processamento significa usar uma aplicação especializada e, uma vez que esta tecnologia ainda está na sua infância, essas aplicações são escassas. Este contexto proporcionou uma boa oportunidade para tal desenvolvimento. Light Field Processor é o principal resultado deste trabalho. É uma aplicação para computador capaz de abrir e descodificar imagens de cameras Lytro Illum campo de luz, que podem então ser armazenadas como um novo formato de ficheiro (Campo de Luz Descodificado), proposto nesta dissertação, para uso posterior. É capaz de extrair pontos de vista 2D, mapas 2D de pontos de vista ou conjunto de microlentes, vídeos mostrando a paralaxe intrínseca do campo de luz e metadados, assim como fazer algum processamento de imagem básico.