Light field saliency detection using deep learning: A comparative study

Abstract

Salient Object Detection (SOD) has drawn an increasing amount of research interest in the past decade and is currently heavily based on Machine Learning (ML) and 2D imaging. Recently, Light Field (LF) imaging became an attractive alternative to 2D imaging due to LF recording comprehensive information of natural scenes that benefit SOD. Using the LF imaging instead conventional 2D imaging to improve SOD is, therefore, an emerging trend. Over the past years, Deep Learning (DL) methods have been dominated by the so-called deep Convolutional Neural Networks (CNNs), which take advantage of the accompanying advances on computing power and data availability. For 2D imaging, methods using CNNs have achieved excellent results at various tasks, including saliency detection. However, using CNN-based methods for LF-based saliency detection is not trivial because these methods are not, typically, explicitly designed for processing LF inputs. In addition, current LF datasets are not sufficiently large to train CNNs from scratch. Therefore, for this dissertation, we analyse and compare the efficiency of five existing models for LF SOD that are based on DL, using common test conditions. Additionally, we propose an alternative LF-based method that uses LF images as input to verify the advantages of LF imaging over 2D imaging for the task of SOD. We conducted the experiments on two different datasets with different properties to validate all five existing approaches and our proposed model. Experimental analysis has shown that models based on DL using the LF imaging outshine the conventional 2D model.

Salient Object Detection (SOD) despertou um interesse crescente na investigação na última década, e actualmente se baseia em aprendizagem automática e imagens 2D. Recentemente, imagens Light Field (LF) apresentam uma alternativa atraente à imagens 2D, devido ao fato que LF contêm informações abrangente de cenas naturais que beneficiam SOD. A utilização das imagens LF para melhorar a detecção da saliência em relação às imagens 2D convencionais é uma tendência emergente. Nos últimos anos, Deep Learning (DL) tem sido dominados pelas chamadas deep Convolutional Neural Networks (CNNs), que tiram partido da capacidade computacional. Para imagens 2D, os métodos que utilizam CNNs têm alcançado excelentes resultados em várias tarefas, incluindo SOD. Contudo, a utilização de métodos baseados em CNNs para a detecção de saliências em imagens LF não é trivial porque não são explicitamente concebidos para o processamento de conteúdos LF. Além disso, os conjuntos de dados actuais de LF não são suficientemente grandes para treinar CNNs a partir do zero. Portanto, nesta dissertação, analisamos e comparamos a eficiência de cinco modelos existentes para LF SOD que são baseados em DL. Além disso, propomos um método alternativo baseado em LF que utiliza imagens LF como entrada para verificar as vantagens de imagem LF em relação à imagem 2D para a tarefa de SOD. Conduzimos os experimentos em dois conjuntos de dados com diferentes propriedades para validar os modelos escolhidos assim como o modelo proposto. A análise experimental mostrou que os modelos baseados em DL utilizando imagens LF superam o modelo convencional 2D.