Intelligent video object tracking in large public environments

Abstract

This Dissertation addresses the problem of video object tracking in large public environments, and was developed within the context of a partnership between ISCTE-IUL and THALES1 object. This partnership aimed at developing a new approach to video tracking, based on a simple tracking algorithm aided by object position estimations to deal with the harder cases of video object tracking. This proposed approach has been applied successfully in the TRAPLE2 project developed at THALES where the main focus is the real-time monitoring of public spaces and the tracking of moving objects (i.e., persons). The proposed low-processing tracking solution woks as follows: after the detection step, the various objects in the visual scene are tracked through their centres of mass (centroids) that, typically, exhibit little variations along close apart video frames. After this step, some heuristics are applied to the results to maintain coherent the identification of the video objects and estimate their positions in cases of uncertainties, e.g., occlusions, which is one of the major novelties proposed in this Dissertation. The proposed approach was tested with relevant test video sequences representing real video monitoring scenes and the obtained results showed that this approach is able to track multiple persons in real-time with reasonable computational power.

Esta dissertação aborda o problema do seguimento de objectos vídeo em ambientes públicos de grande dimensão e foi desenvolvida no contexto de uma parceria entre o ISCTE-IUL e a THALES. Esta parceria visou o desenvolvimento de uma nova abordagem ao seguimento de objectos de vídeo baseada num processamento de vídeo simples em conjunto com a estimação da posição dos objectos nos casos mais difíceis de efectuar o seguimento. Esta abordagem foi aplicada com sucesso no âmbito do projecto TRAPLE desenvolvido pela THALES onde um dos principais enfoques é o seguimento de múltiplos objectos de vídeo em tempo real em espaços públicos, tendo como objectivo o seguimento de pessoas que se movam ao longo desse espaço. A solução de baixo nível de processamento proposta funciona do seguinte modo: após o passo de detecção de objectos, os diversos objectos detectados na cena são seguidos através dos seus centros de massa que, normalmente, apresentam poucas variações ao longo de imagens consecutivas de vídeo. Após este passo, algumas heurísticas são aplicadas aos resultados mantendo a identificação dos objectos de vídeo coerente e estimando as suas posições em casos de incertezas (e.g., oclusões) que é uma das principais novidades propostas nesta dissertação. A abordagem proposta foi testada com várias sequências de vídeo de teste representando cenas reais de videovigilância e os resultados obtidos mostraram que esta abordagem é capaz de seguir várias pessoas em tempo real com um nível de processamento moderado.