FIRST, invariant image features for augmented reality and computer vision

Abstract

A variety of application areas can be attained in the fields of human-computer interaction for augmented and mixed reality, object tracking and gesture recognition. By combining the areas of 3D computer graphics, computer vision and programming, we have developed a fast, yet robust and accurate image feature detector and matcher to solve common problems that arise in the mentioned research areas. In this thesis, frequent computer vision and augmented reality problems related to camera calibration, object recognition/tracking, image stitching and gesture recognition, are shown to be solved in real-time using our novel feature detection and matching technique. Our method is referred to as FIRST – Feature Invariant to Rotation and Scale Transform. We have also generalized our texture tracking algorithm to a near model base tracking method, using pre-calibrated static planar structures. Our results are compared and discussed with other state of the art works in the areas of invariant feature descriptors and vision based augmented reality, both in accuracy and performance.

Nos campos de investigação e desenvolvimento relacionados com a interacção pessoamáquina em realidade aumentada e mista, o seguimento de objectos e o reconhecimento de gestos, existe uma vasta área de aplicações por explorar. Através da combinação dos domínios da computação gráfica 3D, visão por computador e programação, apresentamos um método eficiente e no entanto robusto e preciso, que permite extrair características invariantes de imagens, de modo a resolver problemas comuns dentro destas áreas de investigação. Nesta tese, alguns desafios comuns existentes nas áreas de visão por computador e realidade aumentada, como por exemplo, a calibração da câmara, o reconhecimento e o seguimento de objectos, a composição panorâmica de imagens e o reconhecimento de gestos, são resolvidos em tempo-real através da aplicação deste novo método de extracção e correlação de características invariantes das imagens. Este método é referido como FIRST – Feature Invariant to Rotation and Scale Transform (Transformada de Característica Invariante à Rotação e Escalamento). Neste trabalho, apresentamos ainda uma nova generalização do algoritmo de seguimento de texturas em realidade aumentada, para um método aproximado de seguimento de objectos baseado num modelo tridimensional conhecido, através da pré-calibração de estruturas planares estáticas. Os resultados obtidos são comparados e discutidos com outros trabalhos do estado da arte, nos domínios da realidade aumentada baseada em visão e das características de imagem, tanto ao nível da precisão como da eficiência.