Mixed reality application to support building maintenance

Abstract

This dissertation presents two mixed reality (MR) applications developed for the head-mounted display Microsoft HoloLens (MH) – InOffice and InSitu, which support building maintenance tasks in constructions with complex infrastructure. These solutions are intended to help maintenance workers when they need to track and fix part of the infrastructure by revealing hidden components, displaying additional information and guiding them in complex tasks. The applications have the potential to improve maintenance worker’s performance as they assist in performing faster and with higher accuracy. The work presented explores the creation of the applications and discusses the methodologies used to build user-friendly tools. Both MR applications were tested with active maintenance professionals, and results revealed each solution is useful to support building maintenance in different types of situation. InOffice, which displays an interactive and reduced version of the building being maintained, is suited to work off-site, for planning and remote assistance. In InSitu the user visualizes a 1:1 scaled hologram of the building aligned with the real world, and it is better suited for maintenance that requires manual tasks on site. The methodology was based on design science research: an improvement need, and not necessarily a problem, was identified, and from there a solution was conceived. MR is being applied as a successful tool for helping in several areas, and this work can give insights for many future solutions with mixed reality or MH to build novel and better applications that improve tasks at work or domestic environments.

Esta dissertação apresenta duas aplicações de realidade mista (RM) desenvolvidas para o head-mounted display Microsoft HoloLens (MH) - InOffice e InSitu, as quais auxiliam no desempenho de tarefas de manutenção de edifícios em construções com infraestrutura complexa. Estas soluções destinam-se a ajudar os técnicos de manutenção quando estes precisam de rastrear e consertar parte da infraestrutura, revelando componentes ocultos, exibindo informações adicionais sobre os materiais e orientando-os em tarefas complexas. As aplicações têm potencial para melhorar o desempenho de trabalhadores de manutenção, pois auxiliam na execução mais rápida e com maior precisão do seu trabalho. O trabalho apresentado explora a criação das aplicações e discute as metodologias usadas para criar ferramentas fáceis de usar. Ambas as aplicações de RM foram testadas com profissionais de manutenção no ativo, e os resultados revelaram que cada solução é útil para ajudar na manutenção de edifícios em diferentes tipos de situação. A InOffice, que exibe um modelo interativo e reduzido do edifício a ser mantido, é adequada para trabalhar fora do edifício, para planeamento e assistência remota. Na InSitu, o utilizador visualiza um holograma em escala 1:1 do edifício alinhado com o mundo real e é mais adequada para manutenção que requeira tarefas manuais no próprio local. A metodologia seguida baseou-se em design science research: uma necessidade de melhoria, e não necessariamente um problema, foi identificada, e a partir daí uma solução foi concebida. A RM tem sido aplicada como uma ferramenta de sucesso para ajudar em várias indústrias, e este trabalho fornece visão e conhecimento para muitas soluções futuras com realidade mista ou com MH que melhorem as tarefas em ambientes profissionais ou até em ambientes domésticos.