A machine learning approach for indirect human presence detection using IoT devices

Abstract

The recent increased democratization of technology led to the appearance of new devices dedicated to the improvement of our daily living and working spaces, capable of being remotely controlled through the internet and interoperability with other systems. In this context, human presence detection is fundamental for several purposes, such has: further automization, usage pattern learning, problem detection (illness, or intruder), etc. Current intrusion detection devices usually have flaws depending on type and many times are not coordinated for better performance. Coordinating the devices for higher level operation however requires a device, or software, that is able communicate and control them. Muzzley is a company that tries to solve this issue by creating a mobile application where the user can register all its devices and control them from there. In this dissertation we propose an approach to human presence detection using metrics based on messages between devices and the Muzzley platform. The idea is that the detection does not rely on information from specific presence detectors, but that it is able to achieve its purpose by analyzing the patterns of interactions with the devices. For this, anonimyzed datasets created by the Muzzley platform are submitted to an extensive processing in order to create meaningful features that will then be used with a machine learning algorithm for training and testing. The main contributions of this study is the processing done to create meaningful information for the task, the demonstration of the capabilities of the interactions between these devices and platforms for human presence detection, and the methods used to improve the performance of the approach.

A recente maior democratização da tecnologia contribuiu para o aumento da disponibilidade de dispositivos dedicados à melhoria dos nossos espaços de vivência e trabalho, capazes de controlo remoto pela internet e de interoperabilidade com outros. É neste contexto que a detecção de presença humana é fundamental pois: permite a automatização de acções, a aprendizagem de padrões de uso, a detecção de problemas de doença ou intrusão, etc. Dispositivos específicos de detecção de presença normalmente tem falhas dependendo da sua natureza, e não costumam estar coordenados de forma a melhorar a performance. Coordenar os aparelhos de forma a obter um nível mais inteligente de uso requer um outro dispositivo ou software capaz de comunicar e controlar os outros. A Muzzley é uma empresa que criou uma aplicação móvel onde os utilizadores podem registar todos os seus dispositivos e depois controla-los a partir do programa. Esta dissertação propõe uma abordagem para a detecção de presença baseada na utilização de métricas extraídas das mensagens entre os dispositivos e a plataforma da Muzzley. A ideia é que a detecção não será feita por informação de sensores específicos mas sim pela analise de padrões de interacções com os dispositivos. Conjuntos de dados anónimos criados na plataforma serão submetidos a uma fase extensa de processamento de forma a criar atributos interessantes para o treino e teste de algoritmos de aprendizagem automática. As contribuições principais deste estudo são os algoritmos de processamento construídos para a criação da informação relevante para a tarefa, a demonstração da capacidade do uso destas interações para a detecção de presença, e os métodos usados de forma a melhorar a performance da abordagem.