IoT home automation with mobile devices vision

Abstract

In recent years, the number of Internet of Things devices has grown rapidly, in particular devices used in a smart home context. The home automation market has been hampered by an endless number of protocols, often difficult to integrate, especially when new devices are attached to the system. Also, the integration of mobile devices is incomplete, namely when considering the integration and use of sensor information, in its camera, which can be collected from the device. To make this integration more effective, we developed a solution where it’s possible, through a mobile device, to add and control new Internet of Things devices. This solution, supported by the OpenHAB open-source platform, will use the camera of the user's mobile device as an input to identify which object the user is trying to control. For this, the work developed uses artificial intelligence, specifically a Siamese network, which has the advantage of sharing the same weights between the two towers, making it a neural network, easy to train and lightweight, suitable for the possibility of operating the model on a mobile device. This system obtained good results when trying to identify objects using either already present images or new images, for those objects. It was also able to correctly adapt to a new class being added to the dataset, without the need to retrain the whole network. Thus, it was proved that it is possible to improve the integration of mobile devices in home automation, innovatively using the camera sensor.

Nos últimos anos, o número de dispositivos da Internet das Coisas cresceu rapidamente, em particular os dispositivos utilizados num contexto doméstico inteligente. O mercado da domótica tem sido prejudicado por um número interminável de protocolos, muitas vezes difíceis de integrar, principalmente quando novos dispositivos são anexados ao sistema. Também a integração de dispositivos móveis está incompleta, nomeadamente quando consideramos a integração e utilização de informação de sensores, em particular a câmara, que pode ser recolhida a partir do dispositivo. Para tornar esta integração mais eficaz, desenvolvemos uma solução onde é possível, através de um dispositivo móvel, adicionar e controlar novos dispositivos da Internet das Coisas. Esta solução, suportada pela plataforma OpenHAB opensource, fará uso da câmara do dispositivo móvel do utilizador como um input para identificar qual o objeto que o utilizador está a tentar controlar. Para isso, o trabalho desenvolvido faz uso de inteligência artificial, especificamente uma rede siamesa, que tem a vantagem de partilhar os mesmos pesos entre as duas torres, tornando-a uma rede neural, fácil de treinar e leve, adequada para a possibilidade de operar o modelo num dispositivo móvel. Este sistema obteve bons resultados ao tentar identificar objetos utilizando quer imagens já presentes quer novas imagens, para esses objetos. Foi também capaz de se adaptar corretamente a uma nova classe a ser adicionada ao conjunto de dados, sem necessidade de reciclar toda a rede. Assim, ficou provado que é possível melhorar a integração de dispositivos móveis na domótica, utilizando o sensor de câmara de forma inovadora.