DATUS: Dashboard Assessment Usability Model: A case study with student dashboards

Abstract

The software market sees the appearance of new companies and products every day. This growth translates into the competition, and the survival of companies is reduced to investment in their products. Universities are also interested in improving their product, education. This improvement can be achieved by investing in the learning experience of students. Usability and user experience play an important role and have been a competitive advantage worth investing. Consequently, new methods have emerged to improve the process of evaluating the usability of products. Despite this growth, there is no direct model for assessing the usability of a dashboard. This gap led to the investigation of this dissertation, a proposal for a new model, Dashboard Assessment Usability Model (DATUS), accompanied by an evaluation method, which can be applied to the evaluation of the usability of dashboards. Eight usability dimensions are included in DATUS, each corresponding to a specific usability facet that has been identified in an existing standard or model and decomposed into a total of 20 metrics. In this sense, to verify if the model created is feasible, and as a contribution to Iscte - Instituto Universitário de Lisboa, a prototype dashboard was designed for the Fénix platform, to which the DATUS model was applied. To test the usability of the dashboards, a behavioural study was conducted with 30 Iscte students. After analysing the results, not only was the feasibility of the proposed model and method confirmed, but positive conclusions were also reached regarding the usability of the prototype.

O mercado de software observa o aparecimento de novas empresas e produtos todos os dias. Este crescimento traduz-se em competição e a sobrevivência das empresas resume-se ao investimento nos seus produtos. Também as universidades têm interesse em melhorar o seu produto, o ensino. Esta melhoria pode ser alcançada através de investimento na experiência de aprendizagem dos estudantes. A usabilidade e a experiência do utilizador desempenham um papel importante e demonstram ser uma vantagem competitiva em que vale a pena investir. Consequentemente, têm surgido novos métodos para melhorar o processo de avaliação de usabilidade. Apesar deste crescimento, não existe um modelo claro para avaliar a usabilidade de um dashboard. Esta lacuna levou à investigação desta dissertação, uma proposta de um novo modelo, Dashboard Assessment Usability Model (DATUS), acompanhado por um método de avaliação, que pode ser aplicado à avaliação da usabilidade de dashboards. Estão incluídas no DATUS oito dimensões de usabilidade, cada uma corresponde a uma faceta específica de usabilidade que foi identificada numa normalização ou modelo existente, e decompõem-se num total de 20 métricas. Para verificar se o modelo é viável, e como contribuição para o Iscte - Instituto Universitário de Lisboa, foi desenhado um protótipo de dashboard para a plataforma Fénix, à qual o modelo DATUS foi aplicado. Para testar a usabilidade dos dashboards, foi realizado um estudo comportamental com 30 alunos do Iscte. Após a análise dos resultados, foi confirmada a viabilidade do modelo e do método propostos e retiraram-se conclusões positivas em relação à usabilidade do protótipo.