Transformers for time series forecasting

Abstract

This study aims to bridge the gap between theoretical research and practical application in time series forecasting by introducing and evaluating a novel transformer-based model. It builds on the foundations set by models such as Frequency Enhanced Decomposed Transformer (Zhou et al., 2022) and Patch Time Series Transformer (Nie et al., 2022), which have excelled in univariate and multivariate settings. The core of this thesis is the development of a transformerbased model, combining elements of the two models mentioned above. Through rigorous testing using Mean Squared Error (MSE) and Mean Absolute Error (MAE) as evaluative metrics, the new model's performance was benchmarked against its precursors. The findings reveal that while the latest model surpasses one of its predecessors in forecasting accuracy, it does not outperform the other. This research contributes to the field of Data Science by providing insights into the effectiveness of these models and guiding future advancements in time series forecasting.

Este estudo tem como objetivo diminuir a lacuna existente entre a pesquisa (teórica) e a prática existente para a tarefa de previsão de séries temporais, ao introduzir e avaliar um novo modelo transformer-based. Este é baseado nas arquiteturas já existentes em modelos como o Frequency Enhanced Decomposed Transformer (Zhou et al., 2022) e o Patch Time Series Transformer (Nie et al., 2022), que se destacaram pela positiva em ambientes univariados e multivariados, respetivamente. O cerne desta tese é então o desenvolvimento de um modelo transformerbased, que combina elementos dos dois modelos acima mencionados. Através de diversos testes rigorosos recorrendo às métricas erro quadrático médio (MSE) e erro médio absoluto (MAE), o desempenho deste novo modelo foi comparado com os que o originaram. Em sede de conclusão as descobertas revelam que este novo modelo supera um dos modelos que o origina ainda que não supere o outro. Esta pesquisa contribui para a área da Ciência de Dados ao fornecer insights sobre a eficácia deste tipo de modelos e orientando possíveis avanços futuros para a tarefa de previsão de séries temporais.