Sentiment analysis to predict the Portuguese economic sentiment based on economic news

Abstract

Measuring the economic sentiment of a country is crucial to understand and predict its short-term economic condition. This work proposes an automatic sentiment indicator, derived from collected economic news texts, that is able to accurately measure the current economic sentiment in Portugal and is highly correlated with the official Economic Sentiment Indicator, published a few weeks later by the European Commission, based on surveys. The data used in these experiments consists of almost 90 thousand Portuguese economic news, extracted from two well-known Portuguese newspapers, covering the period from 2010 to 2020. Each document was automatically classified with the corresponding sentiment polarity, using a rule-based approach that proved suitable for detecting the sentiment in Portuguese economic news. In order to perform sentiment analysis of economic news, we have also evaluated the adaptation of existing pre-trained modules and performed experiments with a set of Machine Learning approaches. Experimental results show that our rule-based approach, that uses manually written rules specific to the economic context, achieves the best results for automatically detecting the polarity of economic news, largely surpassing the other approaches. Our experimental results shows that the sentiment expressed through economic news constitute a promising way of predicting the economic sentiment, thus allowing to understand the economic situation in Portugal in almost real time. The developed indicator, based on the news, give us a predictive power of the economic fluctuations and the sentiment concerning the economic agents about the present and the future of the economy.

Medir o sentimento económico de um país é crucial para compreender e prever a sua condição económica de curto prazo. Este projeto propõe um indicador de sentimento automático, baseado em textos recolhidos de notícias económicas, que é capaz de medir com precisão o sentimento económico atual em Portugal e está altamente correlacionado com o Indicador de Sentimento Económico oficial, publicado pela Comissão Europeia algumas semanas depois e calculado com base em inquéritos. Os dados utilizados nestas experiências consistem em cerca de 90 mil notícias económicas portuguesas, extraídas de dois jornais portugueses de renome, abrangendo o período de 2010 a 2020. Cada notícia foi automaticamente classificada com a polaridade de sentimento que tem associada, através de uma abordagem baseada em regras que provou ser adequada para detectar o sentimento das notícias económicas portuguesas. Para realizar a análise de sentimento das notícias económicas, também avaliámos a adaptação de módulos prétreinados existentes e realizamos experiências com um conjunto de abordagens de Aprendizagem Automática. Resultados experimentais mostram que a nossa abordagem baseada em regras, que usa regras escritas manualmente específicas para o contexto económico, alcança os melhores resultados para detectar automaticamente a polaridade das notícias económicas, superando amplamente as outras abordagens. O nosso estudo mostra que o sentimento expresso através das notícias económicas constitui uma forma promissora de prever o sentimento económico, permitindo entender a situação económica em Portugal quase em tempo real. O indicador desenvolvido, com base nas notícias, tem poder preditivo das flutuações económicas e do sentimento dos agentes económicos acerca do presente e o futuro da economia.