Extração e classificação automática de conteúdos textuais de publicações periódicas em Portugal

Abstract

A classificação temática das publicações periódicas constitui um desafio para a Entidade Reguladora para a Comunicação Social (ERC), responsável pelo registo e categorização destas publicações. O sistema de categorização em vigor apresenta limitações, o que tem levado a própria ERC a reconhecer a necessidade de o reformular. Neste contexto, o presente estudo abordou o desafio da classificação temática das publicações periódicas portuguesas com presença digital, com o propósito de avaliar o desempenho de modelos de linguagem pré-treinados baseados em transformers. Desenvolveu-se um sistema de categorias temáticas em colaboração com a ERC e aplicaram-se técnicas de web scraping para extrair o conteúdo textual das publicações. O estudo avaliou o desempenho de modelos transformer baseados em arquiteturas encoder, nomeadamente o mBERT, XLM-RoBERTa, BERTimbau e Albertina, tendo sido definido o modelo decoder EuroLLM como referência para efeitos de comparação. Foram igualmente testadas diferentes abordagens de extração de dados, bem como o impacto do pré-processamento e da modelação de textos longos. Os resultados indicam que as arquiteturas do tipo encoder apresentaram um melhor desempenho, com métricas de F1-score até 84,2% na classificação multiclasse e 96,0% na classificação binária. Verificou-se ainda que os modelos encoder obtiveram melhores resultados com a extração integral do texto dos sítios eletrónicos das publicações periódicas e sem recurso a pré-processamento, o que simplifica a fase de preparação dos dados. Adicionalmente, a modelação de textos longos, através da agregação das probabilidades, revelou-se a estratégia mais eficaz para contornar a limitação do comprimento máximo de sequência de entrada dos modelos encoder.

The thematic classification of periodicals is a challenge for the Portuguese Regulatory Authority for the Media (ERC), which is responsible for the registration and categorisation of these media outlets. The current categorisation system has limitations, which has led the ERC itself to recognise the need to reformulate it. In this context, the present study addressed the challenge of thematic classification of Portuguese periodicals with a digital presence, aiming to evaluate the performance of pre-trained transformer-based language models. A system of thematic categories was developed in collaboration with ERC, and web scraping techniques were applied to extract textual content from the publications. The study assessed the performance of transformer models based on encoder architectures, namely mBERT, XLM-RoBERTa, BERTimbau, and Albertina, with the EuroLLM decoder model defined as a baseline for comparison. Different data extraction approaches were also tested, as well as the impact of pre-processing and long-text modeling. The results confirmed the superiority of the encoder architectures, with F1-score metrics reaching up to 84.2% in multiclass classification and 96.0% in binary classification. It was also found that the encoder models achieved better results with the full-text extraction from the periodicals' websites and without pre-processing, which simplifies the data preparation phase. Additionally, long-text modeling, through the aggregation of probabilities, proved to be the most effective strategy to overcome the maximum input sequence length limitation of the encoder models.