Opinionated texts in social media: A proposal for evaluative judgement methodology

Abstract

The paper reports on a pilot study devoted to the analysis of opinions expressed by Facebook discussants related to the immigration crisis in Europe. Opinions were conceptualised as the subjective expression of evaluation. The data were investigated in line with an original, tripartite typology consisting of 46 criteria of evaluative language coming from distinct scholarly traditions: media studies, linguistics and Critical Discourse Analysis. Generally speaking, the proposed templates proved effective when mapped onto social media data; however, as there is a partial overlap of some of the categories used in the pilot study, the number of categories needs to be reduced in the subsequent investigation. The secondary objective of this paper is to present computational tools employed in the study, which, as the study shows, can enrich research methodology in communication studies, and these comprise the “R” package used for data visualisation and lexical and sentence-based embeddings based on LLM.

Niniejszy artykuł stanowi raport z badania pilotażowego poświęconego analizie opinii wyrażanych przez dyskutantów na Facebooku na temat kryzysu imigracyjnego w Europie. Opinie rozumiane są w tym badaniu jako subiektywne wyrażanie oceny. Dane zostały przeanalizowane według zaproponowanej trójczłonowej typologii składającą się z 46 kryteriów języka oceniającego. Kryteria te pochodzą z różnych tradycji naukowych: medioznawstwa, językoznawstwa i krytycznej analizy dyskursu. Zaproponowane szablony okazały się skuteczne w odniesieniu do danych z mediów społecznościowych; jednakże, ze względu na częściowe nakładanie się niektórych kategorii użytych w badaniu pilotażowym, w dalszych badaniach liczba kategorii musi zostać zmniejszona. Drugim celem tego artykułu jest przedstawienie narzędzi komputerowych użytych w niniejszej analizie. Jak wskazuje zaprezentowana analiza narzędzia te mogą wzbogacić metodologię badań w dziedzinie komunikacji. Zastosowane narzędzia to pakiet „R” używany do wizualizacji danych, biblioteki Python oraz osadzenia (embeddings) leksykalne i zdaniowe oparte na LLM.