Unmasking hidden hate: Techniques for detecting and normalizing obfuscated offensive language

Abstract

As more people join online spaces to interact with other users, concerns about the emergence of toxic interactions continues to grow. Manual moderation is time-consuming and psychologically taxing, highlighting the need for automated solutions. There is a lack of research regarding ways to deal with obfuscated offensive language, used to indulge in toxicity while avoiding automated detection systems. In this thesis, methods to isolate these words and normalize them are explored. The obfuscation types are categorized to facilitate the process of detecting and recovering the original word. For that end, a word cleaning pipeline, to deal with obfuscated words, was conceived. The pipeline handles homoglyph and leetspeak obfuscations using rule-based approaches, then compares words against an offensive lexicon via similarity scoring. Character Architecture with No tokenization In Neural Encoders (CANINE) embeddings serve as the word representation method, with similarity measured through cosine distance, complemented by phonetic similarity and edit distance for assigning canonical forms. As an experiment, ChatGPT-4o was used to generate synthetic obfuscated posts and to normalize the original data. Applying the pipeline to the original data resulted in 49.4% words being normalized while 50.6% were not. In comparison, ChatGPT-4o normalized 76.9% of the words, with 23.1% remaining unresolved. The pipeline had a better performance applied to the generated data, 64.9% were treated and 35.1% left untreated. These results indicate that, while Large Language Models achieve higher overall performance, improvements in out-of-vocabulary words isolation and lexicon coverage can significantly enhance the pipeline’s effectiveness.

À medida que mais pessoas recorrem a espaços online para interagir, as preocupações com o surgimento de interações tóxicas tornam-se cada vez mais evidentes. A moderação manual é morosa e psicologicamente desgastante, o que acentua a necessidade de soluções automatizadas. Contudo, é escassa a investigação sobre formas de lidar com linguagem ofensiva ofuscada, frequentemente utilizada para contornar sistemas de deteção. Esta dissertação explora métodos para identificar palavras ofuscadas e normalizá-las. Para tal, os tipos de ofuscação são categorizados, facilitando a deteção e a recuperação da forma original. Foi desenvolvido um pipeline de limpeza de palavras ofuscadas. Este lida com ofuscações que usam homóglifos e leetspeak através de abordagens baseadas em regras, comparando os termos com um léxico ofensivo por meio de similaridade. Os Character Architecture with No tokenization In Neural Encoders (CANINE) embeddings constituem o método de representação de palavras, com a similaridade medida através de cosine distance, sendo complementadas por similaridade fonética e edit distance para atribuição das formas canónicas. Como experiência, o ChatGPT-4o foi utilizado para gerar publicações ofuscadas sintéticas e normalizar os dados originais. A aplicação do pipeline aos dados originais permitiu normalizar 49,4% das palavras, deixando 50,6% por tratar. Já o ChatGPT-4o alcançou 76,9% de normalização, com 23,1% sem resolução. O pipeline obteve melhor desempenho nos dados gerados, com 64,9% tratados e 35,1% não tratados. Estes resultados demonstram que, embora os Large Language Models apresentem um desempenho superior, melhorias no isolamento de palavras out-of-vocabulary e na cobertura do léxico podem aumentar significativamente a eficácia do pipeline.