Please use this identifier to cite or link to this item: http://hdl.handle.net/10071/34372
Author(s): Sarroeira, Rodrigo Carvalheda Duarte da Fonseca
Advisor: Marques, Catarina
Guerra, Rita
Date: 20-Nov-2024
Title: A full hate speech detection pipeline: Leveraging ML, DL, and GPTs
Reference: Sarroeira, R. C. D. da F. (2024). A full hate speech detection pipeline: Leveraging ML, DL, and GPTs [Dissertação de mestrado, Iscte - Instituto Universitário de Lisboa]. Repositório Iscte. http://hdl.handle.net/10071/34372
Keywords: Hate speech detection
GPT
Machine learning -- Machine learning
Deep learning
BERT
Prompt engineering
Detação de discurso de ódio
Abstract: The proliferation of technology and social media has led to an alarming increase in the incidence and variety of hate speech, creating a need for more effective detection and mitigation strategies. In this work we develop a comprehensive hate speech detection pipeline applicable to various use-cases. A combination of traditional machine learning and state-of-the-art deep learning models are employed to classify social media posts as either hateful or non-hateful. The ML training process involved multiple model combinations and word vectorization techniques, followed by rigorous fine-tuning with Optuna. The best performing machine learning model was LightGBM encoded with TF-IDF of size 10 000, achieving an accuracy of 0.816. Advanced BERT-based approaches were explored, yielding superior results, with RoBERTa reaching an accuracy of 0.8392. A significant contribution of this work is the incorporation of explainability, often overlooked in hate speech detection, particularly with black-box models. Our proposed pipeline leverages the advances in generative pre-trained transformers along with prompt engineering to add a layer of explainability to the classification process. GPT models were fine-tuned for detecting the rational behind the classification decision, effectively highlighting the hate content within the text. The best performing GPT fine-tuned model was GPT-4o Mini with an accuracy of 0.959 and a F1-Score of 0.961. A web-based application using Django and React was developed, compiling the best models trained in during the study. Providing users with a user-friendly graphical interface to interact with the proposed pipeline, making the detection process more accessible and efficient.
A proliferação da tecnologia e redes sociais levou a um aumento na incidência e variedade de discurso de ódio, criando a necessidade de estrat´egias mais eficazes para a sua detecção e mitigação. Neste trabalho, é desenvolvido um "pipeline" de deteção de discurso de ódio aplicável a diversos casos. Modelos tradicionais de "machine learning" e modelos avançados de "deep learning" são utilizados para classificar publicações em redes sociais como contendo ódio ou não. O processo de treino de machine learning envolve o treino de várias combinações de modelos e técnicas de vetorização, seguido por um rigoroso "fine-tune" com o Optuna. O melhor modelo de "machine learning" foi o LightGBM, codificado com TFIDF de tamanho 10,000, alcançaando uma accuracy de 0,816. São também exploradas abordagens baseadas no BERT, obtendo melhores resultados, com o modelo RoBERTa a atingir uma accuracy de 0,8392. Este trabalho contribui significativamente para a explicabilidade da classificação, frequentemente esquecida na detecção de discurso de ódio, especialmente com "black-box models". O "pipeline" proposto utiliza "generative pre-trained transformers" (GPT) juntamente com prompt engineering para adicionar explicabilidade ao processo de classificação. Modelos GPT foram ajustados para detectar o racional por trás da decisão de classificação, destacando o conteúdo odioso no texto. O melhor modelo GPT ajustado foi o GPT-4o Mini apresentando uma "accuracy" de 0,959 e um F1-Score de 0,961. Foi desenvolvida uma aplicação "web" utilizando Django e React, compilando os melhores modelos treinados durante o estudo, fornecendo aos utilizadores uma interface gráfica amigável para interagir com o "pipeline" proposto, tornando o processo de detecção mais acessível e eficiente.
Department: Departamento de Ciências e Tecnologias da Informação
Degree: Mestrado em Ciência de Dados
Peerreviewed: yes
Access type: Open Access
Appears in Collections:T&D-DM - Dissertações de mestrado

Files in This Item:
File Description SizeFormat 
master_rodrigo_fonseca_sarroeira.pdf5,98 MBAdobe PDFView/Open


FacebookTwitterDeliciousLinkedInDiggGoogle BookmarksMySpaceOrkut
Formato BibTex mendeley Endnote Logotipo do DeGóis Logotipo do Orcid 

This item is licensed under a Creative Commons License Creative Commons