Toward hybrid network security: Machine learning-based anomaly detection with AI chatbot-assisted mitigation support

Abstract

As network infrastructures face an increasing number of cyber attacks, intelligent anomaly detection and rapid mitigation are essential to ensure network security. This dissertation proposes a hybrid system for network intrusion detection and response that combines MLbased anomaly detection with an AI-powered chatbot for interactive mitigation guidance. Several ML models were evaluated using the TON_IoT dataset, which provides network traffic labeled as benign or malicious [1], [2]. The best-performing model was integrated into a real-time monitoring platform that captures traffic (Zeek) and classifies patterns as normal or anomalous. A web UI displays detection results and network statistics, while the chatbot enables natural language interaction, explaining alerts and suggesting mitigation actions. During model selection, several algorithms, including RF, GB, LR, and KNN, were tested and compared. The RF model achieved the best balance between detection accuracy, interpretability, and computational efficiency, and was therefore adopted in the final system. By integrating this model with an AI-driven chatbot, the proposed solution addresses key operational challenges in SOCs, such as alert overload, limited interpretability, and the gap between detection and response.

À medida que as infraestruturas de rede enfrentam um número crescente de ciberataques, a deteção inteligente de anomalias e a mitigação rápida tornam-se essenciais para garantir a segurança das redes. Esta dissertação propõe um sistema híbrido de deteção e resposta a intrusões que combina a deteção de anomalias baseada em "Machine Learning" (ML) com um "chatbot" de "Artificial Intelligence" (AI), para fornecer orientações interativas de mitigação. Diversos modelos de ML foram avaliados utilizando o conjunto de dados "TON_Internet of Things" (IoT), que disponibiliza tráfego de rede rotulado como benigno ou maligno [1], [2]. O modelo com melhor desempenho foi integrado numa plataforma de monitorização que captura tráfego (Zeek) e classifica os padrões como normais ou anómalos. Uma "interface web" (User Interface (UI)) apresenta os resultados da deteção e estatísticas da rede, enquanto o chatbot permite a interação em linguagem natural, explicando alertas e sugerindo ações de mitigação. Durante a seleção do modelo, foram testados e comparados vários algoritmos, incluindo "Random Forest" (RF), Gradient Boosting (GB), "Logistic Regression" (LR) e "k-Nearest Neighbors" (KNN). O modelo RF alcançou o melhor equilíbrio entre precisão de deteção, interpretabilidade e eficiência computacional, sendo, por isso, adotado no sistema final. Ao integrar este modelo com um "AI-driven chatbot", a solução proposta aborda desafios operacionais críticos nos "Security Operations Centers" (SOCs), como a sobrecarga de alertas, a interpretabilidade limitada e a lacuna entre deteção e resposta.