Chatbot based on LLMs for support and development teams

Abstract

This study explores the integration of Large Language Models (LLMs) with Rtrieval- Augmented Generation (RAGe) to develop and implement a chatbot that internally supports ISCTE’s technical team in responding to questions raised on the Ciência_ISCTE platform. The goal is to reduce the need for escalation to specialists, optimize team efficiency, and provide users with faster and more autonomous support. The work addresses three central issues related to enriching the Knowledge Base (KB), implementing RAG techniques, and assessing the usefulness and effectiveness of the chatbot for the team. Following a modular framework, several strategies for structuring data and embeddings were tested, demonstrating that the performance of the retrieval process strongly depends on how the information is stored. In terms of RAG development, methods such as similarity search, input expansion, Hypothetical Document Embeddings (HyDE), and reranking were compared. Although standard similarity search already showed robust results, the integration of memory and feedback loops further improved accuracy and enabled continuous knowledge updates over time. Among the challenges identified are the variability of user language, the generation of context-dependent answers, and the influence of errors in the KB on the quality of responses. Overall, this study contributes practical strategies for structuring KBs, iteratively integrating feedback, and supporting organizational adoption of LLM-based systems. It also demonstrates the potential of RAG-powered chatbots to provide scalable, context-sensitive internal support, highlighting broader implications for effectiveness, onboarding, and knowledge sharing.

Este estudo explora a integração de Large Language Models (LLMs) com Retrieval- Augmented Generation (RAG) para desenvolver um chatbot de apoio interno à equipa técnica do ISCTE na resposta a questões sobre a plataforma Ciência_ISCTE. O objetivo é reduzir a necessidade de escalonamento para especialistas, otimizar a eficiência da equipa e proporcionar aos utilizadores apoio rápido e autónomo. O trabalho aborda três questões centrais: enriquecimento da Knowledge Base (KB), a implementação de técnicas RAG e avaliação da utilidade e eficácia do chatbot. Seguindo uma framework modular, foram testadas várias estratégias de estruturação de dados e embeddings, demonstrando que o desempenho do processo de retrieval depende da forma como a informação é armazenada. No desenvolvimento do RAG, comparam-se métodos como similarity search, expansão de inputs, Hypothetical Document Embeddings (HyDE) e reranking. Embora a similarity search standard já demonstrasse resultados robustos, a integração de memória e ciclos de feedback aumentou a precisão e permitiu a atualização contínua do conhecimento. Dos desafios identificados destacam-se a variabilidade da linguagem dos utilizadores, a geração de respostas dependentes do contexto e a influência de erros na KB na qualidade das respostas. Em síntese, este estudo contribui com estratégias práticas para a estruturação de KBs, integração iterativa de feedback e adoção organizacional de sistemas de suporte baseados em LLMs. Demonstra ainda o potencial dos chatbots com RAG para fornecer apoio interno escalável e sensível ao contexto, salientando implicações para a eficácia, o onboarding e partilha de conhecimento.