Artificial Intelligence applied to real-time translation in the context of user consultation/assistance

Abstract

Immigration has intensified language barriers in Portugal's public hospitals, where consultations are primarily conducted in Portuguese and many patients cannot yet communicate effectively in Portuguese or English. This thesis proposes an AI-driven, real-time speech-to-speech translation system for clinical consultations, integrating Automatic Speech Recognition, Machine Translation, Natural Language Processing, and Text-to-Speech to deliver context-sensitive translations during encounters. PRISMA guided the literature review and DSRM the artifact development, the work addresses the gap in solutions tailored to the complexity and safety demands of clinical communication. The implemented artifact employs an indirect, language-based heuristic for speaker role identification, inferring Portuguese utterances as clinician speech and non‑Portuguese as patient speech to route translation without biometric or acoustic methods. Evaluation used Word Error Rate, translation accuracy, and end-to-end speech-to-speech latency; results show over 90% translation accuracy across nine languages, and a Word Error Rate below 7% across nine languages (English, Ukrainian, Spanish, French, German, Mandarin, Italian, Dutch, Bengali) with an average latency of 3.57 seconds of 100 words from input to audible output. Translation requests are processed via an OpenAI service hosted on Microsoft Azure in Sweden to align with EU data residency. The artifact provides a foundation for scalable application in Portugal's public hospitals and future research toward robust, safe, and patient‑centered multilingual care.

A imigração intensificou as barreiras linguísticas nos hospitais públicos de Portugal, onde as consultas são realizadas principalmente em português e muitos pacientes ainda não conseguem comunicar-se eficazmente em português ou inglês. Esta tese propõe um sistema de tradução em tempo real, baseado em Inteligência Artificial, para consultas clínicas, integrando reconhecimento automático de fala, tradução automática, processamento de linguagem natural e conversão de texto em fala. PRISMA guiou a revisão da literatura e a DSRM o desenvolvimento do artefacto, o trabalho aborda a lacuna em soluções adaptadas à complexidade e às exigências de segurança da comunicação clínica. O artefacto implementado emprega uma heurística indireta para a identificação do locutor, inferindo as expressões em português como discurso clínico e as expressões noutras línguas como discurso do paciente, para encaminhar a tradução sem métodos biométricos ou acústicos. A avaliação utilizou a taxa de erro de palavras, a precisão da tradução e a latência de ponta a ponta; os resultados mostram mais de 90% de precisão na tradução em nove idiomas e uma taxa de erro de palavras abaixo de 7% (inglês, ucraniano, espanhol, francês, alemão, mandarim, italiano, holandês, bengali) com uma latência média de 3,57 segundos para 100 palavras, desde a entrada até à saída sonora. A tradução é processada através dum serviço da OpenAI hospedado no Azure na Suécia, em conformidade com a residência de dados da UE. O artefacto fornece uma base para uma aplicação escalável nos hospitais públicos de Portugal e para futuras pesquisas.