Security vulnerabilities of GenAI in secure software development

Abstract

Generative Artificial Intelligence (GenAI) is increasingly integrated into software development, bringing improvements in automation and productivity to enterprises, but it also raises concerns about the security of automatically generated code. This thesis presents an evaluation of the security of code generated by three open-source large language models (LLMs): DeepSeek R1, Codestral and LLaMA 3.3 70B. The evaluation covers three programming languages: C, Python, and Java. To conduct the assessment, static analysis tools (Cppcheck, Clang-Tidy, Bandit, and SpotBugs) were employed to detect vulnerabilities, which were then categorized by severity and mapped to the Common Weakness Enumeration (CWE) taxonomy. The results show that all models generated code with security problems, with C-coded results being the most vulnerable due to the inherent risks of memory insecure languages. Among the most common problems were operating system command injection (CWE-78), buffer overflow (CWE-120), incorrect input validation (CWE-20), and memory limit violation (CWE-119). The study also shows that the formulation of the instruction has a significant impact on both the functional correctness and the security of the generated code. This paper offers a reproducible tool-independent evaluation methodology for evaluating GenAI-generated code and provides practical recommendations for incorporating prompt engineering, automated vulnerability scanning, and human review into development processes. The results are useful for both academia and industry because they show how to use GenAI safely in secure software development.

A Inteligência Artificial Generativa (GenAI) está cada vez mais presente no desenvolvimento de software, trazendo ganhos significativos em automação e produtividade, mas também levantando preocupações sobre a segurança do código gerado automaticamente. Esta dissertação avalia de forma sistemática a segurança do código produzido por três modelos de linguagem de grande dimensão (LLMs) de código aberto: DeepSeek R1, Codestral e LLaMA 3.3 70B, em três linguagens de programação: C, Python e Java. Foram utilizadas ferramentas de análise estática (Cppcheck, Clang-Tidy, Bandit e SpotBugs) para detetar vulnerabilidades, categorizadas por severidade e mapeadas para a taxonomia Common Weakness Enumeration (CWE). Os resultados revelam que todos os modelos geraram código com falhas de segurança, sendo o C o mais vulnerável devido à ausência de segurança de memória. Entre as principais vulnerabilidades identificadas destacam-se a injeção de comandos do sistema operativo (CWE-78), o buffer overflow (CWE-120), a validação incorreta de entradas (CWE-20) e a violação de limites de memória (CWE-119). O estudo demonstra que a formulação das instruções influencia fortemente a correção funcional e a segurança do código. Propõe ainda uma metodologia reprodutível e independente de ferramentas, integrando técnicas de prompt engineering, varrimento automático e revisão humana. Os resultados contribuem para o uso seguro da GenAI tanto na academia como na indústria.