DevSecOps metrics: Learning from academics and professionals

Abstract

DevSecOps is an emerging paradigm that breaks the Security team silo into the DevOps team, adding security practices to the Software Development Lifecycle (SDL) from inception. Security practices, in SDL, are important to avoid data breaches, guarantee compliance with the law and for organizations, it is an obligation to protect customer data. This study aims to identify metrics teams can use to measure the effectiveness of DevSecOps implementation inside organizations. To that end, this study was conducted using a Design Science Research (DSR) as its research methodology, with the intent of producing an artefact containing the most relevant DevSecOps metrics. A total of nine DevSecOps metrics purposed by professionals and academics were identified and listed on the artefact produced by this study. Interviews were conducted with DevSecOps professionals as a method of evaluating if the identified metrics were useful. Through the interviews, it was possible to identify the metrics that are being used by professionals and which are the most useful. Interviewees purposed three additional metrics. This study identifies a total of twelve metrics that can be used to measure effectiveness in DevSecOps.

Ao longo dos anos, várias são as abordagens que tem sido adotadas como processo de desenvolvimento de Software, tais como o modelo em Cascata e o desenvolvimento Ágil, mais recentemente o termo DevOps foi introduzido, refere-se a uma abordagem que junta elementos da equipa de desenvolvimento e operações na mesma equipa, de modo a que exista uma coloboração mais próxima e partilha de conhecimento entre estes elementos, com o intuito de se atingir entregas do Software em desenvolvimento com tempos menores, com mais frequência e qualidade. DevSecOps é uma abordagem ao processo de desenvolvimento de Software emergente que junta elementos da equipa de segurança à equipa de DevOps, trazendo práticas de segurança para o ciclo de desenvolvimento de Software. As práticas de segurança são cada vez mais importantes no ciclo de desenvolvimento de software pois visam a evitar violações de dados e verificar o cumprimento da lei. Mais, ganharam extrema importância para as organizações visto que as mesmas têm por obrigação a proteção de dados dos seus clientes. Este estudo pretende identificar métricas, que podem ser utilizadas pelas equipas de modo a medir a eficiência da implementação de DevSecOps nas suas organizações. Para identificar essas métricas, este estudo foi realizado usando como metodologia de investigação uma Ciência de Design, esta metodologia caracteriza-se por ser uma pesquisa orientada a resultados, tendo sido escolhida, com o objetivo de produzir um artefacto, contendo, as métricas para DevSecOps mais relevantes. Foi possível identificar 9 métricas para DevSecOps, sugeridas por profissionais e académicos da área estando estas listadas no artefacto produzido por este estudo. Mais, foram conduzidas entrevistas com os profissionais de DevSecOps com o intuito de avaliar a utilidade das métricas. Com a ajuda das entrevistas, foi possível identificar as métricas utilizadas pelos profissionais e determinar as mais úteis e relevantes. Os entrevistados sugeriram 3 métricas adicionais perfazendo assim 12 métricas incluídas neste documento.