Backtesting expected shortfall: Historical simulation based analysis of a US diversified portfolio

Abstract

The transition from Value-at-Risk to Expected Shortfall, under the Basel Committee’s Fundamental Review of the Trading Book, sparked significant debate regarding the backtestability of the newly adopted measure. In response, this dissertation assesses both measures comparatively, backtesting the former through the Traffic Light and the Kupiec tests and the latter through the Pearson and Nass tests. Expected Shortfall is often computed using Historical Simulation, a user-friendly non-parametric approach that, however, strongly depends on the sample size. To assess its accuracy, two models based on this framework are examined: the standard Historical Simulation method and an age-weighted method, called Weighed Historical Simulation. Moreover, this thesis provides a deeper analysis on methodological performance during financial stress periods, particularly the one lived in the United States of America during the first semester of 2025, due to the tariffs applied by President Donald Trump. Accordingly, a diversified portfolio composed of equities from the American financial market is used. The results show that, even though both models face significant challenges during periods of financial instability such as the one mentioned previously, the Weighted Historical Simulation outperforms the standard approach. This study concludes that, among the tested methodologies, the Nass test with 8 levels is the most coherent backtest for Expected Shortfall, balancing statistical accuracy with prudentiality, therefore providing evidence supporting the backtestability of this measure and highlighting the importance of backtesting it directly.

A transiçãoo de Value-at-Risk para Expected Shortfall, conforme estabelecido pelo Comité da Basileia, no Fundamental Review of the Trading Book, gerou um debate significativo relativamente à possibilidade de fazer backtesting à medida recém adotada. Como tal, esta dissertaçãoo avalia ambas as métricas comparativamente, testando a primeira através do Traffic Light Test e do teste de Kupiec, e a segunda atravéss dos testes de Pearson e de Nass. A Expected Shortfall é calculada frequentemente através de Simulação Histórica, uma abordagem não paramétrica simples que, contudo, depende fortemente do tamanho da amostra. Para avaliar a sua precisão, são aplicados dois modelos baseados nessa estrutura: a Simulação Histórica padrão e um método ponderado através da idade de cada observação, denominado Simulação Histórica Ponderada. Ademais, esta tese fornece uma an´alise aprofundada do desempenho metodológico durante períodos de stresse financeiro, particularmente o vivido nos Estados Unidos da América durante o primeiro semestre de 2025, devidoàs tarifas aplicadas pelo Presidente Donald Trump. Para esse propósito, utiliza-se uma carteira diversificada composta por ações do mercado financeiro americano. Os resultados mostram que, embora ambos enfrentem desafios em períodos de instabilidade financeira como o supramencionado, a Simulação Histórica Ponderada supera a abordagem padrão. Este estudo conclui que, entre as metodologias testadas, o teste de Nass com 8 níveis é o mais coerente para a Expected Shortfall, equilibrando a precisão estatística com a prudência, fornecendo evidências que validam a possibilidade de fazer backtesting a essa medida e destacam a importância de testá-la diretamente.