Study of implied volatility surface with machine learning techniques

Abstract

Modelling the implied volatility surface (IVS) is fundamental for option pricing and for understanding the structure of volatility in financial markets. This work analyzed different approaches to IVS modelling, from classical models to machine learning techniques, including hybrid models that combine both paradigms. Daily data on SPX options provided by the CBOE were used, covering the period from 2009 to 2019. The main explanatory variables were log-moneyness and time to maturity, complemented, in the machine learning models, by the risk-free rate and a binary option-type indicator, to assess the additional contribution of these variables. All models followed the same training, tuning, and test process, ensuring comparability. Performance was evaluated using error metrics, such as R² and RMSE, complemented by residual analyses. The classical models — linear regression (OLS) and a fifth-degree polynomial model — highlighted the nonlinear nature of the IVS, whereas the cubic B-spline model achieved significant gains, though some residual structure remained unexplained. The machine learning techniques (Random Forest and XGBoost) showed substantial improvements in the metrics and almost eliminated residual structure, demonstrating a superior ability to adapt to complex patterns. The hybrid models, which apply machine learning to the spline model residuals, achieved results equivalent to or slightly better than those of the standalone machine learning models while preserving an interpretable foundation. This outcome confirms that integrating classical and machine learning models provides an effective balance between structure and flexibility, offering a robust framework for IVS modelling.

A modelização da superfície de volatilidade implícita (IVS) é fundamental para a precificação de opções e para compreender a estrutura da volatilidade nos mercados financeiros. Este trabalho analisou diferentes abordagens para a modelização da IVS, desde modelos clássicos até técnicas de Machine Learning, incluindo modelos híbridos que combinam ambos os paradigmas. Foram utilizados dados diários de opções SPX disponibilizados pela CBOE, abrangendo o período de 2009 a 2019. As variáveis explicativas principais foram o logmoneyness e o tempo até à maturidade, complementadas, nos modelos de Machine Learning, pela taxa de juro livre de risco e por um indicador binário de tipo de opção, de forma a avaliar o contributo dessas variáveis adicionais. Todos os modelos seguiram o mesmo processo de treino, afinação e teste, garantindo comparabilidade. O desempenho foi avaliado através de métricas de erro como o R² e o RMSE, complementadas por análises de resíduos. Os modelos clássicos, nomeadamente a regressão linear (OLS) e o modelo polinomial de quinto grau, evidenciaram a natureza não linear da IVS, enquanto o modelo de Splines B-Cúbicos trouxe ganhos significativos de flexibilidade, ainda que mantendo alguma estrutura residual por explicar. As técnicas de Machine Learning (Random Forest e XGBoost) apresentaram melhorias substanciais nas métricas e eliminaram praticamente toda a estrutura dos resíduos, demonstrando uma capacidade superior de adaptação a padrões complexos. Por sua vez, os modelos híbridos, baseados na aplicação de Machine Learning sobre os resíduos do modelo de Splines, alcançaram resultados equivalentes ou ligeiramente superiores, preservando uma base interpretável. Este resultado confirma que a integração entre modelos clássicos e Machine Learning oferece um equilíbrio eficaz entre estrutura e flexibilidade, constituindo um quadro robusto para a modelização da IVS.