Explaining the S&P 500: How does certain commodities affect the index

Abstract

In recent years, the proliferation of Artificial Intelligence (A.I.) has revolutionized decision-making processes across various domains. Deep Learning algorithms, particularly LSTM and XGBoost models, have emerged as powerful tools for accurate predictions in complex contexts, such as financial markets. However, the inherent challenge of interpreting these models has led to a tradeoff between accuracy and transparency. The need for Explainable Artificial Intelligence (XAI) becomes paramount in critical domains like finance, where understanding the model's reasoning is crucial for informed decision-making. Our study comprises two fundamental phases: model development and explanation. The initial phase focuses on crafting LSTM and XGBoost models, fine-tuning their hyperparameters, and optimizing their predictive performance for S&P 500 index forecasting. Rigorous evaluation metrics, encompassing MAE, MSE, MAPE and RMSE, guide our pursuit of accurate predictions. Dow Jones emerges as one of the most influential variables in forecasting S&P 500 along with Bitcoin, which, interestingly, wields a consistently negative impact in both models, penalizing both performance with its effects and unveiling its unique role. Our findings inform decision-making in finance, advocating for transparency and advancing predictive models and interpretability.

Nos últimos anos, a proliferação da Inteligência Artificial (IA) revolucionou os processos de tomada de decisão em vários domínios. Algoritmos de Aprendizagem Profunda, particularmente modelos LSTM e XGBoost, emergiram como ferramentas poderosas para previsões precisas em contextos complexos, como os mercados financeiros. No entanto, o desafio inerente de interpretar esses modelos levou a um equilíbrio entre precisão e transparência. A necessidade de Inteligência Artificial Explicável (XAI) torna-se fundamental em domínios críticos, como finanças, onde entender o raciocínio do modelo é crucial para a tomada de decisões informadas. Nosso estudo compreende duas fases fundamentais: desenvolvimento do modelo e explicação. A fase inicial concentra-se na criação de modelos LSTM e XGBoost, ajuste de seus hiperparâmetros e otimização do desempenho preditivo para a previsão do índice S&P 500. Métricas rigorosas de avaliação, incluindo MAE, MSE, MAPE e RMSE, orientam nossa busca por previsões precisas. O índice Dow Jones emerge como uma das variáveis mais influentes na previsão do S&P 500, juntamente com o Bitcoin, que, interessantemente, exerce um impacto consistentemente negativo em ambos os modelos, penalizando o desempenho com seus efeitos e revelando seu papel único. Nossas descobertas informam a tomada de decisões financeiras, advogando pela transparência e promovendo modelos preditivos e interpretabilidade avançados.