Enhancing financial trading strategies: A study of convolutional neural networks with feature selection and other machine learning techniques

Abstract

This Dissertation’s focus is using Convolutional Neural Networks (CNNs) for stock market prediction, emphasizing the types of variables used as model inputs, the impact of replicating specific market conditions on model performance, and an extensive feature selection process. To structure the study, the CRISP-DM methodology was employed, providing a systematic framework that guided the progression from business understanding to data understanding, preparation, modelling, and evaluation. To begin this Dissertation, a comprehensive literature review was conducted to establish the current state of the art. Following the literature review, the study involved analysing variables commonly used in stock market predictions, including technical, macroeconomic, and fundamental indicators, as well as investigating trading strategies and news sentiment. A critical section of the research was the feature selection process, which employed various methods spanning filter, wrapper, and embedded approaches. A cross-selection analysis was conducted across these methods to identify the most representative variables, ensuring a robust and optimized input feature set. Following this, three distinct datasets were established, featuring different target features and independent variables derived from the various trading strategies. To further enhance model interpretability and performance, time-series data were transformed into images using three different methods: Gramian Angular Fields (GAF), Recurrence Plots (RP), and Markov Transition Fields (MTF). A baseline Long Short-Term Memory Network (LSTM) and CNN architectures were tested and optimized on the various datasets. Results demonstrated the superiority of the CNN model utilizing GAF images, achieving significant accuracy improvements of 7-10% over the LSTM baseline, particularly in stock price direction and MACD crossover strategies. In addition, the use of synthetic data proved valuable, displaying high fidelity and contributing to enhanced model performance.

O foco principal deste estudo é o uso de Redes Neuronais Convolucionais (CNNs) para previsão do mercado de ações, com ênfase nos tipos de variáveis usadas como inputs do modelo, no impacto da replicação de condições específicas de mercado no desempenho do modelo e num extenso processo de feature selection. Para estruturar o estudo, foi utilizada a metodologia CRISP-DM, que forneceu uma framework que orientou a tese desde o business understanding a data understanding, preparation, modelling, and evaluation. Para iniciar este estudo, foi efetuada uma revisão exaustiva da literatura para estabelecer o estado atual da arte. Após a revisão da literatura, o estudo envolveu a análise das variáveis habitualmente utilizadas nas previsões do mercado ações, incluindo indicadores técnicos, macroeconómicos e fundamentais, bem como a investigação das estratégias de trading e do sentimento das notícias em relação ao mercado de ações. Uma secção crítica da investigação foi o processo de feature selection, que utilizou vários métodos diferentes, abrangendo abordagens de filter, de wrapper e embedded. Foi realizada uma análise de cross-selection entre estes métodos de forma a identificar as variáveis mais representativas, garantindo um dataset robusto e optimizado. Em seguida, foram estabelecidos três datasets distintos, com diferentes variáveis target e variáveis independentes derivadas das várias estratégias de trading. Para melhorar ainda mais a interpretabilidade e o desempenho do modelo, os dados de séries temporais foram transformados em imagens usando três métodos diferentes: Gramian Angular Fields (GAF), Recurrence Plots (RP), e Markov Transition Fields (MTF). O modelo Long Short-Term Memory Network (LSTM) de base e o modelo CNN foram testados e optimizados nos vários datasets. Os resultados demonstraram a superioridade do modelo CNN utilizando imagens GAF, alcançando melhorias significativas de accuracy de 7-10% em relação à linha de base LSTM, particularmente nas estratégias de stock price direction e MACD Crossover. Além disso, a utilização de dados sintéticos revelou-se valiosa, apresentando uma elevada fidelidade e desempenho.