Vision-based reinforcement learning: The role of transfer learning and action space design in symmetric reward financial markets

Abstract

This dissertation investigates whether a vision-driven reinforcement learning (RL) system can trade a non-drift market profitably. The proposed pipeline converts EUR/USD price windows into chart images, extracts features with a convolutional neural network (CNN), and feeds them to a soft actor-critic agent that outputs portfolio allocations in a continuous action space. The RL model is trained on roughly 20 years of data. We compare different variations of the proposed system: pre-training the CNN, freezing the feature extractor during RL training and class-balancing the RL training set. Results demonstrate that transfer learning aids RL convergence. Most agents learn positive expected value policies during training. The frozen encoder variant performs poorly in testing, while the class-balanced agent ended the test period with a 4% gain, showing the system’s potential. However, this agent demonstrates limited upside from its continuous action space, with larger negative bets performing better in the returns’ distribution tails, but not extending this pattern to large positive bets. This work contributes to the literature by demonstrating how visual representation, continuous actions spaces and transfer learning impact RL-based trading systems performance in symmetric reward environments.

Esta dissertação investiga se um sistema de reinforcement learning (RL) baseado em informação visual pode negociar de forma lucrativa num mercado sem drift. A pipeline proposta converte janelas de preços EUR/USD em gráficos, extrai variáveis com uma convolutional neural network (CNN) e fornece-as a um agente soft actor-critic que gera alocações de portefólio num espaço de ações contínuo. O modelo de RL é treinado com cerca de 20 anos de dados. Comparam-se diferentes variações do sistema proposto: pré-treino da CNN, congelamento do extrator de variáveis durante o treino do RL e equilíbrio de classes no conjunto de treino do RL. Os resultados demonstram que o transfer learning facilita a convergência do RL. A maioria dos agentes aprende políticas com valor esperado positivo durante o treino. A variante com o extrator de variáveis congelado apresenta fraco desempenho em teste, enquanto o agente com equilíbrio de classes terminou o período de teste com um ganho de 4%, evidenciando o potencial deste sistema. Contudo, este agente revela limitações no aproveitamento do espaço de ações contínuo, com alocações negativas de maior dimensão a apresentarem melhor desempenho nas caudas da distribuição dos retornos, mas sem estender este padrão a alocações positivas de maior dimensão. Este trabalho contribui para a literatura ao demonstrar como a representação visual, os espaços de ações contínuos e o transfer learning influenciam o desempenho de sistemas de negociação baseados em RL em ambientes de recompensas simétricas.