深入探索 gym-anytrading：最简单、灵活且全面的 OpenAI Gym 交易环境

Ray

引言

在金融交易领域,强化学习(Reinforcement Learning, RL)算法展现出巨大潜力。然而,开发和测试这类算法需要合适的模拟环境。gym-anytrading 应运而生,它是一个基于 OpenAI Gym 的交易环境集合,旨在为 RL 交易算法的开发提供简单、灵活且全面的支持。本文将深入探讨 gym-anytrading 的特性、使用方法及其在算法开发中的应用。

gym-anytrading 概述

gym-anytrading 是一个专为交易算法设计的 OpenAI Gym 环境集合。它主要支持两种市场:外汇(FOREX)和股票(Stock)。通过实现三个核心环境 - TradingEnv、ForexEnv 和 StocksEnv,gym-anytrading 为开发者提供了一个灵活的框架来测试和改进基于 RL 的交易算法。

主要特性

简单性：环境设计简洁,易于理解和使用。
灵活性：支持自定义数据处理、奖励计算等核心功能。
全面性：涵盖外汇和股票两大市场,满足不同交易需求。

环境设计理念

gym-anytrading 的设计理念revolves围绕简化复杂的交易过程,使 RL 代理能够更快速、高效地学习。

交易动作

传统交易算法通常涉及多种动作,如买入、卖出、持有等。然而,gym-anytrading 简化为两个基本动作:

卖出 (Sell) = 0
买入 (Buy) = 1

这种简化不仅加快了学习速度,还避免了类似"持有"这样在实际训练中很少使用的动作。

交易仓位

同样,交易仓位也被简化为两种:

空仓 (Short) = 0
多仓 (Long) = 1

这种设计使得环境更加清晰,同时保留了交易的本质。

核心环境介绍

TradingEnv

TradingEnv 是一个抽象类,继承自 gym.Env。它为所有类型的交易市场提供了一个通用环境。主要属性和方法包括:

df: 包含数据集的 pandas DataFrame。
prices: 实际价格序列。
signal_features: 提取的特征序列。
window_size: 作为观察返回的时间步数。
action_space: 动作空间,包含 0(卖出)和 1(买入)。
observation_space: 观察空间,基于 signal_features 和 window_size。

TradingEnv 还定义了一些抽象方法,如 _process_data、_calculate_reward 等,允许子类根据具体市场特性进行实现。

ForexEnv

ForexEnv 是 TradingEnv 的具体实现,专门针对外汇市场。它增加了一些特定属性:

frame_bound: 指定数据集的起始和结束位置。
unit_side: 指定交易起始的货币单位(左侧或右侧)。
trade_fee: 每次交易的固定手续费。

StocksEnv

StocksEnv 同样继承自 TradingEnv,但针对股票市场进行了优化。它的特殊属性包括:

frame_bound: 与 ForexEnv 类似,指定数据范围。
trade_fee_bid_percent: 卖出股票时的手续费百分比。
trade_fee_ask_percent: 买入股票时的手续费百分比。

使用 gym-anytrading

安装

gym-anytrading 可以通过 pip 安装:

pip install gym-anytrading

或者从 GitHub 仓库安装:

git clone https://github.com/AminHP/gym-anytrading
cd gym-anytrading
pip install -e .

创建环境

创建一个基本环境:

import gymnasium as gym
import gym_anytrading

env = gym.make('forex-v0')
# 或者
# env = gym.make('stocks-v0')

创建自定义环境:

from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK

custom_env = gym.make(
    'forex-v0',
    df=FOREX_EURUSD_1H_ASK,
    window_size=10,
    frame_bound=(10, 300),
    unit_side='right'
)

环境交互

以下是一个完整的交互示例:

import numpy as np
import matplotlib.pyplot as plt
import gymnasium as gym
import gym_anytrading
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions 
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK

env = gym.make('forex-v0', frame_bound=(50, 100), window_size=10)

observation = env.reset(seed=2023)
while True:
    action = env.action_space.sample()
    observation, reward, terminated, truncated, info = env.step(action)
    done = terminated or truncated
    if done:
        print("info:", info)
        break

plt.figure(figsize=(10, 6))
env.unwrapped.render_all()
plt.show()

这个示例创建了一个外汇交易环境,随机执行动作,并在结束时渲染整个交易过程。

Forex Trading Environment

扩展和自定义

gym-anytrading 的设计允许用户根据需求进行扩展和自定义。例如,可以自定义数据处理方法:

def my_process_data(env):
    start = env.frame_bound[0] - env.window_size
    end = env.frame_bound[1]
    prices = env.df.loc[:, 'Low'].to_numpy()[start:end]
    signal_features = env.df.loc[:, ['Close', 'Open', 'High', 'Low']].to_numpy()[start:end]
    return prices, signal_features

class MyForexEnv(ForexEnv):
    _process_data = my_process_data

env = MyForexEnv(df=FOREX_EURUSD_1H_ASK, window_size=12, frame_bound=(12, len(FOREX_EURUSD_1H_ASK)))