TradingGym

TradingGym 是一个用于训练和回测强化学习算法的工具包。它受到 OpenAI Gym 的启发，并模仿了其框架结构。除了训练环境之外，还提供了回测功能，未来还将通过 Interactive Brokers API 等接口实现实时交易环境。

该训练环境最初是为分笔数据设计的，但也支持 OHLC 数据格式。目前仍在开发中。

安装

git clone https://github.com/Yvictor/TradingGym.git
cd TradingGym
python setup.py install

快速入门

import random
import numpy as np
import pandas as pd
import trading_env

df = pd.read_hdf('dataset/SGXTW.h5', 'STW')

env = trading_env.make(env_id='training_v1', obs_data_len=256, step_len=128,
                       df=df, fee=0.1, max_position=5, deal_col_name='Price', 
                       feature_names=['Price', 'Volume', 
                                      'Ask_price','Bid_price', 
                                      'Ask_deal_vol','Bid_deal_vol',
                                      'Bid/Ask_deal', 'Updown'])

env.reset()
env.render()

state, reward, done, info = env.step(random.randrange(3))

### 随机选择动作并显示交易详情
for i in range(500):
    print(i)
    state, reward, done, info = env.step(random.randrange(3))
    print(state, reward)
    env.render()
    if done:
        break
env.transaction_details

• obs_data_len: 观测数据长度
• step_len: 调用 step 时，滑动窗口会增加 step_len
• df 示例

index	datetime	bid	ask	price	volume	serial_number	dealin
0	2010-05-25 08:45:00	7188.0	7188.0	7188.0	527.0	0.0	0.0
1	2010-05-25 08:45:00	7188.0	7189.0	7189.0	1.0	1.0	1.0
2	2010-05-25 08:45:00	7188.0	7189.0	7188.0	1.0	2.0	-1.0
3	2010-05-25 08:45:00	7188.0	7189.0	7188.0	4.0	3.0	-1.0
4	2010-05-25 08:45:00	7188.0	7189.0	7188.0	2.0	4.0	-1.0

• df: 包含交易数据的 DataFrame

serial_number -> 每日重新计算的成交序号

• fee: 每笔交易需支付的手续费，根据您的产品设置。
• max_position: 您可持有的最大市场头寸数量。
• deal_col_name: 用于计算奖励的列名。
• feature_names: 用于交易状态的特征列列表。

训练

简单 DQN

• 开发中

策略梯度

• 开发中

策略-价值网络（Actor-Critic）

• 开发中

带 RNN 的 A3C

• 开发中

回测

• 加载与训练时相同的环境

env = trading_env.make(env_id='backtest_v1', obs_data_len=1024, step_len=512,
                       df=df, fee=0.1, max_position=5, deal_col_name='Price', 
                        feature_names=['Price', 'Volume', 
                                       'Ask_price','Bid_price', 
                                       'Ask_deal_vol','Bid_deal_vol',
                                       'Bid/Ask_deal', 'Updown'])

• 加载您自己的智能体

class YourAgent:
    def __init__(self):
        # 构建您的网络等
        pass
    def choice_action(self, state):
        ## 您的规则条件、最大Q值动作或策略梯度动作
         # action=0 -> 不做任何操作
         # action=1 -> 买入1股
         # action=2 -> 卖出1股
        ## 在这个测试案例中，我们只构建了一个简单的随机策略 
        return np.random.randint(3)

• 开始回测

agent = YourAgent()

transactions = []
while not env.backtest_done:
    state = env.backtest()
    done = False
    while not done:
        state, reward, done, info = env.step(agent.choice_action(state))
        #print(state, reward)
        #env.render()
        if done:
            transactions.append(info)
            break
transaction = pd.concate(transactions)
transaction

规则基础使用的示例

• 移动平均线交叉与反向交叉

env = trading_env.make(env_id='backtest_v1', obs_data_len=10, step_len=1,
                       df=df, fee=0.1, max_position=5, deal_col_name='Price', 
                       feature_names=['Price', 'MA'])
class MaAgent:
    def __init__(self):
        pass
        
    def choice_action(self, state):
        if state[-1][0] > state[-1][1] and state[-2][0] <= state[-2][1]:
            return 1
        elif state[-1][0] < state[-1][1] and state[-2][0] >= state[-2][1]:
            return 2
        else:
            return 0
# 然后同上

TradingGym 快速上手指南

TradingGym 是一个用于训练和回测强化学习交易算法的工具包。它受 OpenAI Gym 启发，不仅支持训练环境，还提供回测功能，并计划未来支持实时交易。该工具最初为 Tick 数据设计，同时也支持 OHLC（开高低收）数据格式。

环境准备

• 系统要求: Linux, macOS 或 Windows (需配置 Python 环境)
• 前置依赖:
  • Python 3.x
  • NumPy
  • Pandas
  • Git
• 数据格式: 需要准备包含交易数据的 DataFrame (支持 .h5 或其他 Pandas 可读格式)，列名需包含价格、成交量等特征。

安装步骤

通过 Git 克隆仓库并使用 setup.py 进行安装：

git clone https://github.com/Yvictor/TradingGym.git
cd TradingGym
python setup.py install

提示: 如果下载速度较慢，可尝试使用国内镜像加速 Git 克隆，或在安装依赖时使用清华/阿里 pip 源： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple (如有 requirements 文件)

基本使用

以下示例展示如何加载数据、初始化交易环境、执行随机动作并查看回测结果。

1. 初始化环境与单步测试

import random
import numpy as np
import pandas as pd
import trading_env

# 加载数据 (示例使用 HDF5 格式)
df = pd.read_hdf('dataset/SGXTW.h5', 'STW')

# 创建训练环境
env = trading_env.make(env_id='training_v1', obs_data_len=256, step_len=128,
                       df=df, fee=0.1, max_position=5, deal_col_name='Price', 
                       feature_names=['Price', 'Volume', 
                                      'Ask_price','Bid_price', 
                                      'Ask_deal_vol','Bid_deal_vol',
                                      'Bid/Ask_deal', 'Updown'])

# 重置环境并渲染
env.reset()
env.render()

# 执行一步随机动作 (0: 不动，1: 买入，2: 卖出)
state, reward, done, info = env.step(random.randrange(3))

关键参数说明：

• obs_data_len: 观察数据的长度（时间窗口）。
• step_len: 每次调用 step 时滚动窗口前进的步长。
• fee: 单次交易的手续费比例。
• max_position: 最大持仓数量。
• feature_names: 用于构建交易状态的特征列名列表。

2. 运行回测循环

模拟完整的回测过程并记录交易详情：

# 重置环境
env.reset()

# 模拟 500 步随机交易
for i in range(500):
    print(f"Step: {i}")
    # 随机选择动作
    state, reward, done, info = env.step(random.randrange(3))
    print(f"State: {state}, Reward: {reward}")
    
    # 可视化渲染 (可选)
    env.render()
    
    if done:
        break

# 查看详细的交易记录
print(env.transaction_details)

3. 自定义策略代理 (Agent)

你可以编写自己的策略类来替代随机动作，例如基于均线的简单规则：

class MaAgent:
    def __init__(self):
        pass
        
    def choice_action(self, state):
        # state 是一个二维数组，假设最后两列是价格和 MA
        # 金叉买入：当前价格 > MA 且 前一时刻价格 <= 前一时刻 MA
        if state[-1][0] > state[-1][1] and state[-2][0] <= state[-2][1]:
            return 1 # Buy
        # 死叉卖出：当前价格 < MA 且 前一时刻价格 >= 前一时刻 MA
        elif state[-1][0] < state[-1][1] and state[-2][0] >= state[-2][1]:
            return 2 # Sell
        else:
            return 0 # Hold

# 使用自定义 Agent 进行回测
agent = MaAgent()
transactions = []

# 注意：实际回测流程可能需要根据具体版本调整循环逻辑
# 以下为概念示例
while not env.backtest_done: 
    state = env.backtest() # 获取初始状态
    done = False
    while not done:
        action = agent.choice_action(state)
        state, reward, done, info = env.step(action)
        if done:
            transactions.append(info)
            break

transaction_df = pd.concat(transactions)
print(transaction_df)