gym-anytrading

AnyTrading 是一个基于 OpenAI Gym 的环境集合，专为强化学习驱动的交易算法设计。

交易算法主要应用于两个市场：外汇市场 和 股票市场。AnyTrading 的目标是提供一些 Gym 环境，以改进和简化在这一领域开发与测试基于强化学习的算法的过程。为此，我们实现了三个 Gym 环境：TradingEnv、ForexEnv 和 StocksEnv。

TradingEnv 是一个抽象环境，旨在支持各类交易场景。ForexEnv 和 StocksEnv 则分别继承并扩展了 TradingEnv。在后续章节中，我们将对这些环境进行更详细的说明，但在那之前，先讨论一下它们的一些特性。

注意： 对于专家用户，建议查看 gym-mtsim 项目。

安装

通过 PIP

pip install gym-anytrading

从仓库安装

git clone https://github.com/AminHP/gym-anytrading
cd gym-anytrading
pip install -e .

## 或者

pip install --upgrade --no-deps --force-reinstall https://github.com/AminHP/gym-anytrading/archive/master.zip

环境特性

首先，你不能简单地指望一个强化学习智能体在如此复杂的交易市场中为你完成所有操作，然后自己就坐享其成！ 为了使智能体能够更快、更高效地学习，必须尽可能地简化问题。在所有交易算法中，首要任务就是定义 动作 和 仓位。在接下来的两个小节中，我将详细解释这些动作和仓位，并说明如何对其进行简化。

交易动作

如果你在网上搜索交易算法，会发现它们通常使用多种动作，例如 买入、卖出、持有、入场、出场 等。

正如本节开头所述，典型的强化学习智能体只能解决该领域中的一部分问题。如果你从事交易工作，就会明白，决定是否持有、入场或出场（在外汇市场中针对货币对，在股票市场中针对个股）是一个依赖于诸多参数的统计决策，比如你的资金预算、交易的货币对或股票、你在多个市场的资金分配策略等。让强化学习智能体考虑所有这些因素是一项极其繁重的任务，可能需要数年时间才能开发出这样的智能体！在这种情况下，你很可能不会直接使用这个环境，而是会基于它扩展出自己的环境。

经过数月的研究，我最终得出结论：这些复杂多样的动作并不会带来实际的积极效果，反而会使学习过程变得更加冗长。事实上，像 持有 这样的动作几乎不会被训练有素的智能体采用，因为它会尽量避免错过任何潜在的收益。因此，没有必要设置如此多的动作，仅使用 Sell=0 和 Buy=1 两种动作就足以有效地训练智能体。

交易仓位

如果你不熟悉交易仓位的概念，可以参考 这里。这是一个非常重要的概念，你应该尽快掌握。

简单来说：做多 仓位是指在价格较低时买入股票，并在其价格上涨时获利；而 做空 仓位则是指在价格较高时卖出股票，再用所得资金以更低的价格买入股票，从而赚取差价。

同样地，在一些交易算法中，可能会出现多种仓位，如 做空、做多、平仓 等。正如前面所讨论的，我只使用 Short=0 和 Long=1 两种仓位。

交易环境

正如前面提到的，现在是介绍这三个环境的时候了。在创建这个项目之前，我花了大量时间寻找一个简单且灵活的 Gym 环境，适用于任何交易市场，但始终未能找到合适的方案。现有的许多环境要么代码过于复杂，要么包含大量难以理解的参数，让人难以快速了解其运作机制。因此，我决定专注于简洁性、灵活性和全面性来实现这个项目。

在接下来的三个小节中，我将逐一介绍我们的交易环境；而在下一节中，我们将展示并简要说明一些 IPython 示例。

TradingEnv

TradingEnv 是一个抽象类，继承自 gym.Env。该类旨在为各类交易市场提供一个通用环境。下面我将介绍其公开属性和方法。当然，你也可以直接查看完整的 源代码。

• 属性：

df：即 DataFrame 的缩写。这是一个 pandas 的 DataFrame，包含了你的数据集，并在类的构造函数中传入。

prices：随时间变化的真实价格，用于计算收益并渲染环境。

signal_features：随时间提取的特征，用于生成 Gym 观测值。

window_size：作为 Gym 观测值返回的当前及过去若干个时间步的数量，也在构造函数中传入。

action_space：Gym 的动作空间属性，包含离散值 0=卖出 和 1=买入。

observation_space：Gym 的观测空间属性，每个观测都是对 signal_features 中从索引 current_tick - window_size + 1 到 current_tick 的窗口。因此，环境的 _start_tick 将等于 window_size。此外，初始值为 _last_trade_tick 是 window_size - 1。

shape：单个观测的形状。

history：存储所有步骤的信息。

• 方法：

seed：标准的 Gym 种子方法。

reset：标准的 Gym 重置方法。

step：标准的 Gym 步进方法。

render：标准的 Gym 渲染方法，用于显示当前时间步的环境信息。

render_all：渲染整个环境。

close：标准的 Gym 关闭方法。

• 抽象方法：

_process_data：在构造函数中调用，返回 prices 和 signal_features 的元组。不同的交易市场需要提取不同的特征，因此该方法使我们的 TradingEnv 成为一个通用环境，可以根据具体市场（如外汇、股票等）返回相应的特征。

_calculate_reward：强化学习智能体的奖励函数。

_update_profit：计算并更新智能体迄今为止获得的总收益。收益表示以 1.0 单位货币开始，最终获得的货币单位数量（利润 = 最终金额 / 初始金额）。

max_possible_profit：在不考虑交易费用的情况下，强化学习智能体可能获得的最大收益。

ForexEnv

这是一个具体的类，继承自 TradingEnv 并实现了其抽象方法。此外，它还具有一些专属于 FOREX 市场的属性。更多信息请参阅 源代码。

• 属性：

frame_bound: 一个元组，用于指定 df 的起始和结束位置。该参数在类的构造函数中传入。

unit_side: 指定您开始交易的一方。取值为字符串 left（默认值）和 right。如您所知，在 FOREX 市场中，货币对存在两个方向。例如，在 EUR/USD 货币对中，当您选择 left 方向时，您的计价货币是 EUR，您将以 1 欧元开始交易。该参数在类的构造函数中传入。

trade_fee: 一种默认的固定手续费，每次交易时都会从实际价格中扣除。

StocksEnv

与 ForexEnv 类似，但适用于 股票 市场。更多信息请参阅 源代码。

• 属性：

frame_bound: 一个元组，用于指定 df 的起始和结束位置。该参数在类的构造函数中传入。

trade_fee_bid_percent: 买单的默认固定手续费百分比。例如，当 trade_fee_bid_percent=0.01 时，每次卖出股票您将损失 1% 的资金。

trade_fee_ask_percent: 卖单的默认固定手续费百分比。例如，当 trade_fee_ask_percent=0.005 时，每次买入股票您将损失 0.5% 的资金。

此外，您还可以通过扩展 TradingEnv，甚至 ForexEnv 或 StocksEnv，创建自己的自定义环境，并根据需要制定奖励、利润、手续费等计算策略。

示例

创建环境

import gymnasium as gym
import gym_anytrading

env = gym.make('forex-v0')
# env = gym.make('stocks-v0')

• 这将创建默认环境。您可以更改数据集、frame_bound 等任何参数。

使用自定义参数创建环境

我提供了两个默认数据集，分别用于 FOREX 和 股票，但您也可以使用自己的数据集。

from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL

custom_env = gym.make(
    'forex-v0',
    df=FOREX_EURUSD_1H_ASK,
    window_size=10,
    frame_bound=(10, 300),
    unit_side='right'
)

# custom_env = gym.make(
#     'stocks-v0',
#     df=STOCKS_GOOGL,
#     window_size=10,
#     frame_bound=(10, 300)
# )

• 需要注意的是，frame_bound 的第一个元素应大于或等于 window_size。

打印一些信息

print("env 信息:")
print("> shape:", env.unwrapped.shape)
print("> df.shape:", env.unwrapped.df.shape)
print("> prices.shape:", env.unwrapped.prices.shape)
print("> signal_features.shape:", env.unwrapped.signal_features.shape)
print("> 最大可能利润:", env.unwrapped.max_possible_profit())

print()
print("custom_env 信息:")
print("> shape:", custom_env.unwrapped.shape)
print("> df.shape:", custom_env.unwrapped.df.shape)
print("> prices.shape:", custom_env.unwrapped.prices.shape)
print("> signal_features.shape:", custom_env.unwrapped.signal_features.shape)
print("> 最大可能利润:", custom_env.unwrapped.max_possible_profit())

env 信息:
> shape: (24, 2)
> df.shape: (6225, 5)
> prices.shape: (6225,)
> signal_features.shape: (6225, 2)
> 最大可能利润: 4.054407219413578

custom_env 信息:
> shape: (10, 2)
> df.shape: (6225, 5)
> prices.shape: (300,)
> signal_features.shape: (300, 2)
> 最大可能利润: 1.1228998536878634

• 此处的 max_possible_profit 表示，如果市场没有交易费用，以 1.0 作为初始资金，您最多可以获得 4.054414887146572（或 1.1229001800089833）单位的收益。换句话说，您的资金几乎翻了四倍。

绘制环境

env.reset()
env.render()

• red 和 green 颜色分别表示 空头 和 多头 头寸。
• 如您所见，环境的初始 头寸 始终是 空头。

完整示例

import numpy as np
import matplotlib.pyplot as plt

import gymnasium as gym
import gym_anytrading
from gym_anytrading.envs import TradingEnv, ForexEnv, StocksEnv, Actions, Positions 
from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK, STOCKS_GOOGL


env = gym.make('forex-v0', frame_bound=(50, 100), window_size=10)
# env = gym.make('stocks-v0', frame_bound=(50, 100), window_size=10)

observation = env.reset(seed=2023)
while True:
    action = env.action_space.sample()
    observation, reward, terminated, truncated, info = env.step(action)
    done = terminated or truncated

    # env.render()
    if done:
        print("info:", info)
        break

plt.cla()
env.unwrapped.render_all()
plt.show()

info: {'total_reward': 27.89616584777832, 'total_profit': 0.989812615901, 'position': <Positions.Long: 1>}

• 您可以使用 render_all 方法避免每一步都进行渲染，从而节省时间。
• 如您看到的，图表中的前 10 个点（window_size=10）并没有显示头寸。这是因为它们不参与奖励、利润等的计算，仅用于展示最初的观测数据。因此，环境的 _start_tick 和初始 _last_trade_tick 分别是 10 和 9。

更多示例

这里提供了一些示例，展示了如何将 gym-anytrading 与其他知名库（如 Stable-Baselines3 和 QuantStats）结合使用，并说明如何在其他强化学习或交易库中利用我们的交易环境。

扩展和操作 TradingEnv

如果您希望在环境之外处理数据并提取特征，可以通过两种简单的方法实现：

方法 1（推荐）：

def my_process_data(env):
    start = env.frame_bound[0] - env.window_size
    end = env.frame_bound[1]
    prices = env.df.loc[:, 'Low'].to_numpy()[start:end]
    signal_features = env.df.loc[:, ['Close', 'Open', 'High', 'Low']].to_numpy()[start:end]
    return prices, signal_features


class MyForexEnv(ForexEnv):
    _process_data = my_process_data


env = MyForexEnv(df=FOREX_EURUSD_1H_ASK, window_size=12, frame_bound=(12, len(FOREX_EURUSD_1H_ASK)))

方法 2：

def my_process_data(df, window_size, frame_bound):
    start = frame_bound[0] - window_size
    end = frame_bound[1]
    prices = df.loc[:, 'Low'].to_numpy()[start:end]
    signal_features = df.loc[:, ['Close', 'Open', 'High', 'Low']].to_numpy()[start:end]
    return prices, signal_features


class MyStocksEnv(StocksEnv):
    
    def __init__(self, prices, signal_features, **kwargs):
        self._prices = prices
        self._signal_features = signal_features
        super().__init__(**kwargs)

    def _process_data(self):
        return self._prices, self._signal_features

    
prices, signal_features = my_process_data(df=STOCKS_GOOGL, window_size=30, frame_bound=(30, len(STOCKS_GOOGL)))
env = MyStocksEnv(prices, signal_features, df=STOCKS_GOOGL, window_size=30, frame_bound=(30, len(STOCKS_GOOGL)))

相关项目

• 在 DI-engine 项目中，开发了一个更为复杂的 anytrading 版本，包含五种动作、三种仓位以及更优的奖励函数。该工具属于中等难度级别（介于 anytrading 和 mtsim 之间），适合中级用户使用。更多相关信息和文档请参见 这里。

gym-anytrading 快速上手指南

gym-anytrading 是一个基于 OpenAI Gym 构建的强化学习交易环境集合，旨在简化外汇（FOREX）和股票（Stock）市场算法的开发与测试流程。它提供了高度抽象且灵活的接口，支持自定义数据源和交易策略。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS, 或 Windows
• Python 版本：建议 Python 3.8 及以上
• 核心依赖：
  • gymnasium (或 gym)
  • pandas (用于数据处理)
  • numpy
  • matplotlib (用于可视化渲染)

提示：国内用户安装依赖时若遇网络问题，可指定清华或阿里镜像源： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

您可以通过 PyPI 直接安装，也可以从源代码安装以获取最新功能。

方式一：通过 PIP 安装（推荐）

pip install gym-anytrading

方式二：从仓库源码安装

git clone https://github.com/AminHP/gym-anytrading
cd gym-anytrading
pip install -e .

# 或者直接使用 zip 包安装
pip install --upgrade --no-deps --force-reinstall https://github.com/AminHP/gym-anytrading/archive/master.zip

基本使用

gym-anytrading 的核心设计理念是简化动作空间（仅保留 Buy=1 和 Sell=0）和持仓方向（仅保留 Long=1 和 Short=0），以便强化学习代理更高效地学习。

1. 创建默认环境

库内置了默认的欧元/美元（FOREX）和谷歌股票（Stocks）数据集。

import gymnasium as gym
import gym_anytrading

# 创建外汇环境
env = gym.make('forex-v0')

# 或者创建股票环境
# env = gym.make('stocks-v0')

2. 创建自定义环境

您可以传入自己的 Pandas DataFrame 数据集，并配置时间窗口、数据范围等参数。

from gym_anytrading.datasets import FOREX_EURUSD_1H_ASK

# 使用自定义参数创建环境
custom_env = gym.make(
    'forex-v0',
    df=FOREX_EURUSD_1H_ASK,       # 传入数据集 (pandas DataFrame)
    window_size=10,               # 观察窗口大小 (当前及前 N-1 个时刻)
    frame_bound=(10, 300),        # 数据切片范围 (起始索引必须 >= window_size)
    unit_side='right'             # 外汇交易基准侧 ('left' 或 'right')
)

3. 运行一个简单的交互循环

以下示例展示了如何重置环境、执行随机动作并渲染结果。

import matplotlib.pyplot as plt

# 重置环境
observation = env.reset(seed=2023)

done = False
while not done:
    # 采样一个随机动作 (0=Sell, 1=Buy)
    action = env.action_space.sample()
    
    # 执行一步
    observation, reward, terminated, truncated, info = env.step(action)
    done = terminated or truncated

# 渲染整个交易过程
plt.cla()
env.render_all()
plt.show()

# 打印最终信息
print("Info:", info)

关键概念说明

• 动作空间 (Action Space)：离散值 0 (卖出/平仓) 和 1 (买入/开仓)。库中移除了 "Hold" 动作以减少学习复杂度。
• 持仓方向 (Positions)：内部自动管理 Short (做空) 和 Long (做多) 状态。
• 渲染可视化：
  • 红色区域：代表 Short (做空) 持仓期间。
  • 绿色区域：代表 Long (做多) 持仓期间。
  • 初始状态默认为 Short。

通过以上步骤，您即可快速搭建起一个用于强化学习交易策略训练的基础环境。如需更复杂的奖励函数或手续费逻辑，可通过继承 TradingEnv 类进行自定义扩展。