TensorTrade

训练强化学习智能体进行交易。它们能战胜买入并持有策略吗？

TensorTrade 是一个开源的 Python 框架，用于构建、训练和评估用于算法交易的强化学习智能体。该框架提供了可组合的环境、动作方案、奖励函数和数据馈送组件，这些组件可以组合起来创建自定义的交易系统。

快速入门

# 需要 Python 3.12+
python3.12 -m venv tensortrade-env && source tensortrade-env/bin/activate
pip install -e .

# 如果使用 Ray/RLlib 进行训练（推荐）
pip install -r examples/requirements.txt

# 运行训练
python examples/training/train_simple.py

文档与教程

📚 教程索引 — 从这里开始完整的学习课程。

基础知识

• 三大支柱 — 强化学习 + 交易 + 数据概念
• 架构 — 组件如何协同工作
• 首次运行 — 运行并理解输出

行业知识

• 面向强化学习从业者的交易
• 面向交易员的强化学习
• 常见失败 — 需要避免的关键陷阱
• 全面介绍 — 同时适用于两个领域的初学者

核心组件

• 动作方案 — BSH 和订单执行
• 奖励方案 — 为什么 PBR 有效
• 观察器与馈送 — 特征工程

训练

• 首次训练 — 使用 Ray RLlib 训练
• Ray RLlib 深入解析 — 配置选项
• Optuna 超参数优化 — 超参数调优

高级主题

• 过拟合 — 检测与预防
• 佣金分析 — 关键研究发现
• 向前滚动验证 — 正确的评估方法

其他资源

• 实验日志 — 完整的研究文档
• 环境设置 — 详细的安装指南
• API 参考

---

研究结果

我们进行了大量实验，训练 PPO 智能体在 BTC/USD 上进行交易。主要结果如下：

配置	测试盈亏	相对于买入并持有
智能体（0% 佣金）	+$239	+$594
智能体（0.1% 佣金）	-$650	-$295
买入并持有	-$355	—

该智能体在零佣金情况下表现出方向性预测能力。主要挑战在于交易频率——目前佣金成本超过了预测收益。有关方法论和详细分析，请参阅 EXPERIMENTS.md。

---

架构

┌─────────────────────────────────────────────────────────────────┐
│                        TradingEnv                               │
│                                                                 │
│   Observer ──────> Agent ──────> ActionScheme ──────> Portfolio │
│   (features)      (policy)      (BSH/Orders)        (wallets)  │
│       ^                                                  │      │
│       └──────────── RewardScheme <───────────────────────┘      │
│                        (PBR)                                    │
│                                                                 │
│   DataFeed ──────> Exchange ──────> Broker ──────> Trades       │
└─────────────────────────────────────────────────────────────────┘

组件	用途	默认值
ActionScheme	将智能体输出转换为订单	BSH（买入/卖出/持有）
RewardScheme	计算学习信号	PBR（基于头寸的回报）
Observer	生成观测值	窗口化特征
Portfolio	管理钱包和头寸	USD + BTC
Exchange	模拟执行	可配置佣金

---

训练脚本

脚本	描述
examples/training/train_simple.py	基本演示，包含钱包跟踪
examples/training/train_ray_long.py	使用 Ray RLlib 的分布式训练
examples/training/train_optuna.py	超参数优化
examples/training/train_best.py	实验中表现最佳的配置

---

安装

要求： Python 3.11 或 3.12

# 创建环境
python3.12 -m venv tensortrade-env
source tensortrade-env/bin/activate  # Windows: tensortrade-env\Scripts\activate

# 安装
pip install --upgrade pip
pip install -r requirements.txt
pip install -e .

# 验证
pytest tests/tensortrade/unit -v

# 训练依赖（可选）
pip install -r examples/requirements.txt

有关特定平台的说明和故障排除，请参阅 ENVIRONMENT_SETUP.md。

Docker

make run-notebook  # Jupyter
make run-docs      # 文档
make run-tests     # 测试套件

---

项目结构

tensortrade/
├── tensortrade/           # 核心库
│   ├── env/              # 交易环境
│   ├── feed/             # 数据管道
│   ├── oms/              # 订单管理
│   └── data/             # 数据获取
├── examples/
│   ├── training/         # 训练脚本
│   └── notebooks/        # Jupyter 教程
├── docs/
│   ├── tutorials/        # 学习课程
│   └── EXPERIMENTS.md    # 研究日志
└── tests/

---

故障排除

问题	解决方案
“没有流满足选择器”	更新至 v1.0.4-dev1+
Ray 安装失败	先运行 pip install --upgrade pip
NumPy 版本冲突	pip install "numpy>=1.26.4,<2.0"
TensorFlow CUDA 问题	pip install tensorflow[and-cuda]>=2.15.1

---

贡献

请参阅 CONTRIBUTING.md 获取贡献指南。

优先领域：

1. 交易频率降低（仓位大小、持仓周期）
2. 考虑佣金的奖励机制
3. 替代动作空间

---

社区

• Discord
• GitHub Issues
• 文档

---

许可证

Apache 2.0

TensorTrade 快速上手指南

TensorTrade 是一个开源的 Python 框架，专为构建、训练和评估用于算法交易的强化学习（RL）智能体而设计。它提供了可组合的环境、动作方案、奖励函数和数据源组件，帮助开发者打造自定义的交易系统。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：Python 3.12+ (强烈建议使用 3.12 版本)
• 包管理工具：pip
• 可选依赖：若需使用分布式训练或超参数优化，需安装 Ray/RLlib 和 Optuna 相关依赖。

提示：国内用户建议在创建虚拟环境后，临时切换至国内镜像源（如清华源或阿里源）以加速依赖下载。

2. 安装步骤

以下是标准的安装流程，包含虚拟环境创建、核心库安装及训练依赖安装。

第一步：创建并激活虚拟环境

# 创建名为 tensortrade-env 的虚拟环境 (需 Python 3.12)
python3.12 -m venv tensortrade-env

# 激活环境
# Linux/macOS:
source tensortrade-env/bin/activate
# Windows:
# tensortrade-env\Scripts\activate

第二步：安装核心库

建议先升级 pip，然后安装项目依赖及 TensorTrade 本身。

# 升级 pip
pip install --upgrade pip

# (可选) 国内用户推荐使用清华源加速
# pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 安装基础依赖
pip install -r requirements.txt

# 以编辑模式安装 TensorTrade
pip install -e .

第三步：安装训练依赖（推荐）

如果您计划运行示例中的训练脚本（基于 Ray/RLlib），请安装额外的训练依赖包：

pip install -r examples/requirements.txt

第四步：验证安装

运行单元测试以确保环境配置正确：

pytest tests/tensortrade/unit -v

3. 基本使用

安装完成后，您可以直接运行官方提供的示例脚本来体验完整的训练流程。以下是最简单的入门示例，它将训练一个基础的强化学习代理并在 BTC/USD 数据上进行回测。

运行简单训练示例

在项目根目录下执行以下命令：

python examples/training/train_simple.py

脚本说明：

• 该脚本会初始化一个交易环境（TradingEnv）。
• 加载默认的观察者（Observer）和动作方案（ActionScheme，默认为买/卖/持有）。
• 使用 PPO 算法训练智能体。
• 输出训练过程中的奖励变化及最终的资产净值曲线。

下一步学习

成功运行上述脚本后，建议查阅项目文档中的教程索引以深入理解核心概念：

• 三大支柱：理解 RL、交易与数据的结合。
• 架构详解：了解 Observer、Agent、ActionScheme 如何协同工作。
• 首次训练：深入学习 Ray RLlib 的配置与优化。

文档地址：https://www.tensortrade.org