TradeMaster：面向交易的强化学习平台

---

TradeMaster 是首个、也是同类最佳的 开源平台，专为基于 强化学习（RL） 的 量化交易（QT） 而设计，覆盖从 RL 算法的设计、实现、评估到部署的 完整流程。

:octocat: 招聘: 香港科技大学（广州）在孙硕博士（TradeMaster 论文的第一作者）的指导下，开放多个全额资助的博士和研究助理职位。如有兴趣，请发送邮件至他！

:star: 最新动态！ :alarm_clock:

更新内容	状态
新增 EarnHFT、Market-GAN 和 MacroHFT	:hammer: 2025年2月25日更新
新增 FinAgent 和 EarnMore	:hammer: 2024年10月29日更新
更新 TradeMaster 网站（市场模拟器）	:hammer: 2023年9月21日更新
更新 TradeMaster 网站（市场动态建模工具）	:wrench: 2023年7月7日更新
支持 自动特征生成与选择	:hammer: 于2023年5月11日更新了 教程
发布 TradeMaster Python 包	:whale: 2023年5月11日更新
搭建 TradeMaster 网站	:whale: 于4月23日可在 此处 访问
编写 TradeMaster 软件文档	:speech_balloon: 2023年4月11日更新
发布 Colab 版本	:speech_balloon: 于2023年3月29日进行了 更新
增加 香港股票 和 期货 数据集	:compass: 于2023年3月27日更新了 #131 和 #132
支持 Alpha158	:hammer: 于2023年3月20日更新了 #123 和 #124
发布 TradeMaster 1.0.0	:octocat: 于2023年3月5日 发布了 v1.0.0

大纲

• TradeMaster：用于交易的强化学习平台
  • :star: 最新动态！ :alarm_clock:
  • 大纲
  • 概述
  • 安装
  • 教程
  • 实用脚本
  • TradeMaster Sandbox
  • 数据集
  • 模型库
  • 可视化工具包
  • 文件结构
  • 出版物
  • 新闻
  • 团队
  • 竞赛
  • 联系我们

概述

TradeMaster 由 6 个关键模块组成：1) 多粒度、多资产类别的多模态市场数据；2) 全流程数据预处理管道；3) 一系列用于主流量化交易任务的高保真数据驱动型市场模拟器；4) 超过 13 种基于强化学习的新型交易算法的高效实现；5) 包含 6 个维度和 17 项指标的系统性评估工具集；6) 面向跨学科用户的多种接口。

安装

以下是针对不同操作系统和 Docker 的安装教程：

• Linux/Windows/MacOS 上的安装
• 使用 Docker 安装

教程

我们提供了涵盖 TradeMaster 核心功能的教程，帮助用户快速入门。

算法	数据集	市场	任务	代码链接
EIIE	DJ 30	美国股票	投资组合管理	教程
DeepScalper	BTC	加密货币	日内交易	教程
SARL	DJ 30	美国股票	投资组合管理	教程
PPO	SSE 50	中国股票	投资组合管理	教程
ETEO	比特币	加密货币	订单执行	教程
Double DQN	比特币	加密货币	高频交易	教程

我们还提供了这些教程的 Colab 版本，可以直接运行。（Colab 教程）

实用脚本

• 自动超参数调优
• 自动特征生成
• 基于扩散模型的金融数据插补
• 使用 Alpha158 技术指标训练强化学习智能体

TradeMaster Sandbox

• 白皮书
• 市场动态建模
• 网站 API
  1. 智能体训练演示
  2. 市场动态建模工具
  3. 市场模拟器 网络服务

数据集

数据集	数据来源	类型	范围与频率	原始数据	数据表
S&P500	Yahoo	美国股票	2000/01/01-2022/01/01, 1天	OHLCV	SP500
DJ30	Yahoo	美国股票	2012/01/01-2021/12/31, 1天	OHLCV	DJ30
BTC	Kaggle	外汇	2000/01/01-2019/12/31, 1天	OHLCV	FX
Crypto	Kaggle	加密货币	2013/04/29-2021/07/06, 1天	OHLCV	Crypto
SSE50	Yahoo	中国股票	2009/01/02-2021/01/01, 1天	OHLCV	SSE50
比特币	Binance	加密货币	2021/04/07-2021/04/19, 1分钟	LOB	Binance
期货	AKshare	期货	2023/03/07-2023/03/28, 5分钟	OHLCV	期货
HS30	AKShare	香港股票	1988/12/30-2023/03/27, 1天	OHLCV	HS30

日期格式为 YY/MM/DD。

OHLCV：开盘价、最高价、最低价和收盘价；volume：对应成交量；LOB：限价订单簿。

用户可以从 Google Drive 或 百度网盘（提取码：x24b）下载上述数据集的数据。

模型动物园

TradeMaster 提供了以下算法的高效实现：

基于 PyTorch 的 DeepScalper（Shuo Sun 等人，CIKM 22）

基于 PyTorch 的 OPD（Fang 等人，AAAI 21）

基于 PyTorch 的 DeepTrader（Wang 等人，AAAI 21）

基于 PyTorch 的 SARL（Yunan Ye 等人，AAAI 20）

基于 PyTorch 的 ETEO（Lin 等人，20 年）

基于 PyTorch 的 Investor-Imitator（Yi Ding 等人，KDD 18）

基于 PyTorch 的 EIIE（Jiang 等人，17 年）

经典强化学习算法（基于 PyTorch 和 Ray）： PPO A2C Rainbow SAC DDPG DQN PG TD3

可视化工具包

TradeMaster 提供了多种可视化工具，用于系统地评估基于强化学习的量化交易方法。详情请参阅这篇 论文 和这个 仓库。以下是一些示例：

PRIDE-Star 是一种星形图，包含总回报（TR）、夏普比率（SR）等 8 项关键财务指标的归一化得分，用于评估盈利能力、风险控制和多样性：

文件结构

| TradeMaster
| ├── configs
| ├── data
| │   ├── algorithmic_trading 
| │   ├── high_frequency_trading  
| │   ├── order_excution          
| │   └── porfolio_management
| ├── deploy
| │   ├── backend_client.py
| │   ├── backend_client_test.py 
| │   └── backend_service.py        
| │   ├── backend_service_test.py  
| ├── docs
| ├── figure
| ├── installation
| │   ├── docker.md
| │   ├── requirements.md
| ├── tools
| │   ├── algorithmic_trading          
| │   ├── data_preprocessor
| │   ├── high_frequency_trading
| │   ├── market_dynamics_labeling
| │   ├── missing_value_imputation  
| │   ├── order_excution  
| │   ├── porfolio_management  
| │   ├── __init__.py      
| ├── tradmaster       
| │   ├── agents   
| │   ├── datasets 
| │   ├── enviornments 
| │   ├── evaluation 
| │   ├── imputation 
| │   ├── losses
| │   ├── nets
| │   ├── preprocessor
| │   ├── optimizers
| │   ├── pretrained
| │   ├── trainers
| │   ├── transition
| │   ├── utils
| │   └── __init__.py     
| ├── unit_testing
| ├── Dockerfile
| ├── LICENSE
| ├── README.md
| ├── pyproject.toml
| └── requirements.txt

出版物

面向金融交易的多模态基础智能体：工具增强、多样化且通用 (KDD 2024)

MacroHFT：面向高频交易的记忆增强型上下文感知强化学习 (KDD 2024)

基于可定制股票池的掩码式股票表示的强化学习在投资组合管理中的应用 (WWW 2024)

EarnHFT：面向高频交易的高效分层强化学习 (AAAI 2024)

Market-GAN：通过语义上下文为金融市场数据生成增添可控性 (AAAI 2024)

TradeMaster：一个由强化学习赋能的综合性量化交易平台 (NeurIPS 2023)

利用高效的多样化交易专家混合模型掌握股票市场 (KDD 2023)

PRUDEX-Compass：迈向金融市场中强化学习的系统性评估 (Transactions on Machine learning Research 2023)

量化交易中的强化学习（综述） (ACM Transactions on Intelligent Systems and Technology 2023)

量化交易中的深度强化学习：挑战与机遇 (IEEE Intelligent Systems 2022)

DeepScalper：一种风险感知的强化学习框架，用于捕捉短暂的日内交易机会 (CIKM 2022)

仅靠佣金费用还不够：一种用于投资组合管理的分层强化框架 (AAAI 21)

新闻

• [AI科技评论]TradeMaster最新发布沙盒工具箱，探索量化交易的全新维度
• [AAAI夏季研讨会]新加坡RL4Fintech研讨会征稿通知
• [知乎]用强化学习在金融市场上赚钱？南洋理工发布全新基于强化学习的量化交易平台TradeMaster
• [机器之心]南洋理工发布量化交易大师TradeMaster，涵盖15种强化学习算法
• [运筹OR帷幄]量化交易大师TradeMaster
• [Medium]TradeMaster简介
• [AAAI-23桥梁项目]使用TradeMaster举办量化交易强化学习教程

团队

• 本仓库由南洋理工大学的AMI课题组开发并维护。
• 我们现招聘软件工程师、研究助理及博士后。如果您对强化学习与量化交易交叉领域的研究感兴趣，欢迎随时发送简历至我们的邮箱。

竞赛

TradeMaster杯2022

联系我们

如您对本项目有任何疑问，请联系TradeMaster.NTU@gmail.com

TradeMaster 快速上手指南

TradeMaster 是一个基于强化学习（RL）的开源量化交易平台，覆盖从数据预处理、市场模拟、算法训练到评估部署的全流程。本指南将帮助中国开发者快速搭建环境并运行第一个交易策略。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, Windows 或 macOS
• Python 版本：Python 3.9 (推荐)
• 前置依赖：
  • Git (用于克隆代码库)
  • pip (Python 包管理工具)
  • (可选) Docker (如需容器化部署)

提示：建议创建独立的虚拟环境（如使用 conda 或 venv）以避免依赖冲突。

2. 安装步骤

您可以选择通过源码安装或直接安装 PyPI 包。推荐使用国内镜像源加速下载。

方式一：源码安装（推荐，获取最新功能）

1. 克隆仓库

   git clone https://github.com/TradeMaster-NTU/TradeMaster.git
   cd TradeMaster
   

2. 安装依赖 使用清华源或阿里源加速安装 Python 依赖包：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   (注：若 requirements.txt 未自动识别，可手动安装核心包 pip install trademasterntu -i https://pypi.tuna.tsinghua.edu.cn/simple)

方式二：PyPI 包安装

直接安装发布版：

pip install trademasterntu -i https://pypi.tuna.tsinghua.edu.cn/simple

方式三：Docker 安装

如果希望隔离环境，可使用 Docker：

docker pull trademaster/trademaster:latest

(具体 Docker 运行命令请参考项目 installation/docker.md)

3. 基本使用

TradeMaster 提供了丰富的 Jupyter Notebook 教程。以下是运行一个基于 EIIE 算法 进行 美股投资组合管理 的最简示例。

步骤 1：启动教程环境

确保已安装 jupyter 或 jupyterlab：

pip install jupyterlab -i https://pypi.tuna.tsinghua.edu.cn/simple

步骤 2：运行示例代码

进入教程目录并启动 Notebook：

cd tutorial
jupyter lab Tutorial1_EIIE.ipynb

步骤 3：核心代码逻辑预览

在 Notebook 中，核心流程通常包含以下步骤（代码保持英文原样）：

import trademaster as tm

# 1. 加载数据 (以 DJ 30 数据集为例)
data = tm.load_dataset(name="DJ30", task="portfolio_management")

# 2. 初始化环境
env = tm.make_environment(data=data, task="portfolio_management")

# 3. 构建代理 (Agent)，此处使用 EIIE 算法
agent = tm.create_agent(algorithm="EIIE", environment=env)

# 4. 训练模型
agent.train(total_episodes=100)

# 5. 评估与可视化
results = agent.test()
tm.plot_results(results)

其他可用任务示例

平台支持多种任务，您只需更改 algorithm 和 task 参数即可切换场景：

• 日内交易: Tutorial2_DeepScalper.ipynb (Crypto 市场)
• 订单执行: Tutorial5_ETEO.ipynb
• 高频交易: Tutorial6_DDQN.ipynb

如需直接在浏览器中体验，可访问官方提供的 Colab 教程。