FinRL：金融强化学习 → FinRL-X

[!重要] FinRL-X 是 FinRL 的下一代演进版本，专为原生 AI、模块化且面向生产的量化交易而设计。

• 本仓库（FinRL） 保留了原始的端到端教育与研究框架。
• 如需最新的架构、实盘交易部署及以生产为导向的开发，请使用 FinRL-X / FinRL-Trading。

FinRL® 被广泛认为是首个用于金融强化学习的开源框架。 本仓库包含最初的 FinRL 库，适用于教育、基准测试和研究原型开发。

如需下一代原生 AI 且面向生产的交易栈，请访问 FinRL-X / FinRL-Trading。

FinRL 生态系统路线图

代次	定位	目标用户	仓库	描述
FinRL-Meta	市场环境	从业者	FinRL-Meta	类似 Gym 的金融市场环境与基准测试
FinRL	经典端到端框架	学习者、开发者、研究人员	FinRL	金融强化学习的原始训练-测试-交易流程
ElegantRL	算法层	研究人员与专家	ElegantRL	轻量级且优雅的 DRL 算法
FinRL-X	下一代 / 生产级	专业交易员、机构、对冲基金	FinRL-Trading	面向部署的原生 AI 模块化基础设施，用于量化交易

新用户推荐： 如果您正在构建现代化或面向生产的交易系统，请从 FinRL-X / FinRL-Trading 开始。

🔄 FinRL-X 与 FinRL：有何变化

能力	FinRL（1.0 阶段）	FinRL-X（3.0 阶段）
范式	深度强化学习	原生 AI（ML + DRL + LLM 就绪）
架构	三层耦合单体	完全解耦的模块化层级
策略	DRL 代理（A2C、DDPG、PPO、SAC、TD3）	ML 选择 + DRL 时机 + 可扩展基础
数据层	14 个手动连接的处理器	自动选择：Yahoo Finance → FMP → WRDS
回测	自定义手写评估循环	专业的 bt 库引擎
实盘交易	基础 Alpaca 支持	全面多账户集成 + 风险控制
配置	config.py + config_tickers.py	类型安全的 Pydantic + .env 多环境
风险管理	仅限 Gym 环境约束	订单 · 投资组合 · 策略层面的控制
目标用户	研究人员与学生	量化交易员、机构、生产级部署
论文	arXiv:2011.09607	arXiv:2603.21330

FinGPT：一个用于金融大型语言模型的开源项目，旨在支持研究及现实世界的金融科技应用。

大纲

• 概述
• 文件结构
• 支持的数据源
• 安装
• 状态更新
• 教程
• 出版物
• 新闻
• 引用 FinRL
• 加入并贡献
  • 贡献者
  • 赞助
• 许可证

项目贡献者

FinRL® 是由 AI4Finance 社区的贡献者开发、AI4Finance 基金会维护的开源金融强化学习框架。

主要贡献者包括：

• Hongyang (Bruce) Yang – 从事金融强化学习框架、市场环境及量化交易应用的研究与开发
• [其他贡献者…]

概述

FinRL 是首个开源的金融强化学习框架，围绕三个核心层构建：

• 市场环境
• DRL 代理
• 金融应用

在交易任务中，代理与市场环境交互，并学习序列决策策略。

本仓库专注于经典的 FinRL 工作流，用于教育、实验和研究原型开发。

如需了解面向生产的新一代架构，包括模块化部署和原生 AI 的交易基础设施，请访问 FinRL-X / FinRL-Trading。

视频 FinRL 可在 AI4Finance YouTube 频道观看。

FinRL 股票交易 2026 教程

本教程演示了原始的 FinRL 工作流，适用于教育和研究目的。 如需最新的生产级流程，请使用 FinRL-X / FinRL-Trading。

第一步：克隆仓库

git clone https://github.com/AI4Finance-Foundation/FinRL.git
cd FinRL

第二步：创建并激活虚拟环境

python3 -m venv venv
source venv/bin/activate

第三步：安装 FinRL

pip install -e .

第四步：运行脚本

1. 数据下载与预处理

python examples/FinRL_StockTrading_2026_1_data.py

此脚本从 Yahoo Finance 下载道琼斯 30 指数成分股数据，添加技术指标（MACD、RSI 等）、VIX 波动率指数和市场动荡指数，随后将数据划分为训练集（2014–2025）和交易集（2026年1月1日至2026年3月20日），分别保存为 train_data.csv 和 trade_data.csv。

2. 训练 DRL 代理

python examples/FinRL_StockTrading_2026_2_train.py

该脚本使用 Stable Baselines 3 在训练数据上训练 5 种 DRL 代理（A2C、DDPG、PPO、TD3、SAC）。训练好的模型将保存到 trained_models/ 目录中。

3. 回测

python examples/FinRL_StockTrading_2026_3_Backtest.py

此脚本加载已训练好的代理，在交易数据上运行，并将其表现与两种基准进行比较：均值方差优化（MVO）和道琼斯工业平均指数。结果将打印到控制台，并生成一张名为 backtest_result.png 的图表。

文件结构

主文件夹 finrl 包含三个子文件夹：applications、agents、meta。我们采用“训练—测试—交易”的流程，包含三个文件：train.py、test.py 和 trade.py。

FinRL
├── finrl (主文件夹)
│   ├── applications
│   	├── Stock_NeurIPS2018
│   	├── imitation_learning
│   	├── cryptocurrency_trading
│   	├── high_frequency_trading
│   	├── portfolio_allocation
│   	└── stock_trading
│   ├── agents
│   	├── elegantrl
│   	├── rllib
│   	└── stablebaseline3
│   ├── meta
│   	├── data_processors
│   	├── env_cryptocurrency_trading
│   	├── env_portfolio_allocation
│   	├── env_stock_trading
│   	├── preprocessor
│   	├── data_processor.py
│       ├── meta_config_tickers.py
│   	└── meta_config.py
│   ├── config.py
│   ├── config_tickers.py
│   ├── main.py
│   ├── plot.py
│   ├── train.py
│   ├── test.py
│   └── trade.py
│
├── examples
├── unit_tests (用于验证环境与数据相关代码的单元测试)
│   ├── environments
│   	└── test_env_cashpenalty.py
│   └── downloaders
│   	├── test_yahoodownload.py
│   	└── test_alpaca_downloader.py
├── setup.py
├── requirements.txt
└── README.md

支持的数据源

数据源	类型	范围和频率	请求限制	原始数据	预处理数据
Akshare	中证券	2015年至今，1天	账户特定	开盘价、最高价、最低价、收盘价、成交量	价格与指标
Alpaca	美国股票、ETF	2015年至今，1分钟	账户特定	开盘价、最高价、最低价、收盘价、成交量	价格与指标
Baostock	中证券	1990年12月19日至今，5分钟	账户特定	开盘价、最高价、最低价、收盘价、成交量	价格与指标
Binance	加密货币	API特定，1秒、1分钟	API特定	分钟级每日聚合交易、开盘价、最高价、最低价、收盘价、成交量	价格与指标
CCXT	加密货币	API特定，1分钟	API特定	开盘价、最高价、最低价、收盘价、成交量	价格与指标
EODhistoricaldata	美国证券	频率特定，1分钟	API特定	开盘价、最高价、最低价、收盘价、成交量	价格与指标
IEXCloud	NMS美国证券	1970年至今，1天	每IP每秒100次	开盘价、最高价、最低价、收盘价、成交量	价格与指标
JoinQuant	中证券	2005年至今，1分钟	每次3次请求	开盘价、最高价、最低价、收盘价、成交量	价格与指标
QuantConnect	美国证券	1998年至今，1秒	不适用	开盘价、最高价、最低价、收盘价、成交量	价格与指标
RiceQuant	中证券	2005年至今，1毫秒	账户特定	开盘价、最高价、最低价、收盘价、成交量	价格与指标
Sinopac	台湾证券	2023年4月13日~至今，1分钟	账户特定	开盘价、最高价、最低价、收盘价、成交量	价格与指标
Tushare	中证券、A股	-至今，1分钟	账户特定	开盘价、最高价、最低价、收盘价、成交量	价格与指标
WRDS	美国证券	2003年至今，1毫秒	每次5次请求	盘中交易	价格与指标
YahooFinance	美国证券	频率特定，1分钟	每小时2,000次	开盘价、最高价、最低价、收盘价、成交量	价格与指标

OHLCV：开盘价、最高价、最低价、收盘价；成交量。adjusted_close：调整后的收盘价

技术指标：'macd'、'boll_ub'、'boll_lb'、'rsi_30'、'dx_30'、'close_30_sma'、'close_60_sma'。用户也可以添加新的特征。

安装

• 适用于所有操作系统的安装说明（MAC OS、Ubuntu、Windows 10）
• FinRL量化金融：初学者安装与设置教程

状态更新

版本历史 [点击展开]

• 2022年6月25日 0.3.5：FinRL正式发布，neo_finrl更名为FinRL-Meta，相关文件移至meta目录。
• 2021年8月25日 0.3.1：采用PyTorch版本，包含三层架构，分别为apps（金融任务）、drl_agents（强化学习算法）和neo_finrl（gym环境）。
• 2020年12月14日 升级至PyTorch，并使用stable-baselines3；移除了对TensorFlow 1.x的支持；当时正在开发TensorFlow 2.0支持。
• 2020年11月27日 0.1：基于tensorflow 1.5的测试版。

教程

• [Towards Data Science] 深度强化学习在自动化股票交易中的应用

出版物

标题	会议/期刊	链接	引用次数	年份
金融强化学习的动态数据集与市场环境	机器学习 - Springer Nature	论文 代码	51	2024
FinRL-Meta: FinRL-Meta：数据驱动型金融强化学习的市场环境与基准测试	NeurIPS 2022	论文 代码	136	2022
FinRL: 用于量化金融中自动化交易的深度强化学习框架	ACM国际人工智能金融会议（ICAIF）	论文	212	2021
FinRL: 用于量化金融中自动化股票交易的深度强化学习库	NeurIPS 2020 深度强化学习研讨会	论文	275	2020
自动化股票交易的深度强化学习：一种集成策略	ACM国际人工智能金融会议（ICAIF）	论文 代码	426	2020
股票交易的实用深度强化学习方法	NeurIPS 2018 金融服务中人工智能的挑战与机遇研讨会	论文 代码	303	2018

新闻

• [央广网] 2021 IDEA大会于福田圆满落幕：群英荟萃论道AI 多项目发布亮点纷呈
• [央广网] 2021 IDEA大会开启AI思想盛宴 沈向洋理事长发布六大前沿产品
• [IDEA新闻] 2021 IDEA大会发布产品FinRL-Meta——基于数据驱动的强化学习金融风险模拟系统
• [知乎] FinRL-Meta基于数据驱动的强化学习金融元宇宙
• [量化投资与机器学习] 基于深度强化学习的股票交易策略框架（代码+文档)
• [运筹OR帷幄] 领读计划NO.10 | 基于深度增强学习的量化交易机器人：从AlphaGo到FinRL的演变过程
• [深度强化实验室] 【重磅推荐】哥大开源“FinRL”: 一个用于量化金融自动交易的深度强化学习库
• [商业新知] 金融科技讲座回顾|AI4Finance: 从AlphaGo到FinRL
• [Kaggle] Jane Street市场预测
• [矩池云Matpool] 在矩池云上如何运行FinRL股票交易策略框架
• [财智无界] 金融学会常务理事陈学彬: 深度强化学习在金融资产管理中的应用
• [Neurohive] FinRL: глубокое обучение с подкреплением для трейдинга
• [ICHI.PRO] 양적 금융을위한 FinRL: 단일 주식 거래를위한 튜토리얼
• [知乎] 基于深度强化学习的金融交易策略（FinRL+Stable baselines3，以道琼斯30股票为例）
• [知乎] 动态数据驱动的金融强化学习
• [知乎] FinRL的W&B化+超参数搜索和模型优化(基于Stable Baselines 3）
• [知乎] FinRL-Meta: 未来金融强化学习的元宇宙

引用FinRL

对于下一代AI原生模块化交易基础设施，请参阅 FinRL-X / FinRL-Trading。

@inproceedings{yang2026finrlx,
  title     = {FinRL-X: 用于量化交易的AI原生模块化基础设施},
  author    = {Yang, Hongyang and Zhang, Boyu and She, Yang and Liao, Xinyu and Zhang, Xiaoli},
  booktitle = {第二届金融科技中的决策与优化国际研讨会（DMO-FinTech）论文集},
  year      = {2026},
  note      = {2026年PAKDD研讨会}
}

如果您使用原始的FinRL框架，请引用以下FinRL相关论文：

@article{finrl2020,
    author  = {Liu, Xiao-Yang and Yang, Hongyang and Chen, Qian and Zhang, Runjia and Yang, Liuqing and Xiao, Bowen and Wang, Christina Dan},
    title   = {{FinRL}: 用于量化金融中自动化股票交易的深度强化学习库},
    journal = {NeurIPS 2020深度强化学习研讨会},
    year    = {2020}
}

加入并贡献

欢迎加入AI4Finance社区！

请查看贡献指南。

贡献者

感谢所有帮助构建FinRL的贡献者。

许可证

MIT许可证

商标声明

FinRL及其标志是FinRL LLC的注册商标。AI4Finance基金会经许可使用这些商标。本仓库的开源许可证并不授予任何未经FinRL LLC事先书面许可而使用FinRL名称、标志或相关商标的权利，除非适用法律另有规定。

免责声明：我们依据MIT许可证分享这些代码仅用于学术目的。本文档不构成任何财务建议或真实资金交易的推荐。用户应对其使用本软件所做的任何财务决策自行负责。在投入资金之前，请咨询合格的专业人士。

FinRL 快速上手指南

FinRL 是首个开源的金融强化学习框架，专为教育、基准测试和研究原型设计。本指南将帮助你快速搭建环境并运行第一个股票交易策略示例。

注意：如果你需要构建面向生产、模块化且支持实盘交易的新一代系统，请参考 FinRL-X / FinRL-Trading。本指南针对经典的 FinRL 研究框架。

1. 环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (推荐 Linux/macOS 以获得最佳兼容性)
• Python 版本：Python 3.6 - 3.9 (推荐 Python 3.8)
• 前置依赖：
  • git：用于克隆代码库
  • pip：Python 包管理工具
  • venv 或 conda：用于创建虚拟环境（强烈建议使用虚拟环境以避免依赖冲突）

国内加速建议： 在安装依赖时，建议使用清华源或阿里源以加快下载速度。

2. 安装步骤

请依次执行以下命令来完成安装：

第一步：克隆仓库

git clone https://github.com/AI4Finance-Foundation/FinRL.git
cd FinRL

第二步：创建并激活虚拟环境

Linux/macOS:

python3 -m venv venv
source venv/bin/activate

Windows:

python -m venv venv
venv\Scripts\activate

第三步：安装 FinRL

使用国内镜像源加速安装依赖包：

pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

注：-e . 表示以可编辑模式安装，方便你修改源码进行实验。

3. 基本使用

FinRL 的核心工作流遵循 数据获取 -> 模型训练 -> 回测 的流程。以下以经典的道琼斯 30 指数成分股交易策略为例。

步骤 1：下载数据与预处理

运行以下脚本，系统将自动从 Yahoo Finance 下载数据，计算技术指标（如 MACD, RSI），并划分训练集与交易集。

python examples/FinRL_StockTrading_2026_1_data.py

执行成功后，当前目录将生成 train_data.csv 和 trade_data.csv。

步骤 2: 训练 DRL 智能体

使用 Stable Baselines3 训练 5 种主流强化学习算法（A2C, DDPG, PPO, TD3, SAC）。

python examples/FinRL_StockTrading_2026_2_train.py

训练完成的模型将保存在 trained_models/ 目录下。

步骤 3: 回测与评估

加载训练好的模型，在测试集上进行回测，并与均值方差优化（MVO）及道琼斯指数（DJIA）基准进行对比。

python examples/FinRL_StockTrading_2026_3_Backtest.py

结果将打印在控制台，并生成可视化图表 backtest_result.png。

---

下一步探索： 你可以查看 finrl/applications 目录，其中包含了加密货币交易、高频交易、投资组合分配等更多应用场景的示例代码。