AlphaGen

基于强化学习的自动化公式化阿尔法生成。

本仓库包含我们被KDD 2023应用数据科学（ADS）赛道接收的论文《通过强化学习生成协同式公式化阿尔法集合》的代码，该论文已在ACM DL上公开。此外，本仓库还包含了对这项工作的若干扩展。

仓库结构

• /alphagen 包含基础数据结构和启动阿尔法挖掘流水线所需的核心模块；
• /alphagen_qlib 包含用于数据准备的 qlib 特定 API；
• /alphagen_generic 包含为我们的基线设计的数据结构和工具，这些工具基本遵循 gplearn 的 API，但针对量化交易流水线进行了修改；
• /alphagen_llm 包含 LLM 客户端抽象以及一组用于基于 LLM 生成阿尔法的提示词，并提供了一些基于 LLM 的自动迭代式阿尔法生成流程。
• /gplearn 和 /dso 包含我们基线的修改版本；
• /scripts 包含若干用于运行实验的脚本。

结果复现

请注意，您可以选择使用我们内置的阿尔法计算流水线（见选项 1），也可以实现一个适配器以接入您自己的流水线（见选项 2）。

选项 1：股票数据准备

内置流水线需要 Qlib 库和本地存储的股票数据。

• 请务必阅读！我们需要 Qlib 提供的部分元数据（但不需要实际的股票价格/成交量数据），因此请先按照 Qlib 中的数据准备流程进行操作。
• 我们实际使用的股票数据来自 baostock，这是出于对 Qlib 所用数据源时效性和真实性问题的考虑。
• 可以通过运行脚本 data_collection/fetch_baostock_data.py 下载数据。新下载的数据默认保存在 ~/.qlib/qlib_data/cn_data_baostock_fwdadj 目录下。此路径可根据您的具体需求进行自定义，但在加载数据时请确保使用正确的路径（在 alphagen_qlib/stock_data.py 的 StockData._init_qlib 函数中，应通过 qlib.init(provider_uri=path) 将路径传递给 Qlib）。

选项 2：适配外部流水线

如果您已有更优的阿尔法计算实现，可以实现 alphagen.data.calculator.AlphaCalculator 的适配器。接口定义如下：

class AlphaCalculator(metaclass=ABCMeta):
    @abstractmethod
    def calc_single_IC_ret(self, expr: Expression) -> float:
        '计算单个阿尔法与预定义目标之间的 IC 值。'

    @abstractmethod
    def calc_single_rIC_ret(self, expr: Expression) -> float:
        '计算单个阿尔法与预定义目标之间的 Rank IC 值。'

    @abstractmethod
    def calc_single_all_ret(self, expr: Expression) -> Tuple[float, float]:
        '同时计算单个阿尔法与预定义目标之间的 IC 和 Rank IC 值。'

    @abstractmethod
    def calc_mutual_IC(self, expr1: Expression, expr2: Expression) -> float:
        '计算两个阿尔法之间的 IC 值。'

    @abstractmethod
    def calc_pool_IC_ret(self, exprs: List[Expression], weights: List[float]) -> float:
        '首先将阿尔法线性组合，'
        '然后计算线性组合与预定义目标之间的 IC 值。'

    @abstractmethod
    def calc_pool_rIC_ret(self, exprs: List[Expression], weights: List[float]) -> float:
        '首先将阿尔法线性组合，'
        '然后计算线性组合与预定义目标之间的 Rank IC 值。'

    @abstractmethod
    def calc_pool_all_ret(self, exprs: List[Expression], weights: List[float]) -> Tuple[float, float]:
        '首先将阿尔法线性组合，'
        '然后同时计算线性组合与预定义目标之间的 IC 和 Rank IC 值。'

提醒：不同阿尔法评估出的值可能具有截然不同的量级，建议在组合之前对其进行归一化处理。

运行前

我们实验的主要组件位于 train_maskable_ppo.py 中。

以下参数可以帮助您构建一个 AlphaCalculator：

• instruments（证券集合）
• start_time & end_time（每个数据集的时间范围）
• target（目标股票趋势，例如 20 天收益率）

以下参数将定义一次强化学习运行：

• batch_size（PPO 的批量大小）
• features_extractor_kwargs（LSTM 共享网络的参数）
• device（PyTorch 设备）
• save_path（检查点保存路径）
• tensorboard_log（TensorBoard 日志路径）

运行实验

请以模块方式运行本项目根目录下的各个脚本，即 python -m scripts.NAME ARGS...。使用 python -m scripts.NAME -h 查看参数说明。

• scripts/rl.py：AlphaGen/HARLA 的主要实验
• scripts/llm_only.py：完全基于与 LLM 迭代交互的阿尔法生成器
• scripts/llm_test_validity.py：测试系统提示如何影响 LLM 生成有效阿尔法的比例

运行后

• 模型检查点和阿尔法池位于 save_path 目录下；
  • 该模型与 stable-baselines3 兼容
  • 阿尔法池以人类可读的 JSON 格式存储。
• TensorBoard 日志位于 tensorboard_log 目录下。

基线方法

基于 GP 的方法

gplearn 实现了遗传编程，这是一种常用于符号回归的方法。我们维护了一个修改后的 gplearn 版本，使其与我们的任务兼容。相应的实验脚本是 gp.py。

深度符号回归

DSO 是一个成熟的深度学习框架，用于符号优化任务。我们维护了一个精简版的 DSO，使其与我们的任务兼容。相应的实验脚本是 dso.py。

交易（实验性）

我们基于 Qlib 实现了一些交易策略。演示请参阅 backtest.py 和 trade_decision.py。

引用我们的工作

@inproceedings{alphagen,
    author = {Yu, Shuo and Xue, Hongyan and Ao, Xiang and Pan, Feiyang and He, Jia and Tu, Dandan and He, Qing},
    title = {Generating Synergistic Formulaic Alpha Collections via Reinforcement Learning},
    year = {2023},
    doi = {10.1145/3580305.3599831},
    booktitle = {Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining},
}

贡献

欢迎提交 Issue 或 Pull 请求。

贡献者

本项目由MLDM研究组，IIP, ICT, CAS 维护。

维护人员包括：

• Xue Hongyan
• Yu Shuo

感谢以下贡献者：

• @yigaza

同时感谢对我们的项目进行深入研究的以下内容：

• 《因子选股系列之九十五：DFQ强化学习因子组合挖掘系统》

AlphaGen 快速上手指南

AlphaGen 是一个基于强化学习自动生成公式化因子（Formulaic Alpha）的开源工具，相关论文已被 KDD 2023 收录。本指南将帮助中国开发者快速搭建环境并运行基础实验。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 18.04+) 或 macOS
• Python: 3.8 或更高版本
• GPU: 可选，用于加速强化学习训练（需支持 CUDA）

前置依赖

本项目依赖以下核心库：

• PyTorch: 深度学习框架
• Stable-Baselines3: 强化学习算法库
• Qlib: 微软开源的量化投资平台（用于数据加载和回测）
• Baostock: 证券数据接口（用于获取真实的股票行情数据）

注意：虽然 Qlib 提供了数据准备流程，但本项目建议使用 Baostock 获取更及时准确的股票数据，仅利用 Qlib 的元数据结构。

安装步骤

1. 克隆仓库

   git clone https://github.com/Thinklab-SJTU/AlphaGen.git
   cd AlphaGen
   

2. 创建虚拟环境并安装依赖 推荐使用 conda 或 venv 隔离环境。

   # 创建环境
   conda create -n alphagen python=3.8 -y
   conda activate alphagen
   
   # 安装 PyTorch (根据是否使用 GPU 选择对应命令，国内用户可使用清华源)
   pip install torch torchvision torchaudio --index-url https://pypi.tuna.tsinghua.edu.cn/simple
   
   # 安装项目依赖
   pip install -r requirements.txt
   

3. 准备数据 AlphaGen 需要 Qlib 格式的元数据，但实际股价数据来自 Baostock。

   • 步骤 A：初始化 Qlib 元数据 参考 Qlib 官方文档 完成基础元数据下载（无需下载其默认的股票价格数据）。

   • 步骤 B：下载 Baostock 股票数据 运行项目自带的脚本获取数据，默认保存路径为 ~/.qlib/qlib_data/cn_data_baostock_fwdadj。

     python data_collection/fetch_baostock_data.py
     

     提示：如需自定义路径，请修改 alphagen_qlib/stock_data.py 中的 qlib.init(provider_uri=path) 参数。

基本使用

1. 运行强化学习实验 (核心功能)

这是 AlphaGen 的主要功能，使用 PPO 算法挖掘因子组合。在项目根目录下以模块方式运行：

python -m scripts.rl.py --help

查看参数说明后，执行训练示例（指定数据范围和目标）：

python -m scripts.rl.py \
    --instruments all \
    --start_time 2008-01-01 \
    --end_time 2020-08-01 \
    --target 20d \
    --save_path ./results/rl_model \
    --tensorboard_log ./logs

• 训练完成后，模型检查点和生成的因子池将保存在 --save_path 指定的目录中。
• 因子池以人类可读的 JSON 格式存储。
• 可通过 TensorBoard 查看训练日志：tensorboard --logdir ./logs

2. 运行基线对比实验

项目内置了遗传规划 (GP) 和深度符号回归 (DSO) 作为基线。

• 遗传规划 (GP):

  python -m scripts.gp.py --help
  

• 深度符号回归 (DSO):

  python -m scripts.dso.py --help
  

3. 基于大语言模型 (LLM) 的因子生成 (实验性)

如果配置了 LLM API，可以运行纯 LLM 驱动的因子生成实验：

python -m scripts.llm_only.py --help

4. 自定义计算适配器

如果您已有自己的因子计算引擎，可实现 AlphaCalculator 抽象类来对接 AlphaGen 的核心逻辑，而无需使用内置的 Qlib 管道。关键接口包括：

• calc_single_IC_ret: 计算单个因子的 IC
• calc_mutual_IC: 计算两个因子间的互信息
• calc_pool_IC_ret: 计算因子组合后的 IC

详细接口定义请参阅 alphagen/data/calculator.py。