深度符号优化

深度符号优化（DSO）是一个用于符号优化任务的深度学习框架。dso 包含核心的符号优化算法，并支持两种特定的符号优化任务：(1) 符号回归（从输入数据集中恢复可处理的数学表达式）和 (2) 为强化学习环境发现 符号策略。在代码中，这些任务分别称为 regression 和 control。我们还提供了一个简单的接口来定义新的任务。

注意 正在寻找基于 PyTorch 的现代代码库吗？请参阅 https://github.com/dso-org/deep-symbolic-optimization-pytorch — 这是 DSO 的重构版本，将所有神经网络组件中的 TensorFlow 替换为 PyTorch。

在符号回归方面，DSO 已经在 SRBench 基准测试集上进行了基准测试，并在符号解率和准确解率方面均达到了最先进的水平：

DSO 还在 GECCO 2022 大会上举行的 2022 年 SRBench 符号回归竞赛的真实世界赛道中获得了 第一名。

此仓库包含支持以下出版物的代码：

1. Petersen 等人，2021 年 深度符号回归：通过风险偏好型策略梯度从数据中恢复数学表达式。 ICLR 2021。 口头报告 论文
2. Landajuela 等人，2021 年 使用深度强化学习发现符号策略。 ICML 2021。 论文
3. Mundhenk 等人，2021 年 通过神经引导的遗传编程种群播种进行符号回归。 NeurIPS 2021 论文
4. Landajuela 等人，2022 年 深度符号回归的统一框架。 NeurIPS 2022 论文
5. Landajuela 等人，2021 年 改进策略梯度搜索中的探索：应用于符号优化。 Math-AI @ ICLR 2021。 论文
6. Kim 等人，2020 年 用于深度符号回归的交互式可视化平台。 IJCAI 2020。 论文
7. Petersen 等人，2021 年 通过现场先验和约束将领域知识融入神经引导搜索 AutoML @ ICML 2021。 论文
8. Kim 等人，2021 年 将维基百科的数学知识提炼到神经网络模型中。 Math-AI @ ICLR 2021。 论文
9. Silva 等人，2022 年 利用语言模型高效学习符号优化解决方案 ALA Workshop 2022。 论文
10. Glatt 等人，2022 年 用于固定拓扑功率转换器中电气元件尺寸确定的深度符号优化 AI for Design and Manufacturing (ADAM) @ AAAI 2022。 论文
11. Pettit 等人，2025 年 DisCo-DSO：耦合离散与连续优化，以实现混合空间中的高效生成式设计。 AAAI 2025 论文 博客文章

安装

安装 - 核心包

核心包已在 Unix 和 OSX 上的 Python 3.6+ 环境中进行了测试。要安装核心包（以及默认的 regression 任务），我们强烈建议首先创建一个 Python 3 虚拟环境，例如：

python3 -m venv venv3 # 创建 Python 3 虚拟环境
source venv3/bin/activate # 激活虚拟环境

然后，在仓库根目录下执行：

pip install --upgrade setuptools pip
export CFLAGS="-I $(python -c "import numpy; print(numpy.get_include())") $CFLAGS" # 在 Mac 上需要防止致命错误：“numpy/arrayobject.h”文件未找到
pip install -e ./dso # 安装 DSO 包及核心依赖项

默认情况下会安装 regression 任务。它不需要下面的任何安装选项。

安装 - control 任务

运行 control 任务需要一些额外的依赖项。可以使用以下命令安装：

pip install -e ./dso[control]

安装 - 所有任务

要安装所有任务的所有依赖项，请使用 all 选项：

pip install -e ./dso[all]

开始使用

DSO 依靠 JSON 文件来配置运行，然后通过简单的命令行或几行 Python 代码来启动它们。

方法 1：通过命令行界面运行 DSO

创建好配置文件后，只需运行：

python -m dso.run path/to/config.json

训练完成后，结果会保存到 "logdir" 参数指定路径下的带时间戳的目录中（默认为 ./log）。

方法 2：通过 Python 接口运行 DSO

Python 接口允许用户通过 Python 脚本、交互式 Python shell 或 iPython 笔记本实例化和自定义 DSO 模型。核心 DSO 模型是 dso.core.DeepSymbolicOptimizer。创建好配置文件后，可以使用：

from dso import DeepSymbolicOptimizer

# 创建并训练模型
model = DeepSymbolicOptimizer("path/to/config.json")
model.train()

训练完成后，结果会保存到 config["training"]["logdir"] 中指定路径下的带时间戳的目录中（默认为 ./log）。

配置运行

每个运行都使用一个单独的 JSON 文件进行配置。该文件指定了符号优化任务和所有超参数。

每个配置 JSON 文件都有多个顶级键，用于控制 DSO 框架的各个部分。重要的顶级键包括：

• "experiment" 配置实验，即日志目录和随机数种子。
• "task" 配置任务，例如符号回归的数据集，或 control 任务的 Gym 环境。有关任务特定配置，请参见下文。
• "logging" 配置算法执行的输出文件，例如 "save_all_iterations" 用于保存每次迭代的详细统计信息。
• "training" 配置训练超参数，如 "n_samples"（要生成的样本总数）和 "epsilon"（风险偏好型策略梯度使用的风险因子）。
• "policy" 配置策略超参数，如 "max_length" 和 "num_layers"。
• "policy_optimizer" 配置策略优化超参数，如 "learning_rate" 和 "optimizer"。
• "gp_meld" 配置遗传编程超参数。
• "prior" 配置搜索空间上的先验和约束。

配置文件中未包含的任何参数都将采用默认值，这些默认值位于 config/config_common.json、config/config_regression.json（用于 regression 任务）和 config/config_control.json（用于 control 任务）中。

配置符号回归任务

以下是 regression 任务的 JSON 配置文件示例：

{
  "task" : {
    "task_type" : "regression",
    "dataset" : "path/to/my_dataset.csv",
    "function_set" : ["add", "sub", "mul", "div", "sin", "cos", "exp", "log", "poly"]
  }
}

此配置将使 DSO 学习符号表达式以拟合您的自定义数据集，并使用 function_set 中指定的函数符号（有关支持的符号列表，请参阅 dso/functions.py）。

在完成设置后，您可以使用默认配置直接运行符号回归任务，例如：

python -m dso.run dso/config/config_regression.json --b Nguyen-7

这将使用基准测试 Nguyen-7 运行 DSO 的回归任务。

如果您希望在搜索空间中包含优化后的浮点常数，只需在 function_set 列表中添加 "const" 即可。请注意，常数优化会引入一个内部优化循环，从而显著增加运行时间（从几分钟延长至数小时）。

若要将强大的 LINEAR 符号（代码中称为 poly）——该符号是在 NeurIPS 2022 统一深度符号回归 (uDSR) 论文中提出的——纳入搜索空间，只需在 function_set 列表中添加 "poly" 即可。多项式优化会带来一定的额外开销，但远小于 const 符号；因此，我们强烈建议在大多数应用中使用此符号。

您还可以通过调整配置中的 poly_optimizer_params 参数进一步配置 LINEAR/poly 符号，例如：

{
  "task" : {
    "task_type" : "regression",
    "dataset" : "path/to/my_dataset.csv",
    "function_set" : ["add", "sub", "mul", "div", "sin", "cos", "exp", "log", "poly"],
    "poly_optimizer_params" : {
      "degree": 3,
      "coef_tol": 1e-6,
      "regressor": "dso_least_squares",
      "regressor_params": {}
    }
  }
}

在 poly_optimizer_params 中，degree 指定要拟合的多项式的次数，coef_tol 是用于移除系数足够小的项的阈值，而 regressor 是用于学习多项式系数的底层回归器。默认的 regressor 是我们自主研发的最小二乘法实现 dso_least_squares，它会在表达式学习过程中优化拟合过程。除了 dso_least_squares 外，我们还支持 sklearn 提供的线性回归、Lasso 和 Ridge 回归器。根据所选的 regressor，可以通过 regressor_params 配置相关参数。

配置符号控制策略学习任务

以下是 control 任务的简单示例：

{
  "task" : {
    "task_type" : "control",
    "env" : "MountainCarContinuous-v0",
    "function_set" : ["add", "sub", "mul", "div", "sin", "cos", "exp", "log", 1.0, 5.0, 10.0]
  }
}

此配置将使 DSO 学习适用于 MountainCarContinuous-v0 的符号策略，并使用 function_set 中指定的函数符号（有关支持的符号列表，请参阅 dso/functions.py）。

对于具有多维动作空间的环境，DSO 需要一个预先训练好的“锚点”策略。DSO 会针对每个动作维度分别运行一次，并且每次运行时都会更新 "action_spec" 参数。对于具有 N 个动作维度的环境，"action_spec" 是一个长度为 N 的列表。其中一个元素应为 null，表示该位置是要学习的符号动作；任意数量的元素可以设置为 "anchor"，表示由锚点策略决定这些动作；也可以有任意数量的元素是表达式遍历形式（如 ["add", "x1", "x2"]），表示由固定的符号策略决定这些动作。

以下是以 HopperBulletEnv-v0 为例的工作流程，该环境有三个动作维度。首先，通过运行如下配置来学习第一个动作的符号策略：

{
  "task" : {
    "task_type" : "control",
    "name" : "HopperBulletEnv-v0",
    "function_set" : ["add", "sub", "mul", "div", "sin", "cos", "exp", "log", 1.0, 5.0, 10.0],
    "action_spec" : [null, "anchor", "anchor"],
    "anchor" : "path/to/anchor.pkl"
  }
}

其中 "path/to/anchor.pkl" 是一个 stable_baselines 模型的路径。（ICML 论文中使用的环境已经设置了默认的 anchor 值，因此无需另行指定。）运行完成后，假设最佳表达式为 ["add", "x1", "x2"]。为了启动第二轮 DSO，需更新配置中的 action_spec，将第一个动作固定为符号策略，学习第二个动作的符号策略，并继续使用锚点策略来确定第三个动作：

"action_spec" : [["add", "x1", "x2"], null, "anchor"]

再次运行 DSO 后，假设第二个动作的表达式为 ["div", "x3", "x4"]。最后，更新 action_spec 为：

"action_spec" : [["add", "x1", "x2"], ["div", "x3", "x4"], null]

然后重新运行 DSO。最终结果将是一个完全符号化的策略。

配置决策树策略学习任务

DSO 也可以配置为学习决策树策略。

这需要在 "task" 中指定 decision_tree_threshold_set，即在做出决策时对状态变量取值设定的一组阈值。

具体而言，对于 decision_tree_threshold_set 中的每个阈值 tj，所有状态变量 xi 的 StateChecker 符号 xi < tj 都会被添加到库中。

例如，对于 MountainCarContinuous-v0，配置示例如下：

{
  "task" : {
    "task_type" : "control",
    "env" : "MountainCarContinuous-v0",
    "function_set" : ["add", "sub", "mul", "div", "sin", "cos", "exp", "log", 1.0, 5.0, 10.0],
    "decision_tree_threshold_set" : [-0.05, 0.0, 0.01]
  }
}

除了 function_set 中指定的函数外，由于 MountainCarContinuous-v0 有两个状态变量，此配置还会将 x1 < -0.05、x1 < 0.0、x1 < 0.01、x2 < -0.05、x2 < 0.0 和 x2 < 0.01 添加到库中。

借助这些 StateChecker 符号，可以生成类似“如果 x1 < -0.05 且 x2 < 0.0，则动作为 exp(x1) + 1.0；否则，动作为 sin(10 * x2)”这样的决策树策略。

使用神经引导的遗传编程种群播种控制器

要启用 NeurIPS 2021 中提出的遗传编程内层优化器，您需要在配置中添加 "gp_meld" 字段。您可以尝试不同的参数设置，但最重要的是将 "run_gp_meld" 设置为 true。

{
  "gp_meld" : {
    "run_gp_meld" : true,
    "verbose" : false,
    "generations" : 20,
    "p_crossover" : 0.5,
    "p_mutate" : 0.5,
    "tournament_size" : 5,
    "train_n" : 50,
    "mutate_tree_max" : 3,
    "parallel_eval" : true
  }
}

Sklearn 接口

regression 任务 支持一个额外的 sklearn-like 回归器接口，以便您可以轻松地在自己的数据上尝试深度符号回归：

from dso import DeepSymbolicRegressor

# 生成一些数据
np.random.seed(0)
X = np.random.random((10, 2))
y = np.sin(X[:,0]) + X[:,1] ** 2

# 创建模型
model = DeepSymbolicRegressor() # 或者，您也可以传入自己的配置 JSON 路径

# 拟合模型
model.fit(X, y) # 应该在 ~10 秒内求解

# 查看最佳表达式
print(model.program_.pretty())

# 进行预测
model.predict(2 * X)

分析结果

DSO 的每次运行都会在 config["training"]["logdir"] 中保存一个带时间戳的日志目录。该目录内包含：

• dso_ExperimentName_0.csv: 此文件包含每个 epoch 的批次级汇总统计信息。后缀 _0 表示随机数种子为 0。（有关使用多个种子进行批量运行，请参阅“高级用法”。）
• dso_ExperimnetName_0_summary.csv: 此文件包含整个训练过程的汇总统计信息。
• dso_ExperimnetName_0_hof.csv: 此文件包含“名人堂”（训练期间发现的最佳序列）的统计信息。可通过编辑 config["training"]["hof"] 来设置要记录的名人堂成员数量。
• dso_ExperimnetName_0_pf.csv: 此文件包含训练期间发现的序列的帕累托前沿统计信息。这是一个奖励-复杂度前沿。
• config.json: 这是用于您运行的配置的“密集”版本，明确包含了所有参数。

高级用法

批量运行

DSO 的命令行界面支持 multiprocessing 并行化的批量模式，以并行运行多个任务。这对于大型运行非常推荐。批量模式的 DSO 可通过以下命令启动：

python -m dso.run path/to/config.json [--runs] [--n_cores_task] [--b] [--seed]

选项 --runs（默认值为 1）定义要执行的独立任务数量（使用不同的随机数种子）。regression 任务的计算效率足够高，可以并行运行多个任务。而对于 control 任务，我们建议使用默认的 --runs=1。

选项 --n_cores_task（默认值为 1）定义在 --runs 个任务中使用的并行进程数量。每个任务分配一个核心，因此 --n_cores_task 应小于或等于 --runs。（若要在单个任务内使用多个核心，即并行化奖励计算，请参阅 n_cores_batch 配置参数。）

如果提供了 --seed 选项，则会覆盖您配置中的 "seed" 参数。

默认情况下，DSO 将使用配置 JSON 中找到的任务规范。选项 --b（默认值为 None）用于通过命令行指定命名任务。例如，--b=path/to/mydata.csv 会在给定数据集上运行 DSO（regression 任务），而 --b=MountainCarContinuous-v0 会运行 MountainCarContinuous-v0 环境（control 任务）。这对于运行基准问题非常有用。

例如，要在 Nguyen-1 基准测试上使用 12 个核心训练 100 个独立运行，并使用种子 500 到 599：

python -m dso.run --b=Nguyen-1 --runs=100 --n_cores_task=12 --seed=500

添加自定义任务和先验

DSO 支持从您自己的模块添加自定义任务和先验。

要添加新任务，可以在配置文件中使用 task_type 关键字，格式如下：.:，指定实现 make_task 函数的源代码。

例如：

{
  "task" : {
    "task_type" : "custom_mod.my_source:make_task"
  }
}

同样，可以通过在配置文件的 prior 组中指定可找到 Prior 类的源代码来添加新的先验。

例如：

 "prior": {
      "uniform_arity" : {
         "on" : true
      },
      "custom_mod.my_source:CustomPrior" : {
         "loc" : 10,
         "scale" : 5,
         "on" : true
      }
  }

策略优化器

DSO 支持多种基于以下目标结构的策略优化器：

J(\theta) = \sum_{i=1}^N J(\tau; \theta) \text{ 其中 } J(\tau; \theta) \propto \log(p(\tau|\theta)).

可以通过重写 PolicyOptimizer 的 _set_up 方法来指定目标函数。 当前 DSO 支持以下策略优化器：

策略梯度优化器

给定一批设计 $\mathcal{T} = {\tau^{(i)}}_{i=1}^N$，其中 $\tau^{(i)} \sim p( \cdot | \theta)\ \forall 1 \leq i \leq N$：

\nabla_\theta J_\textrm{pg}(\theta; \varepsilon) \approx \frac{1}{\varepsilon N}\sum_{i=1}^N \left( R(\tau^{(i)}) - b \right) \cdot \mathbf{1}_{R(\tau^{(i)}) \geq \tilde{R}_\varepsilon(\theta) } 
\nabla_\theta \log p(\tau^{(i)} | \theta)

其中

\tilde{R}_\varepsilon(\theta) = \textrm{Q}_{1-\varepsilon}(\mathcal{T} ) 

（经验分位数）。

经典策略梯度

我们取：

b = \textrm{EWMA}_n \text{ 其中 } \textrm{EWMA}(n) = \alpha  \bar{R} + (1 - \alpha) \textrm{EWMA}_{n-1} \text{ 且 }\bar{R}  = \frac{1}{N} \sum_{i=1}^N R(\tau)

\varepsilon = 1.0

配置：

   training.epsilon: 1.0,
   training.baseline : "ewma_R",
   policy_optimizer.policy_optimizer_type : "pg"

风险偏好型策略梯度

b = \tilde{R}_\varepsilon(\theta)

\varepsilon = 0.05

配置：

   training.epsilon: 0.05,
   training.baseline : "R_e",
   policy_optimizer.policy_optimizer_type : "pg"

优先队列训练

给定一个最大奖励优先队列（MRPQ）：

\nabla_\theta J_\textrm{MRPQ}(\theta)= \frac{1}{k}\sum_{\tau\in\textrm{MRPQ}}\nabla_\theta \log p(\tau|\theta)

近端策略优化

给定一批设计 $\mathcal{T} = {\tau^{(i)}}_{i=1}^N$，其中 $\tau^{(i)} \sim p( \cdot | \theta) \forall i$：

对于 $1=1,\dots,K$，执行以下操作：

\theta \leftarrow \theta + \alpha \nabla J_{\text{PPO}}

其中

J_{\text{PPO}} (\theta) =\mathbb{E}_{\tau \sim \mathcal{T}} [ \min (r(\theta) (R(\tau) - b), \text{clip}(r(\theta), 1-\epsilon, 1 + \epsilon) (R(\tau ) - b) ]

代码依赖关系图

此处展示了核心依赖关系图。

引用本工作

要引用本工作，请根据最相关的任务和/或方法引用相应的论文。

要引用 regression 任务，请使用：

@inproceedings{petersen2021deep,
  title={深度符号回归：通过风险偏好型策略梯度从数据中恢复数学表达式},
  author={Petersen, Brenden K 和 Landajuela, Mikel 和 Mundhenk, T Nathan 和 Santiago, Claudio P 和 Kim, Soo K 和 Kim, Joanne T},
  booktitle={国际学习表示会议论文集},
  year={2021}
}

要引用 control 任务，请使用：

@inproceedings{landajuela2021discovering,
  title={利用深度强化学习发现符号策略},
  author={Landajuela, Mikel 和 Petersen, Brenden K 和 Kim, Sookyung 和 Santiago, Claudio P 和 Glatt, Ruben 和 Mundhenk, Nathan 和 Pettit, Jacob F 和 Faissol, Daniel},
  booktitle={国际机器学习会议},
  pages={5979--5989},
  year={2021},
  organization={PMLR}
}

要引用神经引导的遗传编程种群初始化方法，请使用：

@inproceedings{mundhenk2021seeding,
  title={基于神经引导的遗传编程种群初始化的符号回归},
  author={T. Nathan Mundhenk 和 Mikel Landajuela 和 Ruben Glatt 和 Claudio P. Santiago 和 Daniel M. Faissol 和 Brenden K. Petersen},
  booktitle={神经信息处理系统进展},
  year={2021}
}

要引用统一的深度符号回归（uDSR）方法或 LINEAR/poly 记号，请使用：

@inproceedings{landajuela2022unified,
title={深度符号回归的统一框架},
  author={Mikel Landajuela 和 Chak Lee 和 Jiachen Yang 和 Ruben Glatt 和 Claudio P. Santiago 和 Ignacio Aravena 和 Terrell N. Mundhenk 和 Garrett Mulcahy 和 Brenden K. Petersen},
  booktitle={神经信息处理系统进展},
  year={2022}
}

发布

LLNL-CODE-647188

Deep Symbolic Optimization (DSO) 快速上手指南

Deep Symbolic Optimization (DSO) 是一个用于符号优化任务的深度学习框架，主要支持符号回归（从数据中恢复数学表达式）和符号策略发现（强化学习环境中的控制策略）。

环境准备

• 操作系统: Linux (Unix) 或 macOS (OSX)。
• Python 版本: Python 3.6 及以上。
• 前置依赖: 建议先创建独立的虚拟环境以避免依赖冲突。
  • 注：国内用户可使用清华源或阿里源加速 pip 安装。

安装步骤

1. 创建并激活虚拟环境

python3 -m venv venv3
source venv3/bin/activate

2. 升级基础工具并设置环境变量

在 macOS 上需要设置 CFLAGS 以防止 numpy 头文件缺失错误，Linux 通常也可兼容此设置。

pip install --upgrade setuptools pip
export CFLAGS="-I $(python -c "import numpy; print(numpy.get_include())") $CFLAGS"

3. 安装 DSO 核心包

默认安装包含符号回归 (regression) 任务所需的所有依赖。

# 推荐使用国内镜像源加速安装
pip install -e ./dso -i https://pypi.tuna.tsinghua.edu.cn/simple

可选任务安装：

• 若需运行强化学习控制任务 (control)：pip install -e ./dso[control]
• 若需安装所有任务依赖：pip install -e ./dso[all]

基本使用

DSO 通过 JSON 配置文件定义任务和超参数，支持命令行和 Python 接口两种运行方式。

方法一：命令行运行（推荐）

直接使用内置配置运行基准测试（例如符号回归基准数据集 Nguyen-7）：

python -m dso.run dso/config/config_regression.json --b Nguyen-7

运行结束后，结果将保存在 log 目录下以时间戳命名的文件夹中。

方法二：Python 接口运行

适用于需要在脚本或 Notebook 中自定义流程的场景。

1. 准备配置文件：创建一个名为 config.json 的文件，内容如下（以自定义数据集的符号回归为例）：

   {
     "task" : {
       "task_type" : "regression",
       "dataset" : "path/to/my_dataset.csv",
       "function_set" : ["add", "sub", "mul", "div", "sin", "cos", "exp", "log", "poly"]
     }
   }
   

   提示：加入 "poly" 可启用线性/多项式优化令牌，显著提升大多数应用的效果；加入 "const" 可优化浮点常数，但会大幅增加运行时间。

2. 执行训练：

   from dso import DeepSymbolicOptimizer
   
   # 加载配置并初始化模型
   model = DeepSymbolicOptimizer("path/to/config.json")
   
   # 开始训练
   model.train()
   

训练完成后，日志和结果同样保存至配置中指定的 logdir（默认为 ./log）。