📖 简介

大型语言模型（Large Language Models）在代码和数学等可验证领域越来越多地使用强化学习进行后训练。然而，当前具有可验证奖励的强化学习（Reinforcement Learning with Verifiable Rewards, RLVR）方法仅从每次尝试的标量结果奖励中学习，造成了严重的信用分配瓶颈。许多可验证环境实际上提供了丰富的文本反馈，例如运行时错误或评估器评价，解释了尝试失败的原因。我们将此设置形式化为具有丰富反馈的强化学习（Reinforcement Learning with Rich Feedback, RLRF）：

我们提出了自蒸馏策略优化（Self-Distilled Policy Optimization, SDPO），这是一种强化学习框架，它利用模型自身高奖励轨迹的自蒸馏来增强基于策略的优化（on-policy optimization）。

SDPO 将分词化的反馈转换为密集的学习信号，无需任何外部教师或显式奖励模型。SDPO 将基于反馈条件化的当前模型视为自教师，并将其受反馈影响的下一个 token 预测蒸馏回策略中。通过这种方式，SDPO 利用了模型在上下文中回溯识别自身错误的能力。

---

📊 主要结果

无丰富环境反馈下的学习

当环境反馈稀疏或基于规则时，标准强化学习方法难以有效地传播学习信号。SDPO 通过重用高奖励轨迹（rollouts）作为隐式反馈来解决这一问题，即使在缺乏丰富环境反馈的情况下也能提供密集监督。

Olmo3-7B-Instruct 在化学任务上的训练进展。我们报告了每个问题 16 个样本的平均准确率以及 5 步的响应长度滚动平均值。我们针对该模型和任务报告了 GRPO 的最优超参数。每种配置运行 3 个种子，并以阴影区域报告标准误差。

***SDPO 与 GRPO 在推理相关基准测试上的比较。*我们分别报告了在 1 小时和 5 小时墙钟（wall-clock）训练时间内达到的最高 avg@16。SDPO 和基于策略的 GRPO 每生成批次执行一次梯度步骤，而 GRPO 执行 4 次离策略（off-policy）mini batch 步骤。我们根据 5 小时准确率选择 SDPO 和基线的最优超参数。每次运行在拥有 4 块 NVIDIA GH200 GPU 的节点上进行。加上初始化和验证，每次运行大约需要 6 小时。

---

有丰富环境反馈下的学习

在环境提供结构化或文本反馈的设置中，SDPO 自然地将这些信息纳入自蒸馏过程。通过将未来尝试的条件化建立在成功演示和失败尝试的反馈之上，SDPO 实现了更快的收敛和更稳定的训练。

带有丰富环境反馈的 SDPO。 左图：SDPO 受益于更密集的信用分配（logit > token > sequence-level），并且在有丰富反馈可用时始终优于 GRPO。 右图：自教师在训练过程中不断改进，最终学生显著超越初始教师。误差条显示了不同种子之间的变异性。

---

通过测试时自蒸馏解决难题

SDPO 还支持测试时自蒸馏（test-time self-distillation）。通过生成多个候选解决方案、识别高质量响应并将它们作为演示重用，模型可以在推理时间迭代优化其输出。这导致在没有额外训练的情况下，在硬推理任务上获得显著提升。

***在硬编码问题上的测试时自蒸馏。*SDPO 解决了基础模型和多轮交互都无法解决的问题，在生成预算范围内实现了更高的解决方案发现率。

---

🚀 快速开始

系统要求

• 操作系统： Linux（已在 SLES 15 SP5 和 Ubuntu 22.04 上测试）
• 硬件： NVIDIA GPU（兼容 CUDA）
• Python： 3.12（已在 3.12.3 上测试）
• CUDA 驱动： 与已安装的 PyTorch 版本兼容（见下文）。

---

安装

选项 1：Docker（推荐用于 HPC/GH200 集群）

对于配备 CUDA 13.1 的 NVIDIA GH200 (aarch64) 集群，我们提供了一个基于 NGC vLLM 容器的预配置 Dockerfile。

构建和部署：

# 构建镜像
podman build . -f Dockerfile.gh200 -t sdpo-gh200

# 导出供集群使用（enroot/squashfs）
enroot import -x mount -o sdpo-gh200.sqsh podman://localhost/sdpo-gh200:latest

[!NOTE] Docker 镜像使用 requirements-gh200.txt，其中包含来自 requirements-full.txt 的固定版本，排除了 NGC vLLM 容器中预安装的包（torch, vllm, flash-attn, xformers, triton）。

---

选项 2：本地安装

1. 安装 PyTorch：

• 适用于 Ampere/Hopper (RTX 30/40, H100)：

  pip install torch==2.5.1 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124
  

• 适用于 Blackwell (RTX 50, RTX PRO 2000 Blackwell)：

  pip install torch==2.7.0 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128
  

2. 安装 SDPO 及依赖项：

# 安装核心依赖（固定版本）
pip install -r requirements.txt

# 以可编辑模式安装 SDPO (verl)
pip install -e .

# 安装 Flash Attention 2（从源码编译）
pip install flash-attn --no-build-isolation

3. 可选：安装 SGLang/vLLM（高吞吐量推理框架）用于高吞吐量推理：

pip install -r requirements_sglang.txt

---

需求文件

文件	描述
requirements.txt	带有固定版本的核心依赖
requirements-gh200.txt	用于 NGC vLLM 容器（排除预装包）
requirements-full.txt	来自工作环境的完整 pip freeze
requirements_sglang.txt	用于本地推理的 SGLang/vLLM 堆栈
requirements-cuda.txt	Flash Attention（用于非 Docker 安装）

vLLM 版本说明：

# vllm==0.8.4       # GH200 集群
# vllm>=0.12.0      # Blackwell（RTX 50 系列，B100/B200）- 尚未完全测试

[!WARNING] Blackwell 架构支持（RTX 50 系列，B100/B200）尚未完全测试。

[!TIP] 为了可复现性，请使用 requirements-full.txt，其中包含来自已测试环境的精确版本。

[!NOTE] 关于 verl（Volcano Engine Reinforcement Learning，火山引擎强化学习框架）架构和高级配置的更具体说明，请参阅 官方 verl 仓库。

---

数据准备

数据已经加载并拆分到 datasets 目录中的训练集和测试集。您可以继续进行数据的预处理。

如果您想自己加载和处理数据，可以运行以下命令：

数据加载

加载数据的详细说明在 data/README.md 中提供。

下面提供了一个示例：

python data/load_dataset.py \
    --dataset_name Chemistry \
    --output_path datasets/sciknoweval/chemistry.json

要将数据拆分为训练集和测试集，请运行以下命令：

python data/split_tasks.py \
    --json_path datasets/sciknoweval/chemistry.json \
    --output_dir datasets/sciknoweval/chemistry \
    --test_ratio 0.1 \
    --seed 42

对于 LiveCodeBenchv6，将 单元测试 拆分为训练集和测试集，请运行以下命令：

python data/split_tests.py \
    --json_path datasets/lcb_v6.json \
    --output_dir datasets/lcb_v6

数据预处理

我们的实现使用 parquet（列式存储格式）格式存储数据。要预处理数据，请运行以下命令：

python data/preprocess.py \
    --data_source DATASET_PATH

DATASET_PATH 应包含 train.json 和 test.json 文件。

---

配置

在运行实验之前，请根据您的环境调整 verl/trainer/config/user.yaml 中的路径：

vars:
  dir: /path/to/your/SDPO              # 指向 SDPO 仓库的路径
  log_dir: /path/to/your/logs          # 日志目录
  ckpt_dir: /path/to/your/checkpoints  # 模型检查点目录

---

训练

复现结果（无丰富环境反馈）

运行以下命令以复现无丰富环境反馈的结果。

GRPO（组相对策略优化）基线：

bash experiments/generalization/run_baseline_grpo_all.sh

SDPO（自蒸馏策略优化）：

bash experiments/generalization/run_sdpo_all.sh

复现结果（有丰富环境反馈）

运行以下命令以复现有丰富环境反馈的结果。

GRPO（组相对策略优化）基线：

bash experiments/rich_feedback/run_baseline_grpo.sh

SDPO（自蒸馏策略优化）：

bash experiments/rich_feedback/run_sdpo.sh

---

第 5 节的多轮基线

通过将数据拆分为单个任务来准备数据：

export MY_DATA_SPLITS_DIR=lcb_v6
export MY_DATA_SINGLES_DIR=lcb_v6_singles
bash dat/prepare_data_splits.sh datasets/lcb_v6.json

运行多轮基线，例如问题 120：

python baseline_multiturn/multiturn.py --data-dir=lcb_v6_singles/q_120 --run-name multiturn_q120

或者，针对所有难题：

bash experiments/ttt/run_multiturn_all.sh

---

使用说明文档

本节记录 SDPO 在基础 verl 框架之上添加的配置选项。

策略损失配置

位于配置中的 actor.policy_loss。

• loss_mode (str, default: "vanilla"): 损失函数模式。设置为 "sdpo" 以启用自蒸馏。选项：vanilla（标准模式）, sdpo。

自蒸馏配置

位于配置中的 actor.self_distillation。仅在 actor.policy_loss.loss_mode = "sdpo" 时激活。

核心设置

• full_logit_distillation (bool, default: True): 是否使用完整 Logits（对数几率）KL（Kullback-Leibler 散度）蒸馏。

• alpha (float, default: 0.5): KL 插值系数。0.0 = 前向 KL，1.0 = 反向 KL，0.5 = JSD（杰森-香农散度）。

• success_reward_threshold (float, default: 1.0): 被视为成功演示的最小序列奖励。

• teacher_regularization (str, default: "ema"): 教师正则化模式。选项：ema（指数移动平均）, trust-region（信任区域）。注意：如果使用 ema，RefWorker 上的模型将作为指数移动平均值更新。trust-region 需要 use_fused_kernels = False。

• teacher_update_rate (float, default: 0.05): 教师权重的 EMA 更新率，或信任区域混合系数。

• distillation_topk (int | None, default: 100): 如果设置，则使用 top-k logits 进行蒸馏而不是完整分布。

• distillation_add_tail (bool, default: True): 是否为 top-k 蒸馏添加尾部桶。

• is_clip (float | None, default: 2.0): 重要性采样（IS）比率的裁剪值。None 禁用 IS 加权。

重提示设置

• max_reprompt_len (int, default: 10240): 重提示提示的最大 Token（词元）长度。

• reprompt_truncation (str, default: "right"): 重提示提示的截断方法。选项：left, right, error。

• dont_reprompt_on_self_success (bool, default: True): 如果为 True，不使用样本自身的成功响应作为演示。

• remove_thinking_from_demonstration (bool, default: True): 是否从演示中移除 <thinking> 标签。

模板设置

• reprompt_template (str): 重提示的主要模板。占位符：{prompt}, {solution}, {feedback}。

• solution_template (str): 解决方案部分的模板。占位符：{successful_previous_attempt}。

• feedback_template (str): 反馈部分的模板。占位符：{feedback_raw}。

反馈设置

• include_environment_feedback (bool, default: True): 是否在重提示中包含环境反馈（例如测试错误）。

• environment_feedback_only_without_solution (bool, default: True): 如果为 True，仅在没有可用成功解决方案时使用反馈。

引用

如果您发现这项工作有所帮助，请引用我们。

@article{hubotter2026reinforcement,
  title = {Reinforcement Learning via Self-Distillation},
  author = {Hübotter, Jonas and Lübeck, Frederike and Behric, Lejs and Baumann, Anton and Bagatella, Marco and Marta, Daniel and Hakimi, Ido and Shenfeld, Idan and Kleine Buening, Thomas and Guestrin, Carlos and Krause, Andreas},
  year = {2026},
  journal = {arXiv preprint arXiv:2601.20802},
}

致谢

我们的实现基于 verl 的较新版本。

SDPO 快速上手指南

SDPO (Self-Distilled Policy Optimization) 是一种基于强化学习的框架，通过模型自身的高奖励轨迹进行自蒸馏，无需外部教师或显式奖励模型即可增强策略优化。适用于代码、数学等可验证领域的强化学习场景。

---

🛠️ 环境准备

• 操作系统: Linux (推荐 Ubuntu 22.04 或 SLES 15 SP5)
• 硬件: NVIDIA GPU (需支持 CUDA)
• Python: 3.12 (测试版本 3.12.3)
• CUDA: 与安装的 PyTorch 版本兼容

注意:

• Ampere/Hopper 架构 (RTX 30/40, H100): 使用 CUDA 12.4
• Blackwell 架构 (RTX 50, B100/B200): 使用 CUDA 12.8 (尚未完全测试)

---

🚀 安装步骤

1. 安装 PyTorch

根据您的显卡架构选择对应的命令：

Ampere / Hopper (RTX 30/40, H100):

pip install torch==2.5.1 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

Blackwell (RTX 50, RTX PRO 2000 Blackwell):

pip install torch==2.7.0 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128

2. 安装 SDPO 核心依赖

# 安装核心依赖 (固定版本)
pip install -r requirements.txt

# 以可编辑模式安装 SDPO (verl)
pip install -e .

# 编译安装 Flash Attention 2
pip install flash-attn --no-build-isolation

3. 可选：高性能推理支持

如需使用 SGLang/vLLM 进行高吞吐量推理：

pip install -r requirements_sglang.txt

提示: 建议使用 requirements-full.txt 以确保环境复现性。若使用 HPC/GH200 集群，推荐使用 Docker 方案（见 README）。

---

💻 基本使用

1. 数据准备

数据已预置于 datasets 目录。如需自行加载和预处理：

加载数据集：

python data/load_dataset.py \
    --dataset_name Chemistry \
    --output_path datasets/sciknoweval/chemistry.json

划分训练/测试集：

python data/split_tasks.py \
    --json_path datasets/sciknoweval/chemistry.json \
    --output_dir datasets/sciknoweval/chemistry \
    --test_ratio 0.1 \
    --seed 42

数据预处理 (Parquet 格式)：

python data/preprocess.py \
    --data_source DATASET_PATH

2. 配置修改

在运行实验前，请修改配置文件 verl/trainer/config/user.yaml，设置以下路径：

vars:
  dir: /path/to/your/SDPO              # SDPO 仓库路径
  log_dir: /path/to/your/logs          # 日志目录
  ckpt_dir: /path/to/your/checkpoints  # 检查点目录

启用 SDPO 模式： 确保在配置文件中将策略损失模式设置为 sdpo：

actor:
  policy_loss:
    loss_mode: "sdpo"  # 默认是 "vanilla"，改为 "sdpo" 启用自蒸馏

3. 开始训练

无丰富环境反馈场景 (通用泛化)：

运行 SDPO 基线：

bash experiments/generalization/run_sdpo_all.sh

有丰富环境反馈场景：

运行 SDPO 基线：

bash experiments/rich_feedback/run_sdpo.sh

提示: 训练完成后，可通过 W&B 查看日志监控训练进度。