欢迎来到经验时代。——大卫·西尔弗、理查德·S·萨顿

🎉新闻

• [2026-03-10] 我们研究了无监督RLVR (URLVR) 的机制及其潜在应用，发现它特别适合于测试时训练以及量化模型先验。代码请见：此处。URLVR论文已被ICLR 2026接收！
• [2025-09-18] TTRL论文已被NeurIPS 2025接收！
• [2025-08-17] 我们遇到了verl v0.4.1，现在只需设置 +ttrl.enable=True 即可启用TTRL！
• [2025-05-23] 我们更新了论文和代码，实现基于verl。
• [2025-04-24] 我们发布了代码和实验日志。请查看：入门指南。
• [2025-04-23] 我们提出了TTRL（测试时强化学习），这是一种开源解决方案，用于在没有真实标签的数据上进行在线强化学习，尤其是测试数据。

📖简介

我们研究了在大型语言模型（LLMs）中针对推理任务，在无明确标签的数据上进行强化学习的问题。 该问题的核心挑战是在推理过程中无法获得真实标签信息的情况下进行奖励估计。尽管这一设定看似难以实现，但我们发现，测试时缩放（TTS）中的常见做法，如多数投票，能够产生出令人惊讶的有效奖励，足以驱动强化学习训练。

📊主要结果

我们的实验表明，TTRL在多种任务和模型上都能持续提升性能。值得注意的是，仅使用未标注的测试数据，TTRL就将Qwen-2.5-Math-7B在AIME 2024上的pass@1性能提升了约211%。

此外，尽管TTRL仅以maj@n指标为监督信号，其性能却始终超越初始模型的这一上限，并接近直接在带有真实标签的测试数据上训练的模型的水平。

✨入门指南

环境搭建

git clone https://github.com/PRIME-RL/TTRL.git

cd TTRL/verl

conda create -n ttrl python==3.10
conda activate ttrl
bash scripts/install_ttrl_deps.sh
pip install -e .

复现TTRL

您可以通过以下命令复现AIME 2024的结果：

bash examples/ttrl/Qwen2.5/aime.sh

[!NOTE]

• 您可以使用脚本verl/data/preprocess.py将数据从JSON格式转换为Parquet格式，以便使用verl进行训练。
• 我们在verl/examples/ttrl目录下提供了脚本，用于在多个模型和不同基准上运行TTRL。
• 如需了解更多关于代码的细节，请参阅verl文档。

此外，我们还使用代码预览版进行了三次独立运行。其中两次的pass@1（贪婪策略）达到了43.3，一次则达到了46.7。详情请参阅Weights & Biases日志。

所有实验均在8块NVIDIA A100 80GB GPU上进行。

伪代码

TTRL的实现只需简单修改奖励函数即可快速完成。具体细节请参见以下代码片段：

📨联系方式

• 张凯燕：zhang-ky22@mails.tsinghua.edu.cn
• 丁宁：dingning@mail.tsinghua.edu.cn

🎈引用

如果您觉得TTRL有所帮助，请引用我们的工作。

@article{zuo2025ttrl,
  title={Ttrl: Test-time reinforcement learning},
  author={Zuo, Yuxin and Zhang, Kaiyan and Sheng, Li and Qu, Shang and Cui, Ganqu and Zhu, Xuekai and Li, Haozhan and Zhang, Yuchen and Long, Xinwei and Hua, Ermo and others},
  journal={arXiv preprint arXiv:2504.16084},
  year={2025}
}

🌟星标历史

TTRL 快速上手指南

TTRL (Test-Time Reinforcement Learning) 是一个开源框架，旨在利用无标签的测试数据（如推理阶段数据），通过多数投票（Majority Voting）等机制构建奖励信号，对大语言模型进行在线强化学习训练，从而显著提升推理任务的性能。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python 版本: 3.10
• 硬件要求: 推荐使用 NVIDIA GPU (实验基于 8 x A100 80GB 进行，显存需求视模型大小而定)
• 前置依赖:
  • Git
  • Conda (或 Mamba)
  • CUDA Toolkit (需与 PyTorch 版本匹配)

国内加速建议： 建议使用国内镜像源加速依赖下载。

• Conda: 使用清华源 (https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/)
• Pip: 使用阿里源 (https://mirrors.aliyun.com/pypi/simple/) 或清华源

安装步骤

请依次执行以下命令克隆代码库并配置环境：

# 1. 克隆项目代码
git clone https://github.com/PRIME-RL/TTRL.git

# 2. 进入 verl 子目录 (TTRL 基于 verl 实现)
cd TTRL/verl

# 3. 创建并激活 Python 3.10 虚拟环境
conda create -n ttrl python==3.10
conda activate ttrl

# 4. 安装项目依赖
# 若下载缓慢，可先配置 pip 国内源：pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/
bash scripts/install_ttrl_deps.sh

# 5. 以编辑模式安装 verl/ttrl 包
pip install -e .

基本使用

安装完成后，您可以直接运行示例脚本来复现 AIME 2024 基准测试上的结果（以 Qwen2.5 模型为例）：

bash examples/ttrl/Qwen2.5/aime.sh

自定义数据与模型

• 数据格式转换：如果您有自己的 JSON 格式数据，可以使用提供的脚本将其转换为训练所需的 Parquet 格式：

  # 参考脚本路径
  verl/data/preprocess.py
  

• 更多示例：verl/examples/ttrl 目录下提供了针对不同模型和基准测试的运行脚本，可根据需求修改配置。
• 详细文档：更复杂的参数配置和高级用法请参考 verl 官方文档。

核心原理简述

TTRL 的核心在于修改奖励函数。无需真实标签，它通过生成多个样本并进行多数投票（Majority Voting）来估算奖励值，从而驱动强化学习更新。您只需在配置中启用 +ttrl.enable=True (基于 verl v0.4.1+) 即可使用该功能。