安装 | 使用 | 示例 | 引用

---

更新

• 2025年10月31日：我们提倡重新评估强化学习训练中的精度选择（Precision RL）——证明与事实上的BF16相比，FP16具有更优越的性能和稳定性。
• 2025年10月2日：我们新增了LoRA-RL支持，并验证其性能可与全量微调的强化学习相媲美（非常激动地被John Schulman重点推荐）。
• 2025年3月21日：我们集成了Dr. GRPO，该工具修复了GRPO中的优化偏差。
• 2025年1月26日：我们支持用于数学推理的可验证奖励强化学习（RLVR）。
• 2024年10月20日：我们开源了Oat，这是一个在线LLM对齐框架，是在一项关于在线LLM探索的研究项目中开发的（样本高效对齐）。

简介

Oat 🌾是一个简单而高效的框架，用于运行在线LLM对齐算法。其主要特性包括：

• 高效率：Oat实现了分布式“Actor-Learner-Oracle”架构，每个组件都使用最先进的工具进行优化：
  • Actor：利用vLLM加速在线响应采样。
  • Learner：借助DeepSpeed的ZeRO策略提升内存效率。
  • Oracle：由Mosec提供的基于模型的远程服务型oracle，支持动态批处理、数据并行和流水线并行。
• 简化的工作流程：Oat简化了LLM对齐的实验流程。通过在线提供的Oracle，我们可以灵活地查询偏好数据标注以及随时进行模型评估。你只需启动实验并在wandb上监控实时学习曲线（如胜率）即可——无需手动训练、保存检查点和加载模型进行评估。
• Oracle模拟：Oat提供多样化的oracle来模拟偏好/奖励/验证反馈。
  • 支持使用基于规则的函数实现可验证奖励。
  • 轻量级奖励模型可在actor进程中运行，从而在仅需两块GPU的情况下快速测试。
  • 更大、功能更强的奖励模型可以远程部署，充分利用额外的计算和内存资源。
  • 通过查询OpenAI API进行基于模型的成对排序，支持将LLM用作评判者。
• 易用性：Oat的模块化结构使研究人员能够轻松继承和修改现有类，从而快速原型设计和试验新算法。
• 前沿算法：Oat实现了最先进的在线算法，促进创新和公平的基准测试。
  • PPO/Dr.GRPO（在线强化学习）用于数学推理。
  • 在线DPO/SimPO/IPO用于在线偏好学习。
  • 在线探索（主动对齐）算法，包括SEA、APL和XPO。

安装

在支持版本的Python环境中（我们推荐3.10），你可以通过PyPI安装oat：

pip install vllm==0.8.4 && pip install -U oat-llm

或者你也可以以“可编辑”模式进行本地开发安装：

git clone git@github.com:sail-sg/oat.git
cd oat
pip install vllm==0.8.4 && pip install -e .

使用

• 使用Dr. GRPO进行类似R1-Zero的数学推理训练：单文件自包含实现，附带训练脚本。

• 多轮SFT：示例训练脚本。

• 带有主动探索的在线偏好学习：详细指南。

采用者

以下研究项目已构建或集成了Oat 🌾：

• 理解R1-Zero式训练：批判性视角
• VeriFree：无需验证器的通用推理增强
• SPIRAL：零和博弈中的自我博弈通过多智能体多轮强化学习激励推理
• GEM：面向代理型LLM的环境

引用

如果你觉得这个代码库对你的研究有所帮助，请考虑引用：

• LLM在线对齐框架：

  @misc{liu2024oat,
    title={OAT：一个适合研究的LLM在线对齐框架},
    author={刘子辰、陈昌宇、万欣怡、杜超、李伟孙、林敏},
    year={2024}
    howpublished={\url{https://github.com/sail-sg/oat}},
  }
  

• 在线探索方法：

  @article{liu2024sea,
    title={LLM的样本高效对齐},
    author={刘子辰、陈昌宇、杜超、李伟孙、林敏},
    journal={arXiv预印本arXiv:2411.01493},
    year={2024}
  }
  

许可证

oat根据Apache2许可证条款进行分发。

致谢

我们感谢以下优秀的项目为oat的发展做出了贡献：

• vLLM
• DeepSpeed
• Mosec
• launchpad
• OpenRLHF

免责声明

本产品并非Sea Limited或Garena Online Private Limited的官方产品。

OAT 快速上手指南

OAT (Online Alignment Tool) 是一个高效、简洁的在线大语言模型（LLM）对齐框架。它采用分布式的 Actor-Learner-Oracle 架构，集成了 vLLM、DeepSpeed 和 Mosec 等前沿工具，支持 PPO、Dr.GRPO、在线 DPO 及主动探索等多种先进算法，特别适用于数学推理和偏好学习场景。

环境准备

在开始安装前，请确保满足以下系统要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python 版本: 推荐 3.10 (支持范围请参考 PyPI 徽章)
• GPU: 需要 NVIDIA GPU 以加速推理和训练
• 前置依赖: 确保已安装 CUDA 驱动及对应的 CUDA Toolkit

国内加速建议： 建议使用国内镜像源加速 Python 包下载，例如清华源或阿里源。 设置方法：export PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

你可以选择通过 PyPI 直接安装稳定版，或通过源码安装以便进行开发调试。

方式一：PyPI 安装（推荐）

适用于快速体验和使用稳定版本。

pip install vllm==0.8.4 && pip install -U oat-llm

方式二：源码安装（可编辑模式）

适用于需要修改源码或贡献代码的开发者。

git clone git@github.com:sail-sg/oat.git
cd oat
pip install vllm==0.8.4 && pip install -e .

基本使用

OAT 提供了模块化的脚本和 Shell 示例，以下是几种典型场景的最简启动方式。

1. 数学推理训练 (Dr. GRPO)

运行类似 R1-Zero 的数学推理强化学习训练。该示例包含完整的单文件实现。

启动命令：

bash examples/math_rl.sh

说明：此脚本将调用 oat/experiment/run_math_rl.py，利用 Dr. GRPO 算法进行在线 RL 训练。

2. 多轮对话监督微调 (Multi-turn SFT)

执行多轮对话数据的监督微调任务。

启动命令：

bash examples/multi_turn_sft.sh

3. 在线偏好学习与主动探索

进行带有主动探索机制的在线偏好对齐（如 DPO/SimPO/IPO）。

参考文档： 详细配置与运行指南请参阅项目文档：

./docs/alignment_as_cdb.md

监控训练效果

OAT 默认集成 WandB 进行实时监控。启动实验后，无需手动加载检查点，即可在 WandB 面板上实时查看胜率（Win Rate）等学习曲线。

• 示例看板: oat-llm reproduced results