---

RewardBench 是一个用于评估奖励模型能力与安全性的基准测试平台，涵盖通过直接偏好优化（DPO）等方法训练的模型。该仓库包含以下内容：

• 针对多种奖励模型（如 Starling、PairRM、OpenAssistant、DPO 等）的通用推理代码。
• 用于公平评估奖励模型的通用数据格式化与测试工具。
• 分析与可视化工具。

以下是生成结果的三个主要脚本（更多脚本位于 scripts/ 目录中）：

1. scripts/run_rm.py：运行奖励模型的评估。
2. scripts/run_dpo.py：运行直接偏好优化（DPO）模型及其他使用隐式奖励的模型（如 KTO）的评估。
3. scripts/run_v2.py：运行 RewardBench 2 的评估，特别处理四选一及平局数据。

快速使用

RewardBench 可让您快速评估任意奖励模型在任何偏好数据集上的表现。它还能检测是否传入了指令数据集（通过检查是否存在 chosen/rejected 字段以及 messages 字段），对于这类数据集，仅会记录模型输出，而不计算准确率。

安装

推荐使用 UV：

uv pip install rewardbench

# 对于生成式模型（LLM-as-judge、vLLM、API 提供者）
uv pip install rewardbench[generative]

使用 pip：

pip install rewardbench

# 对于生成式模型
pip install rewardbench[generative]

开发模式：

git clone https://github.com/allenai/reward-bench.git
cd reward-bench
uv sync                      # 基础安装
uv sync --extra generative   # 添加生成式支持

要运行 RewardBench 2，您可以执行以下命令，替换为您想要运行的模型，并添加任何特定于模型的参数，这些参数可在 scripts/configs/eval_configs.yaml 文件中的 评估配置 中找到：

python scripts/run_v2.py --model={yourmodel}

生成式模型可以在 RewardBench 2 上以排名式提示（一次比较 4 条响应，默认设置）或评分式提示（分别对每条响应打分后再综合，使用 --score_w_ratings 标志运行）方式运行。请注意，RewardBench 2 新增的“平局”子集每个提示最多有 20 多条完成内容需要评分，因此代码强制要求以评分模式运行。更多信息请参阅 scripts/run_generative_v2.py。如需为您的模型添加自定义提示，欢迎提交 PR。

python scripts/run_generative_v2.py --model={yourmodel}

或者，若要运行 RewardBench，则可执行以下命令：

rewardbench --model={yourmodel} --dataset={yourdataset} --batch_size=8

对于 DPO 模型，请传入 --ref_model={}，脚本将自动进行相应处理。默认使用 Tokenizers 的聊天模板，也可选择 fastchat 的对话模板。

要运行核心 Reward Bench 评估集，只需执行：

rewardbench --model={yourmodel}

示例：

1. 正常操作

rewardbench --model=OpenAssistant/reward-model-deberta-v3-large-v2 --dataset=allenai/ultrafeedback_binarized_cleaned --split=test_gen --chat_template=raw

2. 使用本地数据集的 DPO 模型（注意 --load_json 参数）

rewardbench --model=Qwen/Qwen1.5-0.5B-Chat --ref_model=Qwen/Qwen1.5-0.5B --dataset=/net/nfs.cirrascale/allennlp/jacobm/herm/data/berkeley-nectar-binarized-preferences-random-rejected.jsonl --load_json

生成式奖励模型可在安装时加上 [generative] 选项后运行（见上文安装部分）：

rewardbench-gen --model={}

更多信息请参阅 scripts/run_generative.py。本地模型需要 vLLM 支持，而 API 模型则支持 OpenAI、Anthropic、Google Gemini 和 Together。

日志记录

CLI 提供多项高级保存功能，可用于记录 模型输出 和 准确率分数。这些日志可以与您拥有的奖励模型元数据关联，或作为单独的数据集上传至 HuggingFace，例如用于拒绝采样场景。例如，以下命令同时完成这两项操作：

rewardbench --model vwxyzjn/reward_modeling__EleutherAI_pythia-14m --batch_size 128 --tokenizer=EleutherAI/pythia-14m --push_results_to_hub --upload_model_metadata_to_hf --chat_template raw

或者，针对指令数据集：

rewardbench --model vwxyzjn/reward_modeling__EleutherAI_pythia-14m --dataset HuggingFaceH4/no_robots --split test --batch_size 128 --tokenizer=EleutherAI/pythia-14m --push_results_to_hub --chat_template raw

（注意，仅较旧的模型才需要指定聊天模板）

关键命令包括：

• --push_results_to_hub：将分数和正确性结果上传为数据集。
• --upload_model_metadata_to_hf：直接将结果添加到模型元数据中。

有关带有准确率元数据的模型示例，请参阅 此处。关于偏好数据集输出的示例，请参阅 此处，相关说明请参阅 此处。

目前，此功能仅适用于偏好数据集中的 DPO 模型，例如：

rewardbench --model Qwen/Qwen1.5-0.5B-Chat --ref_model Qwen/Qwen1.5-0.5B  --batch_size 128 --tokenizer=EleutherAI/pythia-14m --push_results_to_hub --upload_model_metadata_to_hf --chat_template raw

如需完整功能，请提交问题。

完整安装

要从源代码安装，请先在您的系统上安装 torch，然后安装以下依赖项。

pip install -e .

可选地，对于生成脚本，运行：

pip install -e ".[generative]"

将以下内容添加到您的 .bashrc 文件中：

export HF_TOKEN="{your_token}"

训练

对于训练，我们建议使用 open-instruct。

贡献您的模型

目前，为了将您的模型提交到排行榜，您需要在 HuggingFace 上以模型名称创建一个议题（您仍然可以使用 RewardBench 评估本地模型，详见下文）。如果需要自定义代码，请提交一个 Pull Request，在我们的推理栈中启用该功能（更多信息请参阅 rewardbench/models）。

模型评估

参考配置文件请见 scripts/configs/eval_configs.yaml。关于聊天模板的参考，许多模型遵循 这里 的基础或 SFT 模型术语。一个用于调试的小型模型可在 natolambert/gpt2-dummy-rm 找到。

核心脚本会自动评估我们的核心评估集。要在 现有偏好数据集 上运行这些脚本，需添加参数 --pref_sets。

运行奖励模型

要使用 scripts/run_rm.py 运行单个模型，可以使用以下示例之一：

python scripts/run_rm.py --model=openbmb/UltraRM-13b --chat_template=openbmb --batch_size=8
python scripts/run_rm.py --model=OpenAssistant/oasst-rm-2.1-pythia-1.4b-epoch-2.5 --chat_template=oasst_pythia
python scripts/run_rm.py --model=PKU-Alignment/beaver-7b-v1.0-cost --chat_template=pku-align --batch_size=16
python scripts/run_rm.py --model=IDEA-CCNL/Ziya-LLaMA-7B-Reward --batch_size=32 --trust_remote_code --chat_template=Ziya

要在 AI2 基础设施上运行这些模型，执行：

python scripts/submit_eval_jobs.py

或者，例如，在非默认镜像上进行 N 次最佳选择评估：

python scripts/submit_eval_jobs.py --eval_on_bon --image=nathanl/herm_bon

注意：对于 AI2 用户，必须运行 beaker secret write HF_TOKEN <your_write_token_here>，才能使脚本正常工作。

使用默认抽象 AutoModelForSequenceClassification.from_pretrained 的模型也可以在本地加载。扩展此功能目前是待办事项。例如：

python scripts/run_rm.py --model=/net/nfs.cirrascale/allennlp/hamishi/EasyLM/rm_13b_3ep --chat_template=tulu --batch_size=8

运行 DPO 模型

对于 DPO：

python scripts/run_dpo.py --model=stabilityai/stablelm-zephyr-3b --ref_model=stabilityai/stablelm-3b-4e1t --batch_size=8
python scripts/run_dpo.py --model=stabilityai/stablelm-2-zephyr-1_6b --ref_model=stabilityai/stablelm-2-1_6b --batch_size=16

奖励模型集成

对于已加入 RewardBench 的奖励模型，您可以运行离线集成测试，以近似在您的系统中使用多个奖励模型的效果。要尝试此操作，可以运行：

python analysis/run_ensemble_offline.py --models sfairXC/FsfairX-LLaMA3-RM-v0.1 openbmb/Eurus-RM-7b Nexusflow/Starling-RM-34B

运行生成式奖励模型（LLM 作为评判者）

支持本地和 API 模型。例如，运行 OpenAI 的模型：

python scripts/run_generative.py --model=gpt-3.5-turbo-0125

本地模型从 HuggingFace 加载，但部分模型也可通过 Together 的 API 获取。要在本地运行 Llama 3：

python scripts/run_generative.py --model=meta-llama/Llama-3-70b-chat-hf --force_local

或者，通过 Together 的 API 运行：

python scripts/run_generative.py --model=meta-llama/Llama-3-70b-chat-hf

我们正在增加对生成式集成的支持（目前仅通过 API），运行方式如下：

python scripts/run_generative.py --model gpt-3.5-turbo-0125 claude-3-sonnet-20240229 meta-llama/Llama-3-70b-chat-hf

注意：这些模型的数量必须是大于 1 的奇数。

创建 N 次最佳选择排名

要为整个数据集创建排名，运行（best_of 8 仅为占位符，16 应该足够，因为评估逻辑会处理较低的 best of N 数值）：

python scripts/run_bon.py --model=OpenAssistant/oasst-rm-2.1-pythia-1.4b-epoch-2.5 --chat_template=oasst_pythia --best_of=8 --debug

获取排行榜各部分得分

重要提示：我们使用按提示加权的分数来计算聊天、困难聊天、安全性和推理（此处数学与代码同等对待）等部分的得分，以避免过多地偏向于小规模子集（如 MT Bench 子集）。假设已安装 RewardBench，可以使用以下代码计算每个类别得分：

from rewardbench.constants import EXAMPLE_COUNTS, SUBSET_MAPPING
from rewardbench.utils import calculate_scores_per_section

metrics = {
  "alpacaeval-easy": 0.5,
  "alpacaeval-hard": 0.7052631578947368,
  "alpacaeval-length": 0.5894736842105263,
  "chat_template": "tokenizer",
  "donotanswer": 0.8235294117647058,
  "hep-cpp": 0.6280487804878049,
  "hep-go": 0.6341463414634146,
  "hep-java": 0.7073170731707317,
  "hep-js": 0.6646341463414634,
  "hep-python": 0.5487804878048781,
  "hep-rust": 0.6463414634146342,
  "llmbar-adver-GPTInst": 0.391304347826087,
  "llmbar-adver-GPTOut": 0.46808510638297873,
  "llmbar-adver-manual": 0.3695652173913043,
  "llmbar-adver-neighbor": 0.43283582089552236,
  "llmbar-natural": 0.52,
  "math-prm": 0.2953020134228188,
  "model": "PKU-Alignment/beaver-7b-v1.0-cost",
  "model_type": "序列分类器",
  "mt-bench-easy": 0.5714285714285714,
  "mt-bench-hard": 0.5405405405405406,
  "mt-bench-med": 0.725,
  "refusals-dangerous": 0.97,
  "refusals-offensive": 1,
  "xstest-should-refuse": 1,
  "xstest-should-respond": 0.284
}

# 计算并打印各部分得分
scores_per_section = calculate_scores_per_section(EXAMPLE_COUNTS, SUBSET_MAPPING, metrics)
print(scores_per_section)

仓库结构

├── README.md                   <- 面向使用该项目的研究人员的顶级 README
├── analysis/                   <- 用于分析 RewardBench 结果或其他奖励模型属性的工具目录
├── rewardbench/                <- 核心工具和建模文件
|   ├── models/                     ├── 用于运行现有奖励模型的独立文件
|   └── *.py                        └── RewardBench 工具和实用程序
├── scripts/                    <- 用于评估奖励模型的脚本和配置文件
├── tests                       <- 单元测试
├── Dockerfile                  <- 用于在 AI2 实现可重复且可扩展研究的构建文件
├── LICENSE
├── Makefile                    <- 包含诸如 `make style` 等命令的 Makefile
└── setup.py                    <- 使项目可通过 pip 安装（pip install -e .），从而可以导入 `alignment`

维护

本节专为 AI2 使用设计，但也可能对使用 Docker 评估模型的其他用户有所帮助。

Docker 镜像

提供了两个 Docker 镜像：

镜像	Dockerfile	使用场景	构建时间
rewardbench	Dockerfile	奖励模型、基于 API 的大语言模型评判器	~5–10 分钟
rewardbench-vllm	Dockerfile.vllm	通过 vLLM 进行本地大语言模型推理	~45 分钟

基础镜像使用 torch ≤2.8，并预构建了 flash-attn 轮子包。vLLM 镜像则使用 torch 2.9（vLLM 所需版本），并从源代码编译 flash-attn。

在本地构建：

# 基础镜像（快速）
docker build -t rewardbench . --platform linux/amd64

# vLLM 镜像（较慢，包含本地大语言模型推理）
docker build -f Dockerfile.vllm -t rewardbench-vllm . --platform linux/amd64

镜像会在合并到主分支时自动构建并推送到 Beaker：

• nathanl/rewardbench_auto：基础镜像
• nathanl/rewardbench_vllm_auto：vLLM 镜像

引用

请使用以下引用格式来引用我们的工作：

@misc{lambert2024rewardbench,
      title={RewardBench：评估用于语言建模的奖励模型}, 
      author={Nathan Lambert、Valentina Pyatkin、Jacob Morrison、LJ Miranda、Bill Yuchen Lin、Khyathi Chandu、Nouha Dziri、Sachin Kumar、Tom Zick、Yejin Choi、Noah A. Smith 和 Hannaneh Hajishirzi},
      year={2024},
      eprint={2403.13787},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

@misc{malik2025rewardbench2advancingreward,
      title={RewardBench 2：推进奖励模型评估}, 
      author={Saumya Malik、Valentina Pyatkin、Sander Land、Jacob Morrison、Noah A. Smith、Hannaneh Hajishirzi 和 Nathan Lambert},
      year={2025},
      eprint={2506.01937},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2506.01937}, 
}

RewardBench 快速上手指南

RewardBench 是一个用于评估奖励模型（Reward Models，包括通过 DPO 训练的模型）能力和安全性的基准测试工具。本指南帮助中国开发者快速完成环境配置并运行评估。

环境准备

• 操作系统: Linux / macOS (Windows 需使用 WSL2)
• Python 版本: 3.8+
• 前置依赖:
  • 已安装 torch (PyTorch)
  • 若需评估生成式模型（LLM-as-judge），建议安装 vLLM 或配置相关 API Key
• 网络要求: 需要访问 Hugging Face。国内用户建议配置镜像源或代理以加速模型和数据集下载。
  • 设置环境变量（可选，加速下载）：

    export HF_ENDPOINT=https://hf-mirror.com
    export HF_TOKEN="your_huggingface_token"
    

安装步骤

推荐使用 uv 进行安装（速度更快），也可使用标准 pip。

方式一：使用 UV 安装（推荐）

# 安装基础版（适用于判别式奖励模型）
uv pip install rewardbench

# 安装完整版（包含生成式模型支持，如 LLM-as-judge, vLLM, API 提供商）
uv pip install rewardbench[generative]

方式二：使用 Pip 安装

# 安装基础版
pip install rewardbench

# 安装完整版（含生成式支持）
pip install rewardbench[generative]

方式三：源码安装（开发模式）

git clone https://github.com/allenai/reward-bench.git
cd reward-bench
uv sync                      # 基础安装
uv sync --extra generative   # 包含生成式支持

基本使用

安装完成后，您可以直接使用命令行工具评估模型。

1. 评估核心奖励模型 (Reward Models)

运行默认的核心评估数据集：

rewardbench --model={your_model_name}

示例：评估 OpenAssistant 的奖励模型

rewardbench --model=OpenAssistant/reward-model-deberta-v3-large-v2 --dataset=allenai/ultrafeedback_binarized_cleaned --split=test_gen --chat_template=raw

2. 评估 DPO 模型

对于 DPO 模型，需同时指定主模型和参考模型（ref_model），脚本会自动路由：

rewardbench --model={model_name} --ref_model={ref_model_name}

示例：

rewardbench --model=Qwen/Qwen1.5-0.5B-Chat --ref_model=Qwen/Qwen1.5-0.5B --batch_size=128 --tokenizer=EleutherAI/pythia-14m --chat_template=raw

3. 评估生成式模型 (LLM-as-a-judge)

若安装了 [generative] 扩展，可使用 rewardbench-gen 命令：

rewardbench-gen --model={your_model_name}

示例（本地运行 Llama 3）：

python scripts/run_generative.py --model=meta-llama/Llama-3-70b-chat-hf --force_local

示例（调用 API）：

python scripts/run_generative.py --model=gpt-3.5-turbo-0125

4. 运行 RewardBench V2 (新版)

针对 RewardBench 2 的特殊数据处理（如 Best-of-4 和 Ties 数据）：

python scripts/run_v2.py --model={your_model_name}

提示: 具体模型的配置参数（如 chat_template）可参考仓库中的 scripts/configs/eval_configs.yaml 文件。常用模板名称可在 FastChat 项目中查找。