AlpacaFarm：一个用于研究从人类反馈中学习方法的仿真框架

自动标注器变更：OpenAI已将text-davinci-003 弃用，因此我们无法再使用原有的标注池来自动生成偏好（用于微调或评估）。为此，我们改用了来自AlpacaEval 1的GPT-4标注器。所有结果应与AlpacaEval 1中的模型进行比较，而非原始的AlpacaFarm结果。请注意，在这种新设置下可能不会出现过度优化现象（参见论文中的图4）。由此带来的不便，我们深表歉意。

---

关于从人类反馈中学习的研究与开发颇具挑战性，因为像RLHF这样的方法既复杂又成本高昂。AlpacaFarm是一个仿真平台，能够在远低于常规成本的情况下开展相关研究与开发，从而推动指令遵循和对齐领域的普惠性研究。

有关我们的研究成果，请参阅我们的论文和博客文章。

本仓库包含以下内容的代码：

• 模拟来自语言模型的偏好反馈，如GPT-4
• 针对指令遵循模型的自动化评估
• 基准方法的验证参考实现，如PPO和best-of-n

运行代码所需的数据托管在HuggingFace上：https://huggingface.co/datasets/tatsu-lab/alpaca_farm。

使用与许可说明：AlpacaFarm仅限于科研用途，并据此授权使用。数据集采用CC BY NC 4.0许可（仅允许非商业用途），使用该数据集训练的模型不得用于科研以外的场景。权重差异同样适用CC BY NC 4.0许可（仅允许非商业用途）。

AlpacaFarm简介

指令遵循模型通常分为三个步骤进行开发：

1. 基于示范的监督微调
2. 从人类反馈中学习；通常是成对偏好
3. 人工交互式评估

AlpacaFarm的目标是提供三个关键组件，以解决第2步和第3步的问题：低成本地模拟来自API模型（如GPT-4、ChatGPT）的成对反馈，为方法开发提供自动化评估工具，以及提供用于比较和修改的学习算法参考实现。

安装

要安装稳定版本，请运行：

pip install alpaca-farm

若要从main分支的最新提交安装，请运行：

pip install git+https://github.com/tatsu-lab/alpaca_farm.git

为了启用FlashAttention及其他优化功能，还需安装flash-attn和apex这两个包。

模拟成对偏好

笔记本示例：

在所有的评估和标注中，我们使用AlpacaEval，结合我们的自动标注池及额外噪声，以模拟人类标注的变异性。

开始之前，需将环境变量OPENAI_API_KEY设置为您的OpenAI API密钥，（可选）还将OPENAI_ORG设置为您所在的组织ID。您可以通过以下命令完成设置：

export OPENAI_API_KEY="sk..."

要标注您模型输出的成对样本，可使用如下代码。如需更多详细信息或处理不同格式输出的功能，请参阅示例笔记本。

from alpaca_farm.auto_annotations import PairwiseAutoAnnotator
import json

# 加载一些数据
with open("examples/data/outputs_pairs.json") as f:
    outputs_pairs = json.load(f)[:6]
print(outputs_pairs[-1:])
# [{'instruction': '如果您能帮我给朋友们写一封邀请他们周五共进晚餐的邮件，我将不胜感激。',
#   'input': '',
#   'output_1': "亲爱的朋友们：\r\n\r\n希望这封信能带给您美好的问候。我非常高兴地邀请您们于本周五共进晚餐。我们将在[地点]晚上7点见面。期待与您们相聚。\r\n\r\n此致，\r\n[姓名]",
#   'output_2': "大家好！\n\n我将于本周五晚上举办一场晚宴，诚挚邀请各位前来。届时我们将享用丰盛的美食，并畅聊一番。\n\n请告知我您是否能出席——我非常期待与各位见面！\n\n祝好，\n[您的名字]"}]

annotator = PairwiseAutoAnnotator()
annotated = annotator.annotate_pairs(outputs_pairs)

print(annotated[-1:])
# [{'instruction': '如果您能帮我写一封邀请朋友周五共进晚餐的邮件，我将不胜感激。', 
# 'input': '', 
# 'output_1': "亲爱的朋友们：\r\n\r\n希望这封信能带给您美好的问候。我非常高兴地邀请您们于本周五共进晚餐。我们将在[地点]晚上7点见面。期待与您们相聚。\r\n\r\n此致，\r\n[姓名]", 
# 'output_2': "大家好！\n\n我将于本周五晚上举办一场晚宴，诚挚邀请各位前来。我们将准备美味佳肴，一起度过愉快的时光。\n\n请告知我您是否能出席——我非常期待与各位见面！\n\n祝好，\n[您的名字]", 
# 'annotator': 'chatgpt_2', 
# 'preference': 2}]

如果您拥有的不是成对样本，而是一组采样输出，则可以使用以下代码：

multisample_outputs = [dict(instruction="重复以下内容", input="yes", output=["yes", "no", "maybe", "repeat"])]
print(annotator.annotate_samples(multisample_outputs))
# [{'sample_id': 0, 
#   'instruction': '重复以下内容', 
#   'input': 'yes', 
#   'output_1': 'yes', 
#   'output_2': 'maybe', 
#   'annotator': 'chatgpt_2', 
#   'preference': 1}]

运行自动评估

在所有评估中，我们使用 AlpacaEval 及其自动标注器池。

要开始使用，请将环境变量 OPENAI_API_KEY 设置为您的 OpenAI API 密钥，并（可选）将 OPENAI_ORG 设置为您所在的组织 ID。您可以通过运行以下命令来完成：

export OPENAI_API_KEY="sk..."

将您的模型添加到 Alpaca Leaderboard 的最简单方法是运行以下代码，该代码仅需要您在我们的评估数据上生成的模型输出。

from alpaca_farm.auto_annotations import alpaca_leaderboard
import datasets

# 在 Alpaca 评估数据上进行预测
alpaca_eval_data = datasets.load_dataset("tatsu-lab/alpaca_farm", "alpaca_farm_evaluation")["eval"]
...  # 使用这些数据为您的模型生成输出并保存
path_to_outputs = "examples/data/eval_gpt-3.5-turbo-0301.json"
# 输出应为如下格式的 JSON 列表：
# [{'instruction': '哪些著名演员的职业生涯始于百老汇？', 'input': '', 'output': '一些职业生涯始于百老汇的著名演员包括休·杰克曼、梅丽尔·斯特里普、丹泽尔·华盛顿、奥德拉·麦克唐纳和林-曼努埃尔·米兰达。', 'generator': 'gpt-3.5-turbo-0301', 'dataset': 'helpful_base', 'datasplit': 'eval'},
# ...]

alpaca_leaderboard(path_to_outputs, name="我的酷炫模型")
#                               胜率  标准误差  总样本数  平均长度
# gpt35_turbo_instruct             81.71            1.33      801        1018
# alpaca-farm-ppo-sim-gpt4-20k     44.10            1.74      805         511
# 我的酷炫模型                   41.54            2.01      597         327
# alpaca-farm-ppo-human            41.24            1.73      805         803
# alpaca-7b                        26.46            1.54      805         396
# text_davinci_001                 15.17            1.24      804         296

运行参考方法

我们提供了几种基于成对反馈学习方法的参考实现。这些方法的示例代码可在 examples/ 目录中找到。其中包括 监督微调、奖励建模、使用 PPO 的 RLHF、最佳 n 次解码 等。

下面给出了一些用于复现我们论文中模型成果的示例命令。说明：

• 所有训练代码均在启用 FlashAttention 的情况下，在配备 8 张 80GB A100 显卡的机器上进行了测试。
• 最佳 n 次解码是在单张 80GB 显卡上测试的。
• 监督微调和奖励建模可以在 4 张 80GB A100 显卡上完成，而 PPO 训练目前至少需要 8 张 80GB 显卡。
• 在运行以下代码之前，请确保将您的 LLaMA 检查点和分词器转换为 HuggingFace 格式，并将其存储在 <your_path_to_hf_converted_llama_ckpt_and_tokenizer>。

监督微调 (SFT)

要复现我们在论文中从 LLaMA 微调得到的 SFT10k 模型，请运行以下命令：

bash examples/scripts/sft.sh \
  <your_output_dir_for_sft10k> \
  <your_wandb_run_name> \
  <your_path_to_hf_converted_llama_ckpt_and_tokenizer>

SFT10k 模型将被保存到 <your_output_dir>，WandB 实验名称将为 <your_wandb_run_name>。

奖励建模

要复现我们在论文中训练的奖励模型，请运行以下命令：

bash examples/scripts/reward_modeling.sh \
  <your_output_dir_for_reward_model> \
  <your_wandb_run_name> \
  <your_output_dir_for_sft10k> \
  <preference_dataset_name>

将 <preference_dataset_name> 设置为 "alpaca_noisy_multi_preference" 以获得模拟偏好奖励模型，或设置为 "alpaca_human_preference" 以获得人类偏好奖励模型。

使用 PPO 的 RLHF

要复现我们在论文中使用模拟奖励模型训练的 RLHF PPO 模型，请运行以下命令：

bash examples/scripts/rlhf_ppo.sh \
  <your_output_dir_for_ppo> \
  <your_wandb_run_name> \
  <your_output_dir_for_reward_model> \
  <your_output_dir_for_sft10k> \
  <kl_coef>

<your_output_dir_for_reward_model> 应指向根据上一步训练得到的模拟奖励模型或人类奖励模型。请注意，人类奖励 PPO 的 KL 惩罚系数远大于模拟 PPO。将 <kl_coef> 设置为 0.0067 用于模拟 PPO，设置为 0.02 用于人类 PPO，即可恢复我们的原始结果。通常情况下，PPO 模型在 20–80 个 PPO 步骤内（即不到四次遍历整个指令集）的表现会显著优于 SFT，而随着 PPO 步骤的增加，性能则会逐渐下降。

最佳 n 次解码

要复现我们在 AlpacaFarm 评估套件上的最佳 n 次推理时解码结果，请运行以下命令：

python examples/best_of_n.py \
  --task "run_best_of_n" \
  --decoder_name_or_path <your_output_dir_for_decoder> \  # 可以是 SFT 模型，甚至经过 PPO 调优的模型。
  --scorer_name_or_path <your_output_dir_for_reward_model> \
  --num_return_sequences 16 \  # 这就是最佳 n 次解码中的 n。
  --per_device_batch_size 4 \  # 如果内存不足，可以适当减少此值。
  --split "eval" \
  --mixed_precision "bf16" \
  --tf32 True \
  --flash_attn True \
  --output_path <your_output_path_to_store_samples>

随后，您可以直接将 <your_output_path_to_store_samples> 中生成的样本用于我们的自动化评估。

专家迭代

要复现我们在 AlpacaFarm 评估套件上的专家迭代结果，首先需要生成最佳 n 次样本。请运行以下命令：

python examples/best_of_n.py \
  --task "run_best_of_n" \
  --decoder_name_or_path <your_output_dir_for_decoder> \  # SFT10k 模型。
  --scorer_name_or_path <your_output_dir_for_reward_model> \
  --num_return_sequences 16 \  # 这就是最佳 n 次解码中的 n。
  --per_device_batch_size 4 \  # 如果内存不足，可以适当减少此值。
  --split "unlabeled" \
  --mixed_precision "bf16" \
  --tf32 True \
  --flash_attn True \
  --output_path '<your_output_dir_for_expiter_data>/best_of_n_samples.json'

然后，使用最佳 n 次样本从 SFT10k 检查点出发进行监督微调：

bash examples/scripts/expiter.sh \
  <your_output_dir_for_expiter> \
  <your_wandb_run_name> \
  <your_output_dir_for_sft10k> \
  <your_output_dir_for_expiter_data>

Quark

要复现我们在 AlpacaFarm 评估套件上的 Quark 结果，请运行以下命令：

bash examples/scripts/rlhf_quark.sh \
  <your_output_dir_for_quark> \
  <your_wandb_run_name> \
  <your_output_dir_for_reward_model> \
  <your_output_dir_for_sft10k> \
  <kl_coef>

直接偏好优化 (DPO)

要复现我们在 AlpacaFarm 评估套件上的 DPO 结果，请运行以下命令：

bash examples/scripts/dpo.sh \
  <your_output_dir_for_dpo> \
  <your_wandb_run_name> \
  <your_output_dir_for_sft10k>

OpenAI 模型

要使用我们的提示和解码超参数运行 OpenAI 参考模型，请执行以下命令：

python examples/oai_baselines.py \
  --model_name <oai_model_name> \
  --save_path <save_path> 

随后，您可以直接将 <save_path> 中生成的样本用于我们的自动化评估。

下载预训练的 AlpacaFarm 模型

我们提供了奖励模型以及所有参考方法的模型检查点，详见我们论文 [2] 的表 2。具体而言，我们在 AlpacaFarm 模拟环境及人类偏好数据上分别对每种参考方法进行了微调，并发布了两种版本的模型。当前可用的模型列表（此处可查）包括：

• sft10k：我们收集偏好数据所用的监督学习基础模型。
• reward-model-sim：基于 AlpacaFarm 偏好数据训练的奖励模型。
• reward-model-human：基于人类偏好数据训练的奖励模型。
• ppo-sim：在模拟环境中训练的最佳 PPO 检查点。
• ppo-human：基于人类数据训练的最佳 PPO 检查点。
• expiter-sim：在模拟环境中训练的最佳专家迭代检查点。
• expiter-human：基于人类数据训练的最佳专家迭代检查点。
• feedme-sim：基于模拟偏好训练的 FeedME 方法。
• feedme-human：基于人类偏好训练的 FeedME 方法。
• reward-condition-sim：基于模拟偏好训练的奖励条件化方法。

要下载并恢复这些检查点，首先请确保已拥有一个 转换为 Hugging Face 格式 的 LLaMA-7B 检查点，且 transformers>=4.29.2。然后，运行以下命令以下载所有 AlpacaFarm 模型：

python -m pretrained_models.recover_model_weights \
  --llama-7b-hf-dir <your_path_to_hf_converted_llama_ckpt_and_tokenizer> \
  --alpaca-farm-model-name all

或者，指定特定的模型名称以仅下载该模型：

python -m pretrained_models.recover_model_weights \
  --llama-7b-hf-dir <your_path_to_hf_converted_llama_ckpt_and_tokenizer> \
  --alpaca-farm-model-name <one_of_the_model_names_from_above> \
  --models-save-dir <dir_to_save_all_models>

若要单独下载任一奖励模型，则需先将 sft10k 下载至 <dir_to_save_all_models>。

引用

如果您使用本仓库中的数据或代码，请考虑引用我们的工作。

@misc{dubois2023alpacafarm,
      title={AlpacaFarm: A Simulation Framework for Methods that Learn from Human Feedback}, 
      author={Yann Dubois and Xuechen Li and Rohan Taori and Tianyi Zhang and Ishaan Gulrajani and Jimmy Ba and Carlos Guestrin and Percy Liang and Tatsunori B. Hashimoto},
      year={2023},
      eprint={2305.14387},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

如果您使用 alpaca-farm>=0.2.0 版本，请务必注明标注者已变更（因为 text-davinci-003 已被弃用）。此时的偏好数据和胜率来自 AlpacaEval 1，与我们论文中的数值不可直接比较。您可以这样引用 AlpacaEval：

@misc{alpaca_eval,
  author = {Xuechen Li and Tianyi Zhang and Yann Dubois and Rohan Taori and Ishaan Gulrajani and Carlos Guestrin and Percy Liang and Tatsunori B. Hashimoto },
  title = {AlpacaEval: An Automatic Evaluator of Instruction-following Models},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/tatsu-lab/alpaca_eval}}
}

AlpacaFarm 快速上手指南

AlpacaFarm 是一个用于研究“从人类反馈中学习”（如 RLHF）的仿真框架。它通过模拟成对偏好反馈和自动化评估，大幅降低了相关研究的成本和门槛。

注意：由于 OpenAI 已弃用 text-davinci-003，本项目现已切换至使用 GPT-4 作为自动标注器（基于 AlpacaEval 1）。所有结果应与 AlpacaEval 1 中的模型进行对比。

1. 环境准备

• 操作系统: Linux (推荐) 或 macOS
• Python 版本: 3.10 或更高
• 硬件要求:
  • 基础推理/标注：普通 CPU/GPU 即可。
  • 训练参考方法（如 PPO）：建议配备多张高性能 GPU（原文测试环境为 8x A100 80GB；SFT 和奖励建模至少需 4x A100 80GB）。
• 前置依赖:
  • OpenAI API Key: 用于调用 GPT-4 进行自动标注和评估。
  • FlashAttention & Apex (可选但推荐): 用于加速训练和优化显存。

2. 安装步骤

安装稳定版

pip install alpaca-farm

安装最新版（从 main 分支）

pip install git+https://github.com/tatsu-lab/alpaca_farm.git

启用性能优化（可选）

若需启用 FlashAttention 等优化，请额外安装以下包：

pip install flash-attn apex

3. 基本使用

步骤一：配置环境变量

在使用自动标注或评估功能前，需设置 OpenAI API 密钥。

export OPENAI_API_KEY="sk-..."
# 可选：设置组织 ID
export OPENAI_ORG="org-..."

步骤二：模拟成对偏好标注 (Simulating Pairwise Preference)

使用 PairwiseAutoAnnotator 对模型生成的输出对进行自动偏好打分。

from alpaca_farm.auto_annotations import PairwiseAutoAnnotator
import json

# 加载数据示例 (假设已有 outputs_pairs.json)
with open("examples/data/outputs_pairs.json") as f:
    outputs_pairs = json.load(f)[:6]

# 初始化标注器并执行标注
annotator = PairwiseAutoAnnotator()
annotated = annotator.annotate_pairs(outputs_pairs)

# 查看结果
print(annotated[-1:])
# 输出包含 'annotator' (标注者) 和 'preference' (偏好选择) 字段

如果只有单个指令的多个采样输出，可使用 annotate_samples：

multisample_outputs = [dict(instruction="repeat the following", input="yes", output=["yes", "no", "maybe", "repeat"])]
print(annotator.annotate_samples(multisample_outputs))

步骤三：运行自动化评估 (Running Automatic Evaluation)

将你的模型输出提交到 Alpaca 排行榜进行自动评估。

from alpaca_farm.auto_annotations import alpaca_leaderboard
import datasets

# 加载评估数据集
alpaca_eval_data = datasets.load_dataset("tatsu-lab/alpaca_farm", "alpaca_farm_evaluation")["eval"]

# ... (此处省略模型推理代码，需生成 outputs 列表并保存为 JSON)
# outputs 格式示例: [{'instruction': '...', 'input': '', 'output': '...', 'generator': 'my_model', ...}]

path_to_outputs = "examples/data/eval_gpt-3.5-turbo-0301.json"

# 提交评估
alpaca_leaderboard(path_to_outputs, name="My fancy model")

步骤四：运行参考方法 (Reference Methods)

项目提供了 SFT、奖励建模、PPO 和 Best-of-N 的参考实现脚本。使用前请确保已将 LLaMA checkpoint 转换为 HuggingFace 格式。

1. 监督微调 (SFT)

bash examples/scripts/sft.sh \
  <your_output_dir_for_sft10k> \
  <your_wandb_run_name> \
  <your_path_to_hf_converted_llama_ckpt_and_tokenizer>

2. 奖励建模 (Reward Modeling)

bash examples/scripts/reward_modeling.sh \
  <your_output_dir_for_reward_model> \
  <your_wandb_run_name> \
  <your_output_dir_for_sft10k> \
  <preference_dataset_name>

注：<preference_dataset_name> 设为 "alpaca_noisy_multi_preference" (模拟偏好) 或 "alpaca_human_preference" (人类偏好)。

3. 基于 PPO 的 RLHF

bash examples/scripts/rlhf_ppo.sh \
  <your_output_dir_for_ppo> \
  <your_wandb_run_name> \
  <your_output_dir_for_reward_model> \
  <your_output_dir_for_sft10k> \
  <kl_coef>

注：模拟 PPO 的 <kl_coef> 设为 0.0067，人类偏好 PPO 设为 0.02。

4. Best-of-N 解码

python examples/best_of_n.py \
  --task "run_best_of_n" \
  --decoder_name_or_path <your_output_dir_for_decoder> \
  --scorer_name_or_path <your_output_dir_for_reward_model> \
  --num_return_sequences 16 \
  --per_device_batch_size 4 \
  --split "eval" \
  --mixed_precision "bf16"

---

许可说明：本工具及数据集仅限学术研究使用（非商业）。数据集遵循 CC BY NC 4.0 协议。