PandaLM：可复现且自动化的语言模型评估

王一东^*1,2  于卓浩^*1 
曾正然¹  杨林毅²  衡强³  王存祥²  陈浩⁴  蒋超亚¹  谢锐¹ 
王金东⁵  谢星⁵  叶伟^†1  张世坤^†1  张悦^†2 

*：共同第一作者，工作完成于一东在西湖大学实习期间。 †：共同通讯作者

¹ 北京大学，² 西湖大学,
³ 北卡罗来纳州立大学，⁴ 卡内基梅隆大学，⁵ 微软亚洲研究院

概述

这是PandaLM的官方仓库：可复现且自动化的语言模型评估。

论文：PandaLM：用于LLM指令微调优化的自动化评估基准

PandaLM旨在提供不同大型语言模型（LLMs）之间可复现且自动化的比较。通过向PandaLM提供相同的上下文，它可以比较不同LLMs的响应，并给出决策依据以及参考答案。PandaLM的目标用户可能是拥有机密数据的组织，以及寻求可复现性的资金有限的研究实验室。这些机构可能不愿将数据披露给第三方，或无力承担使用第三方API或雇佣人工标注员所带来的高昂成本和潜在的数据泄露风险。借助PandaLM，他们可以在不泄露数据、不产生高额成本的情况下进行评估，并获得可复现的结果。为了证明我们工具的可靠性和一致性，我们创建了一个包含约1,000个样本的多样化人工标注测试集，其中上下文和标签均由人类生成。我们的结果显示，在该测试集上，PandaLM-7B的F1分数分别达到GPT-3.5的93.75%和GPT-4的88.28%。 更多论文和功能即将发布。

本仓库包含：

• 训练PandaLM的代码
• 约1,000个样本的人工标注测试集，用于验证PandaLM评估LLMs的能力
• PandaLM的模型权重
• 用于对其他基础模型（如Bloom、OPT和LLaMA等）进行指令微调的代码和配置

新闻

• [2024/05/21] 修复了训练数据404的问题。
• [2024/01/16] Pandalm已被ICLR 2024接收！
• [2023/07/25] 我们在Huggingface分享了我们微调的Alpaca和PandaLM-Alpaca。此外，我们还将微调后的Alpaca和PandaLM-Alpaca上传至Open LLM Leaderboard，结果表明使用PandaLM可以提升指令微调的效果。
• [2023/04/30] 我们很高兴地宣布PandaLM 1.0作为一款开源工具正式发布，用于可靠地评估LLMs。为进一步展示PandaLM的有效性，我们还共享了一份人工标注的测试数据集。
• [2023/06/08] 我们在arXiv上发布了论文：PandaLM：用于LLM指令微调优化的自动化评估基准

目录

• PandaLM：熊猫语言模型
  • 新闻
  • 目录
  • 动机
  • 安装
  • 使用
  • 数据
    • 训练数据
    • 测试数据
  • 实验结果
  • 贡献
  • 引用
  • 许可证

动机

如上图所示，LLM的指令微调迭代包括训练和评估两个环节。每次迭代都涉及超参数或微调算法的调整。得益于参数高效微调方法，即使使用消费级GPU，LLM的指令微调也能在几个GPU小时内完成。然而，基于人工或API的评估往往成本更高、耗时更长。此外，由于LLM变更日志缺乏透明度以及人工标注存在主观性，这些评估方式往往不够一致且难以复现。更重要的是，使用API评估可能导致潜在的高额补救成本，例如因机密数据泄露而产生的损失。从形式上看，LLM指令微调的总成本为$N \times (C_{train}+C_{cost})$，其中如果采用人工或API评估，$C_{train}$可能会远小于$C_{cost}$。

为应对这些挑战，我们提出了一种名为PandaLM的评估模型，它能够在评估过程中确保可复现性、安全性和效率。通过自动化评估流程，我们的模型可以在保持高评估能力的同时，实现高效且一致的评估。

安装

要安装PandaLM，请按照以下步骤操作：

1. 克隆仓库：git clone https://github.com/WeOpenML/PandaLM.git
2. 进入项目目录：cd PandaLM
3. 安装所需依赖：pip install -r requirements.txt，或者如果您更喜欢conda，可以使用conda env create -f conda-env.yml。请注意，需要将conda-env.yml中的prefix修改为您本地的conda路径。

要对基础模型进行指令微调，请按照以下步骤操作：

1. 安装PandaLM。
2. 进入项目目录：cd PandaLM/pandalm
3. 运行演示脚本：bash scripts/inst-tune.sh

出于版权问题的考虑，我们未提供已微调好的模型。不过，您可以在PandaLM/pandalm/scripts/inst-tune.sh中轻松复现该模型。

使用方法

我们已将PandaLM-7B上传至HuggingFace，您只需通过以下代码即可初始化模型和分词器：

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("WeOpenML/PandaLM-7B-v1",use_fast=False)

model = AutoModelForCausalLM.from_pretrained("WeOpenML/PandaLM-7B-v1")

我们提供了多种方式来体验我们的PandaLM。（代码正在准备中，请耐心等待。）

1. 在本地机器上（需配备至少24G显存的GPU）使用Web UI试用PandaLM：

cd PandaLM/pandalm/ 
CUDA_VISIBLE_DEVICES=0 python3 run-gradio.py --base_model=WeOpenML/PandaLM-7B-v1 --server_port=<your-server-port> --server_name=<your-server-name>

默认情况下，程序会监听所有网络接口上的31228端口；如果您在本地运行，请访问http://localhost:31228/；如果是在远程服务器上，则访问http://\<your-server-name>:<your-server-port>/。

2. 我们提供了一个名为EvaluationPipeline的类，可以使用PandaLM评估多个候选模型。该类的构造函数接受候选模型路径列表，或者对于未开源的模型，可传入其输出的JSON文件路径。此外，还可以选择性地传入PandaLM模型的路径、用于加载测试数据的输入数据路径以及用于保存测试结果的输出数据路径。请注意，此演示仅展示了指令微调前的语言模型评估。实际上，我们需要先对这些模型进行指令微调，然后再将微调后的模型传入EvaluationPipeline中。 更多详情请参阅代码。您只需三行代码即可测试候选模型：

from pandalm import EvaluationPipeline

pipeline = EvaluationPipeline(candidate_paths=["huggyllama/llama-7b", "bigscience/bloom-7b1", "facebook/opt-6.7b"], input_data_path="data/pipeline-sanity-check.json")

print(pipeline.evaluate())

数据集

本节介绍用于训练和评估PandaLM的训练数据与测试数据。我们将持续更新并开源数据，以不断改进PandaLM。

训练数据

我们希望让模型不仅能针对给定的上下文评估不同的回复，还能利用该上下文生成一个参考回复。因此，训练数据中的每个样本由一个输入元组（指令、输入、回复1、回复2）和一个输出元组（评估结果、评估理由、参考回复）组成。具体而言，在输入元组中，指令和输入取自Alpaca 52K数据集，而回复对则由LLaMA-7B、Bloom-7B、Cerebras-GPT-6.7B、OPT-7B以及我们使用相同指令数据和超参数微调得到的Pythia-6.9提供。我们选择这些基础模型是因为它们规模相近且模型权重公开可用。对应的输出元组包括评估结果、评估的简要说明以及参考回复。需要注意的是，评估结果中的“1”或“2”分别表示回复1或回复2更优，“Tie”则表示两者质量相当。由于从人工标注者那里获取数百万个输出元组成本过高，而ChatGPT在一定程度上具备评估语言模型的能力，因此我们参照Self-Instruct的方法，从ChatGPT（gpt-3.5-turbo）获取输出元组，随后采用启发式数据过滤策略剔除噪声数据。经过筛选后的训练数据集包含30万个样本，而原始未筛选的数据集则有100万个样本。训练数据可在train-data中找到。 以下是训练数据的一个示例：

{
    "inputs": {
        "instruction": "找出给定类型数据的一个例子",
        "input": "定性数据",
        "response1": "客户反馈是定性数据的一个例子。",
        "response2": "客户评价是定性数据的一个例子。",
    },
    "outputs": {
        "evaluation_result": "Tie",
        "evaluation_reason": "两个回复都正确，并且提供了类似的定性数据示例。",
        "reference_response": "访谈记录是定性数据的一个例子。"
    }
}

测试数据

为了证明PandaLM的可靠性，我们创建了一个人工标注的测试数据集，该数据集可靠且符合人类对文本的偏好。测试数据集中的每个实例包含一条指令和输入，以及由不同指令微调的LLM生成的两个回复。任务是比较这两个回复的质量。与训练数据类似，这些回复由我们使用相同的指令数据和超参数微调的LLLaMA-7B、Bloom-7B、Cerebras-GPT-6.7B、OPT-7B和Pythia-6.9B生成。在获得人工标注的测试数据集后，我们就可以比较ChatGPT和PandaLM的评估性能。

测试数据是从Self-Instruct的人工评估数据中生成并采样的。测试数据的输入和标签完全由人类生成，涵盖了多样化的任务和内容。标签由三位不同的评估者独立标注。数据由一系列任务组成，每个任务包括一条指令、一句输入、两条回复以及一个指示更优回复的标签。需要注意的是，“1”或“2”表示回复1或回复2更好，“0”则表示两者质量相近。此外，我们从原始标注的测试数据中剔除了差异较大的样本，以确保每位标注者在剩余数据上的IAA（标注者间一致性）接近0.85。这是因为这些被过滤掉的样本需要额外的知识或难以获取的信息，使得人类难以对其进行评估。最终的测试数据集包含1000个样本，而原始未过滤的数据集则有2500个样本。下面是一个带有解释的测试集示例。测试数据可在./data/testset-v1.json中找到。 我们还发布了gpt-3.5-turbo和PandaLM-7B在测试集上的结果，分别存储在./data/gpt-3.5-turbo-testset-v1.json和./data/pandalm-7b-testset-v1.json中。

{
  "index": "749",
  "motivation_app": "CNN News",
  "task_id": "user_oriented_task_165",
  "cmp_key": "opt-7b_pythia-6.9b", ## 表示回复1来自opt-7B，回复2来自pythia-6.9B
  "instruction": "请为新闻标题分类。从新闻与热点、旅游、时尚、艺术与文化、政治、科技以及科学与健康这七个类别中选择。",
  "input": "马萨诸塞州剑桥市的#班克斯展览真是太棒了。",
  "reference_response": "Arts & Culture", ## 直接摘自Self-Instruct仓库
  "response1": "Politics",
  "response2": "Arts & Culture",
  "label_0": "2", # 第一位人类标注者的标签
  "label_1": "2", # 第二位人类标注者的标签
  "label_2": "2", # 第三位人类标注者的标签
}

我们使用Cohen’s kappa计算每位标注者的IAA。结果如下：

测试数据的标签分布如下：

实验结果

请参阅论文：PandaLM: 用于LLM指令微调优化的自动评估基准

贡献

我们欢迎对PandaLM的贡献！如果您想参与贡献，请按照以下步骤操作：

1. 分支该项目。
2. 创建包含您更改的新分支。
3. 提交带有清晰更改描述的拉取请求。

引用

@article{pandalm2024,
      title={PandaLM: An Automatic Evaluation Benchmark for LLM Instruction Tuning Optimization}, 
      author={Wang, Yidong and Yu, Zhuohao and Zeng, Zhengran and Yang, Linyi and Wang, Cunxiang and Chen, Hao and Jiang, Chaoya and Xie, Rui and Wang, Jindong and Xie, Xing and Ye, Wei and Zhang, Shikun and Zhang, Yue},
      booktitle={International Conference on Learning Representations (ICLR)},
      year={2024}
}

@misc{PandaLM,
  author = {Wang, Yidong and Yu, Zhuohao and Zeng, Zhengran and Yang, Linyi and Heng, Qiang and Wang, Cunxiang and Chen, Hao and Jiang, Chaoya and Xie, Rui and Wang, Jindong and Xie, Xing and Ye, Wei and Zhang, Shikun and Zhang, Yue},
  title = {PandaLM: 可复现且自动化的语言模型评估},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub仓库},
  howpublished = {\url{https://github.com/WeOpenML/PandaLM}},
}

许可证

PandaLM的模型权重遵循LLaMA许可证。详情请参阅MODEL_LICENSE。

训练数据的许可证将在我们上传训练数据时补充说明。

本仓库的其余部分采用Apache License 2.0。详情请参阅LICENSE。

PandaLM 快速上手指南

PandaLM 是一个可复现、自动化的大语言模型（LLM）评估工具。它能够在不泄露数据的前提下，自动对比不同模型的回复质量，提供评估结果、理由及参考回答，特别适合注重数据隐私或希望降低人工/API 评估成本的开发者和研究机构。

环境准备

• 系统要求：Linux / macOS / Windows (WSL)
• 硬件要求：
  • 推理/评估：建议显存 ≥ 24GB (运行 7B 模型)
  • 训练/微调：需多卡 GPU 环境
• 软件依赖：
  • Python 3.8+
  • Git
  • CUDA (如需 GPU 加速)
  • Conda (推荐) 或 pip

安装步骤

1. 克隆项目

git clone https://github.com/WeOpenML/PandaLM.git
cd PandaLM

2. 安装依赖

推荐使用 Conda 创建隔离环境（需先修改 conda-env.yml 中的 prefix 为你的实际路径），或直接使用 pip：

# 方式一：使用 pip
pip install -r requirements.txt

# 方式二：使用 Conda (推荐)
# 请确保先编辑 conda-env.yml 文件中的 prefix 字段
conda env create -f conda-env.yml
conda activate pandalm

提示：国内用户若下载依赖较慢，可配置清华或阿里镜像源： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

方法一：加载模型进行推理

PandaLM-7B 已上传至 Hugging Face，可直接通过 transformers 加载：

from transformers import AutoTokenizer, AutoModelForCausalLM

# 初始化 Tokenizer 和 Model
tokenizer = AutoTokenizer.from_pretrained("WeOpenML/PandaLM-7B-v1", use_fast=False)
model = AutoModelForCausalLM.from_pretrained("WeOpenML/PandaLM-7B-v1")

方法二：启动 Web UI (本地体验)

如果你拥有一台显存至少为 24GB 的 GPU，可以通过 Gradio 界面直观体验评估过程：

cd PandaLM/pandalm/
CUDA_VISIBLE_DEVICES=0 python3 run-gradio.py --base_model=WeOpenML/PandaLM-7B-v1 --server_port=31228 --server_name=0.0.0.0

启动后，在浏览器访问 http://localhost:31228/ 即可使用。

方法三：批量评估流水线

使用 EvaluationPipeline 类可以方便地对比多个候选模型。注意：在实际生产中，请先对候选模型进行指令微调（Instruction Tuning），再将微调后的模型路径传入管道。

from pandalm import EvaluationPipeline

# 定义候选模型路径列表 (可以是本地路径或 HuggingFace ID)
candidate_models = ["huggyllama/llama-7b", "bigscience/bloom-7b1", "facebook/opt-6.7b"]

# 初始化评估管道
pipeline = EvaluationPipeline(
    candidate_paths=candidate_models, 
    input_data_path="data/pipeline-sanity-check.json" # 输入测试数据路径
)

# 执行评估并打印结果
print(pipeline.evaluate())