:camel: 🍮 📚 InstructEval：迈向指令微调大型语言模型的全面评估

论文 | 模型 | 排行榜

🔥 如果你对LLM的智商测试感兴趣，可以查看我们的新工作：AlgoPuzzleVQA

📣 重磅推出Resta：语言模型的安全性再对齐。论文 Github

📣 Red-Eval，用于评估LLM安全性的基准测试已加入：Red-Eval

📣 重磅推出Red-Eval，通过多种越狱提示来评估LLM的安全性。使用Red-Eval，可以在DangerousQA和HarmfulQA基准上以65.1%的成功率对GPT-4进行越狱/红队攻击，而ChatGPT则有73%的时间可以被成功越狱。更多详情请见：代码和论文。

📣 我们基于Flan数据集对Vicuna-13B进行了微调，开发了Flacuna模型。Flacuna在解决问题方面优于Vicuna。你可以通过以下链接访问该模型：https://huggingface.co/declare-lab/flacuna-13b-v1.0。

📣 InstructEval 基准测试及排行榜现已发布。

📣 报告指令微调LLM在InstructEval基准套件上表现的论文已在Arxiv上发表。点击此处阅读：https://arxiv.org/pdf/2306.04757.pdf。

📣 我们发布了IMPACT数据集，用于从信息性、专业性、论证性和创造性四个方面评估LLM的写作能力。你可以从Huggingface下载：https://huggingface.co/datasets/declare-lab/InstructEvalImpact。

📣 FLAN-T5 在文本转音频生成方面也非常有用。如果你感兴趣，可以查看我们的相关工作：https://github.com/declare-lab/tango。

本仓库包含用于在未见过的任务上评估指令微调模型（如Alpaca和Flan-T5）的代码。 我们的目标是促进跨多个任务和模型的简单便捷基准测试。

为什么？

像Flan-T5和Alpaca这样的指令微调模型，代表了一种令人振奋的方向，能够在较低成本下逼近大型语言模型（LLMs，如ChatGPT）的性能。 然而，要定性地比较不同模型的性能却颇具挑战性。 为了评估这些模型在广泛且具有挑战性的未见任务上的泛化能力，我们可以使用诸如MMLU和BBH之类的学术基准。 与现有的库（如evaluation-harness和HELM）相比，本仓库能够为多个模型提供简单便捷的评估方式。 值得注意的是，我们支持HuggingFace Transformers中的大多数模型（具体支持的模型列表请参阅这里）：

• AutoModelForCausalLM（例如GPT-2、GPT-J、OPT-IML、BLOOMZ）
• AutoModelForSeq2SeqLM（例如Flan-T5、Flan-UL2、TK-Instruct）
• LlamaForCausalLM（例如LLaMA、Alpaca、Vicuna）
• ChatGLM

结果

有关详细结果，请访问我们的排行榜

模型名称	模型路径	论文	参数量	MMLU	BBH	DROP	HumanEval
	GPT-4	链接	?	86.4		80.9	67.0
	ChatGPT	链接	?	70.0		64.1	48.1
seq_to_seq	google/flan-t5-xxl	链接	11B	54.5	43.9
seq_to_seq	google/flan-t5-xl	链接	3B	49.2	40.2	56.3
llama	eachadea/vicuna-13b	链接	13B	49.7	37.1	32.9	15.2
llama	decapoda-research/llama-13b-hf	链接	13B	46.2	37.1	35.3	13.4
seq_to_seq	declare-lab/flan-alpaca-gpt4-xl	链接	3B	45.6	34.8
llama	TheBloke/koala-13B-HF	链接	13B	44.6	34.6	28.3	11.0
llama	chavinlo/alpaca-native	链接	7B	41.6	33.3	26.3	10.3
llama	TheBloke/wizardLM-7B-HF	链接	7B	36.4	32.9		15.2
chatglm	THUDM/chatglm-6b	链接	6B	36.1	31.3	44.2	3.1
llama	decapoda-research/llama-7b-hf	链接	7B	35.2	30.9	27.6	10.3
llama	wombat-7b-gpt4-delta	链接	7B	33.0	32.4		7.9
seq_to_seq	bigscience/mt0-xl	链接	3B	30.4
causal	facebook/opt-iml-max-1.3b	链接	1B	27.5			1.8
causal	OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5	链接	12B	27.0	30.0		9.1
causal	stabilityai/stablelm-base-alpha-7b	链接	7B	26.2			1.8
causal	databricks/dolly-v2-12b	链接	12B	25.7			7.9
causal	Salesforce/codegen-6B-mono	链接	6B				27.4
causal	togethercomputer/RedPajama-INCITE-Instruct-7B-v0.1	链接	7B	38.1	31.3	24.7	5.5

示例用法

在大规模多任务语言理解（MMLU）上进行评估，该数据集包含来自数学、历史、法律和医学等57个任务的考试题目。 我们采用5-shot直接提示方法，并以完全匹配准确率作为衡量标准。

python main.py mmlu --model_name llama --model_path chavinlo/alpaca-native
# 0.4163936761145136

python main.py mmlu --model_name seq_to_seq --model_path google/flan-t5-xl

# 0.49252243270189433

在 Big Bench Hard (BBH) 上进行评估，该数据集包含 23 个具有挑战性的任务，而 PaLM (540B) 在这些任务上的表现低于平均人类评分者。我们采用 3 次示例的直接提示方法，并测量完全匹配得分。

python main.py bbh --model_name llama --model_path TheBloke/koala-13B-HF --load_8bit
# 0.3468942926723247

在 DROP 上进行评估，这是一个数学问题解答基准测试。我们同样采用 3 次示例的直接提示方法，并测量完全匹配得分。

python main.py drop --model_name seq_to_seq --model_path google/flan-t5-xl 
# 0.5632458233890215

在 HumanEval 上进行评估，该数据集包含 164 道 Python 编程题目。我们采用 0 次示例的直接提示方法，并测量 pass@1 得分。

python main.py humaneval  --model_name llama --model_path eachadea/vicuna-13b --n_sample 1 --load_8bit
# {'pass@1': 0.1524390243902439}

设置

安装依赖并下载数据。

conda create -n instruct-eval python=3.8 -y
conda activate instruct-eval
pip install -r requirements.txt
mkdir -p data
wget https://people.eecs.berkeley.edu/~hendrycks/data.tar -O data/mmlu.tar
tar -xf data/mmlu.tar -C data && mv data/data data/mmlu

InstructEval 快速上手指南

InstructEval 是一个用于全面评估指令微调大语言模型（Instruction-Tuned LLMs）的开源工具。它支持在 MMLU、BBH、DROP、HumanEval 等多个学术基准上对模型进行简便、统一的评测，兼容 HuggingFace Transformers 中的多种模型架构（如 LLaMA、Flan-T5、ChatGLM 等）。

环境准备

• 操作系统: Linux 或 macOS (Windows 需使用 WSL)
• Python: 3.8 或更高版本
• 硬件: 推荐配备 NVIDIA GPU (显存大小取决于所评测模型的参数量)。若评测大模型，建议使用支持 bitsandbytes 的环境以开启 8-bit 量化加载。
• 前置依赖:
  • PyTorch
  • HuggingFace Transformers
  • Datasets
  • Accelerate

国内加速建议：

1. 配置 HuggingFace 镜像源：

   export HF_ENDPOINT=https://hf-mirror.com
   

2. 使用 pip 国内源安装依赖（如阿里云或清华源）：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

安装步骤

1. 克隆仓库

   git clone https://github.com/declare-lab/instruct-eval.git
   cd instruct-eval
   

2. 安装依赖 确保已安装 PyTorch（根据你的 CUDA 版本选择对应的安装命令），然后安装项目所需库：

   pip install -r requirements.txt
   

   (注：如果原文未提供 requirements.txt，请手动安装核心库：pip install transformers datasets accelerate sentencepiece protobuf)

3. 验证安装 运行帮助命令确认脚本可用：

   python main.py --help
   

基本使用

InstructEval 通过 main.py 脚本调用，指定评测数据集、模型类型及模型路径即可。

1. 评测 MMLU 基准

MMLU 包含数学、历史、法律等 57 个领域的考试题目。以下示例使用 5-shot 直接提示并计算精确匹配分数。

评测 Alpaca (LLaMA 架构):

python main.py mmlu --model_name llama --model_path chavinlo/alpaca-native

评测 Flan-T5 (Seq2Seq 架构):

python main.py mmlu --model_name seq_to_seq --model_path google/flan-t5-xl

2. 评测 BBH 基准

BBH 包含 23 个高难度任务。以下示例展示如何加载 8-bit 量化模型以节省显存（适用于大模型如 Koala-13B）。

python main.py bbh --model_name llama --model_path TheBloke/koala-13B-HF --load_8bit

3. 评测 DROP 基准

DROP 是数学问答基准，通常使用 3-shot 直接提示。

python main.py drop --model_name llama --model_path decapoda-research/llama-7b-hf

参数说明

• --model_name: 模型架构类型，支持 llama, seq_to_seq, causal, chatglm 等。
• --model_path: HuggingFace 模型 ID 或本地模型路径。
• --load_8bit: (可选) 启用 8-bit 量化加载，降低显存需求。
• 数据集名称：支持 mmlu, bbh, drop, human_eval 等。

更多支持的模型列表及详细评测结果，请参考官方 Leaderboard。