思维链枢纽：衡量大语言模型的推理性能

“一幅幻想风格的插图，描绘了在蓝色夜空中排列成链状的星星，数字艺术，超分辨率”。Midjourney V5

---

作者：Yao Fu、Litu Ou、Mingyu Chen、Yuhao Wan、Hao Peng、Tushar Khot、Wenhu Chen

来自爱丁堡大学、华盛顿大学、艾伦人工智能研究所、滑铁卢大学

[论文] [博客] [推特]

近来，大语言模型领域取得了诸多进展。许多人声称，参数量不足100亿的小模型就能达到与GPT-3.5相当的性能。真的如此吗？

在日常对话中，GPT-3.5和GPT-4之间的区别可能并不明显。但当***任务的复杂度达到足够高的阈值时***，差异便显现出来——GPT-4更加可靠、富有创造力，并且能够处理比GPT-3.5更为微妙复杂的指令。—— GPT-4发布博文

关键的区别在于模型是否能够完成复杂任务，正如古语所言：“闲聊不值钱，拿出你的推理能力来。”因此，我们整理了一份包含数学（GSM8K）、科学（MATH、TheoremQA）、符号推理（BBH）、知识（MMLU、C-Eval）、编程（HumanEval）、事实推理（SummEdits）以及长上下文理解（RepoBench、Qspr、QALT、BkSS）等复杂推理任务的清单，用以评估模型在挑战性任务上的表现。

更重要的是，我们设想大语言模型将成为下一代计算平台，并催生基于大语言模型的新应用生态系统。届时，思维链提示工程将扮演下一代系统调用和Shell脚本的角色。

思维链枢纽的可信度源于我们精心挑选的数据集和模型，它们能够清晰地推动大语言模型的发展。该枢纽的研究成果及代码已被大语言模型领域的领先企业和学术机构广泛使用和引用。我们将任务分为三大类：主流、实验性和长上下文。

• 主流：这些数据集稳定可靠，经常被各大模型开发团队所采用。
• 实验性：这些数据集具有测试未来大语言模型能力的潜力。
• 长上下文：这些任务要求模型在极长的上下文中进行推理，是未来大语言模型发展的重要方向。

[我们考虑的数据集列表]

版块	数据集	描述
主流	GSM8K	小学水平的数学应用题
主流	MATH	竞赛级别的数学和科学问题
主流	MMLU	多学科知识测试
主流	BBH	挑战性的语言与符号推理任务
主流	HumanEval	Python编程任务
主流	C-Eval	中文多学科知识测试
实验性	TheoremQA	定理证明任务
实验性	SummEdits	事实推理任务
长上下文	Qspr	基于科研论文的问答任务
长上下文	QALT	长篇文章和故事的多项选择题
长上下文	BkSS	小说各章节摘要的重新排序任务

[征集贡献]：诚邀社区成员：

• 提交PR以填补表格中的缺失数据
• 开启议题，提出或共同探讨新的、用于衡量长上下文推理能力的任务或基准
• 开启议题，提出或共同探讨新的、用于衡量复杂API调用与工具使用的任务或基准
• 开启议题，建议其他能够清晰区分不同模型性能的好任务或基准
• 开启议题，推荐可加入表格的新模型

[更新 20231210]：

• 新增Gemini、Yi-34B、DeepSeek 67B
• 更新长上下文部分——我们将对该版块持续补充新内容
• Mistral 7B8E MoE模型结果预览

Mistral 7B 8E的表现大致与Yi34B / LLaMA2 70B / DeepSeek 67B相当

基准	Mistral 7B 密集型	Mistral 7Bx8E=50B	Yi-34B	DeepSeek-67B	LLaMA2 70B
Arc-c	59.98	66.38	64.59	65.44	-
HellaSwag	83.31	86.61	85.69	87.10	-
MMLU	64.16	71.73	76.35	71.78	68.9
TruthfulQA	42.15	48.55	56.23	51.08	50.18
Winogrande	78.37	82.40	83.03	84.14	-
GSM8K	37.83	57.09	50.64	56.71	56.8

[更新 20230620]：

• 将榜单分为主流（稳定且被广泛引用的数据集）和实验性（具备测试未来大语言模型能力潜力的数据集）两部分。
• 新增长上下文板块（实验性）

[往期更新]

[更新 20230609]：为LLaMA和Falcon添加MMLU的评估脚本[MMLU/readme.md]

[更新 20230601]：新增SummEdits

[更新 20230527]：新增TheoremQA，并加入Vicuna、Alpaca、InstructCodeT5。

排行榜 - 主要

模型	参数量	类型	GSM8K	MATH	MMLU	BBH	HumanEval	C-Eval
Gemini Ultra	?	基础	-	53.2	83.7	83.6	74.4	-
gpt-4	?	RLHF	92.0	42.5	86.4	-	67.0	68.7*
claude-2	?	RLHF	88	-	78.5	-	71.2	-
Gemini Pro	?	基础	-	32.6	71.8	75.0	67.7	-
claude-v1.3	?	RLHF	81.8*	-	75.6*	67.3*	-	54.2*
PaLM-2-Unicorn	?	基础	80.7	34.3	78.3	78.1	-	-
Mistral MoE	7Bx8E=46B	基础	57.9	-	71.3	-	-	-
DeepSeek	67B	基础	56.7	18.7	71.7	68.7	42.7	66.1
Yi	34B	基础	50.6	-	76.3	54.3	-	81.4
gpt-3.5-turbo	?	RLHF	74.9*	-	67.3*	70.1*	48.1	54.4*
claude-instant	?	RLHF	70.8*	-	61.3*	66.9*	-	45.9*
text-davinci-003	?	RLHF	-	-	64.6	70.7	-	-
code-davinci-002	?	基础	66.6	19.1	64.5	73.7	47.0	-
text-davinci-002	?	SIFT	55.4	-	60.0	67.2	-	-
Minerva	540B	SIFT	58.8	33.6	-	-	-	-
Flan-PaLM	540B	SIFT	-	-	70.9	66.3	-	-
Flan-U-PaLM	540B	SIFT	-	-	69.8	64.9	-	-
PaLM	540B	基础	56.9	8.8	62.9	62.0	26.2	-
LLaMA-2	70B	基础	56.8	-	68.9	51.2	29.9	-
LLaMA	65B	基础	50.9	10.6	63.4	-	23.7	38.8*
PaLM	64B	基础	52.4	4.4	49.0	42.3	-	-
Falcon	40B	基础	-	-	49.0*	-	-	-
Vicuna	33B	SIFT	-	-	59.2	-	-	-
LLaMA	33B	基础	35.6	7.1	57.8	-	21.7	-
InstructCodeT5+	16B	SIFT	-	-	-	-	35.0	-
StarCoder	15B	基础	8.4	15.1	33.9	-	33.6	-
Vicuna	13B	SIFT	-	-	-	52.1	-	-
LLaMA	13B	基础	17.8	3.9	46.9	-	15.8	-
Flan-T5	11B	SIFT	16.1*	-	48.6	41.4	-	-
Alpaca	7B	SIFT	-	-	-	-	-	-
LLaMA	7B	基础	11.0	2.9	35.1	-	10.5	-
Flan-T5	3B	SIFT	13.5*	-	45.5	35.2	-	-

我们称这些数据集为“主要”，是因为它们相当稳定，并且在各大机构的LLM开发中被广泛使用。基础模型指的是预训练检查点。SIFT指的是经过监督指令微调后的检查点。RLHF指的是经过人类反馈强化学习后的检查点。标有星号*的数据来自我们自己的运行，其余则来自多个来源，具体说明见下文。所有方法均以准确率衡量，数值越高越好。

排行榜 - 实验性：长上下文

模型	参数量	上下文长度	类型	Qspr	QALT	BkSS
人类	?	?	?	67.7	93.5	?
gpt-4	?	8K	RLHF	50.7	89.2	60.5
claude-v1.3	?	8K	RLHF	52.3	84.8	47.4
claude-v1.3	?	4K	RLHF	47.7	76.8	37.6
PaLM-2-Unicorn	?	-	基础	-	-	-
PaLM-2-bison	?	-	RLHF	-	-	-
gpt-3.5-turbo	?	4K	RLHF	49.3	66.6	49.8
claude-instant	?	-	RLHF	-	-	-
text-davinci-003	?	4K	RLHF	52.7	69.0	49.5
text-davinci-002	?	-	SIFT	-	-	-
LLaMA	65B	-	基础	-	-	-
Falcon	40B	-	基础	-	-	-
Flan-UL2	20B	8K	SIFT	56.9	75.6	14.0
LLaMA	33B	-	基础	-	-	-
Vicuna	13B	-	SIFT	-	-	-
LLaMA	13B	-	基础	-	-	-
Flan-T5	11B	8K	SIFT	48.3	75.2	15.1
Flan-T5	11B	4K	SIFT	46.5	70.8	16.4
T0pp	11B	8K	SIFT	25.0	21.4	0.0
Alpaca	7B	-	SIFT	-	-	-
LLaMA	7B	-	基础	-	-	-
Flan-T5	3B	8K	SIFT	46.6	69.6	2.2

• 待办事项：RepoBench：用于基准测试仓库级代码自动补全系统的平台
• Qspr、QALT 和 BkSS 的数值来自零滚动测试
• 我们为何选择这些数据集？请参阅详细文档

与其他重要评估有何不同？

• HeLM 使用仅答案提示，而我们采用思维链提示。
• HeLM 对所有模型进行全面评估。我们则专注于复杂推理能力，这是大语言模型的核心差异点。
• Open LLM Leaderboard 主要评估开源语言模型。我们则涵盖了大多数领先的模型。
  • 目前，LLaMA 65B 在 Open LLM Leaderboard 上的得分仅为48.8，远低于论文中报告的63.4分。这引发了对 LLaMA 和 Falcon 模型之间比较结果的质疑。
  • 在我们的复现中，使用 MMLU 官方提示、贪婪解码和 fp16 精度，我们得到了61.4分。这一结果支持了原始 LLaMA 的分数，并对 Open LLM Leaderboard 的结果提出了质疑。
  • 我们的评估脚本非常简单，大部分参数都采用默认设置，没有复杂的提示工程。我们鼓励社区尝试我们的脚本并复现结果。
  • 根据Nathan Lambert的说法，HuggingFace 目前正在重做 Open LLM Leaderboard 的后端系统，因此排名可能会发生变化（2023年6月10日）。
• Chatbot Arena 评估聊天机器人模型，更侧重于实际部署中的用户体验。而我们的评估则更面向开发者，不仅关注聊天机器人，也涵盖基础模型。

模型如何排序

• 如果已知模型规模，我们按规模排序。
• 如果未知模型规模，则依据 GSM8K 分数进行排序，GSM8K 是衡量思维链数学推理能力的经典基准。
  • 当然，这并非唯一指标，但可以理解为“模型在保持其他通用能力的同时，在数学任务上表现如何”——而这本身也非常具有挑战性。
  • GPT-4 已经在 GSM8K 训练集上进行了预训练，而其他模型未必如此。因此，GPT-4 在 GSM8K 上的表现属于分布内泛化，而其他模型则是分布外泛化。即便像 FlanT5 这样也在 GSM8K 上训练过的模型，其表现仍然存在差距。
• 总体而言，由于多种因素（是否在相应训练集上训练、是否包含代码数据、是否优化了提示等），严格比较模型性能非常困难。因此，请将我们的结果视为近似参考。

数据来源

• GPT-4 来自其官网及Bubeck 等人 2023年3月的研究。需要注意的是，Bubeck 使用的是 GPT-4 Early 版本，据称比正式发布的 GPT-4 更强大，因为 OpenAI 为了提升安全性付出了大量对齐成本。
• *-davinci-00* 和 *PaLM 来自Flan-PaLM论文附录。
  • code-davinci-002 是 GPT-3.5 系列的基础模型，但遗憾的是目前已无法访问。
• LLaMA 来自LLaMA论文。需要注意的是，这些任务中使用的 LLaMA 提示并未公开，因此复现结果可能存在差异，更多讨论请参见这条推文。
  • 我们正在 MMLU 和 BBH 上实现自己的 LLaMA 实现版本，敬请期待。
  • 我们使用 MMLU 官方提示和 HuggingFace Transformers 默认的 generate() 函数复现了 LLaMA 在 MMLU 上的结果，与官方数据高度一致。详情请参阅[MMLU/readme.md]。
• Falcon 在 MMLU 上的得分来自我们自己的脚本这里。
• PaLM-2 来自其技术报告。
• Claude 是我们自己测试脚本的结果，运行方法见下文。
• LLaMA 模型、PaLM 和 StartCoder 的 HumanEval 结果来自HuggingFace 报告。Code-davinci-002 在 HumanEval 上的性能则来自CodeT5+ 论文。
• C-Eval 来自其官网。
• TheoremQA 来自其GitHub和相关论文。
• SummEdits 来自其GitHub和论文。
• 长上下文部分的数据来自zero-scrolls 论文和排行榜。
• Vicuna 在 MMLU 上的得分来自Chatbot Arena。

当前结果

• GPT-4 在 GSM8K 和 MMLU 上明显优于其他所有模型。
• **65B 规模的 LLaMA 与 text/code-davinci-002 接近，这意味着如果基于该模型正确地进行 SFT 和 RLHF，极有可能以 65B LLaMA 为基础复现 ChatGPT**
• Claude 是唯一可与 GPT 系列相媲美的模型家族。
• 在 GSM8K 上，gpt-3.5-turbo 的表现优于 text-davinci-003，这印证了 OpenAI 2023年1月30日发布的公告中提到的“数学能力提升”。
• 在 MMLU 上，gpt-3.5-turbo 的表现略好于 text-davinci-003，但这种差距并不显著。
• 同时要注意，gpt-3.5-turbo 的价格仅为 text-davinci-003 的十分之一。
• 此外，还需注意 GPT-4/3.5 在 GSM8K 上的表现并非真正的少样本学习——在GPT-4 报告中提到，他们混合了一部分 GSM8K 训练集来训练模型。
• LLaMA 在 MMLU 上的表现来自其论文，可能并非基于思维链提示，而是仅答案提示。通常情况下，仅答案提示在 MMLU 上的表现会略好于思维链提示，因此 LLaMA 在 MMLU 上的得分可能被略微高估。

可视化

• 开源模型与闭源模型之间存在明显差距。
• 大多数顶尖模型都经过 RLHF 微调。
• LLaMA 65B 与 code-davinci-002 非常接近。
• 现有结果强烈暗示，如果对 LLaMA 正确执行 RLHF，其性能有望接近 ChatGPT-3.5。

关于任务的更多信息

• GSM8K：8千道小学数学题。—— 在该数据集上的性能提升会直接转化为与大语言模型交互时的日常数学能力。
• MMLU：57个学科下的1.5万道题目，涵盖高中和大学的知识。
• MATH（难度高！）：7个类别下的1.2万道题目，涉及非常困难的数学和自然科学问题。目前所有模型都难以应对。
• BBH：23个子集中的6500道题目，侧重符号和文本推理。
• HumanEval：一个经典的164道Python编程题的手写数据集，用于评估编码能力。
• C-Eval：包含52个知识领域的1.3万道选择题的中文知识测试集合。
• TheoremQA（难度高！）：800对问答，覆盖数学、电子工程与计算机科学、物理和金融等领域的350多个定理。
• SummEdits：10个领域内的6300道事实一致性推理题。

运行

MMLU

cd MMLU
mkdir outputs
API_KEY=<your_api_key>
# GPT-3.5-Turbo
python run_mmlu_gpt_3.5_turbo.py --api_key=${API_KEY}
# Claude-v1.3
python run_mmlu_claude.py --api_key=${API_KEY} --engine=claude-v1.3

# LLaMA
LLAMA_CKPT_DIR=<path to model checkpoints>
PARAM_SIZE=65 # 7, 13, 33, 65
MODEL_TYPE=llama # ["llama", "falcon"] 
python run_mmlu_open_source.py --ckpt_dir ${LLAMA_CKPT_DIR} --param_size ${PARAM_SIZE} --model_type ${MODEL_TYPE}

GSM8k

cd gsm8k 
mkdir outputs

# 运行gpt-3.5
# codex_gsm8k_complex.ipynb         -- code-davinci-002 + 复杂提示
# gpt3.5turbo_gsm8k_complex.ipynb   -- gpt-3.5-turbo + 复杂提示

# 运行claude
python run_gsm8k_claude.py\
  --anthropic_key=${API_KEY}\
  --prompt_file=lib_prompt/prompt_original.txt\
  --engine=claude-v1.3\
  --output_file=outputs/gsm8k_claude_v1.3_original_test.txt

# 运行FlanT5
# flan_t5_11b_gsm8k.ipynb

BBH

cd BBH
mkdir outputs
# 然后运行jupyter notebook查看企鹅数据集示例
cd penguins
# gpt3.5trubo_penguins_original.ipynb

# 或者运行脚本处理所有数据集
API_KEY=<your_api_key>
TASK=<all | multiple_choice | free_form>
python run_bbh_gpt_3.5_turbo.py --api_key=${API_KEY} --task=${TASK} # 默认为all
python run_bbh_claude_v1.3.py --api_key=${API_KEY} --model_index=claude-v1.3 --task=${TASK} # 默认为all

常见问题

• 模型性能对输入提示非常敏感。
  • 不幸的是，这是大语言模型的特性。我们目前正在努力标准化提示（初步进展见[spl/markdown.md]），并将持续更新相关信息。
• “基于复杂性的提示”论文中使用的提示是什么？
  • 请参阅research/complexity_based_prompting/。
• 我想尝试一些开源模型。
  • 可以从gsm8k/flan_t5_11b_gsm8k.ipynb开始。
• 有些提示的答案是错误的。
  • 是的，但我们保留原样，因为它们源自原始论文。
  • 通常情况下，模型对提示扰动具有较强的鲁棒性：即使提示中存在错误，只要提示格式符合相应任务的要求，模型往往会忽略提示中的错误，仅根据格式进行预测。
  • 更多关于模型如何忽略提示错误的分析，请参阅https://arxiv.org/abs/2202.12837和https://arxiv.org/abs/2212.10001。

想了解更多关于构建用于推理任务的大语言模型的信息

详细的路线图已在我们的上一篇博客文章中讨论：迈向复杂推理——大型语言模型的北极星。

一般来说，构建强推理能力模型的方法与通用大语言模型相同：预训练、微调和强化学习。以下是一些需要重点关注的重要论文：

预训练/继续训练

• Lewkowycz等人，2022年。Minerva：使用语言模型解决定量推理问题
• Taylor等人，2022年。Galactica：一款面向科学领域的大型语言模型

微调

• Chung等人，2022年。指令微调语言模型的扩展
• Li等人，2022年。AlphaCode实现竞赛级别的代码生成
• Fu等人，2023年。将小型语言模型专门化用于多步推理

强化学习

• Uesato等人，2022年。通过过程和结果反馈解决数学应用题
• Le等人，2022年。CodeRL：通过预训练模型和深度强化学习掌握代码生成
• Lightman等人，2023年。让我们逐步验证

开发中

• CotHub标准提示库
• 待办事项
• 文献
• 详细结果
• 实验部分和长上下文

Chain-of-Thought Hub 快速上手指南

Chain-of-Thought Hub 是一个专注于评估大语言模型（LLM）在复杂推理任务上性能的开源项目。它通过思维链（Chain-of-Thought, CoT）提示工程，在数学、科学、符号推理、代码生成及长上下文理解等多个维度对模型进行基准测试。

环境准备

本项目主要提供评估脚本、数据集配置及结果汇总，通常依赖 Python 环境运行评估代码。

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS
• Python 版本: Python 3.8 或更高版本
• 前置依赖:
  • git: 用于克隆仓库
  • pip: Python 包管理工具
  • (可选) GPU 环境：若需本地运行大型模型推理，建议安装 CUDA 驱动的 NVIDIA GPU

安装步骤

1. 克隆仓库 将项目代码克隆到本地：

   git clone https://github.com/FranxYao/chain-of-thought-hub.git
   cd chain-of-thought-hub
   

2. 安装依赖 虽然主 README 未列出统一的 requirements.txt，但各子任务目录（如 MMLU, GSM8K 等）通常包含独立的评估脚本。建议创建一个虚拟环境并安装通用的 NLP 评估依赖：

   python -m venv venv
   source venv/bin/activate  # Windows 用户使用: venv\Scripts\activate
   
   # 安装基础依赖 (根据具体子目录的 readme 可能需要额外安装)
   pip install torch transformers accelerate datasets evaluate
   

   提示：具体的评估脚本（如 MMLU 的评估）通常位于对应的子文件夹中（例如 MMLU/readme.md），请进入相应目录查看特定的依赖安装指令。

基本使用

Chain-of-Thought Hub 的核心价值在于其提供的基准测试榜单和评估方法论。使用方式主要分为“参考榜单”和“运行评估”两种。

1. 参考现有榜单

直接查看项目中的 Leaderboard 表格，对比不同模型在核心数据集上的表现。

• Main (核心任务): 包含 GSM8K (数学), MATH (竞赛数学), MMLU (多学科知识), BBH (符号推理), HumanEval (代码), C-Eval (中文知识)。
• Long Context (长上下文): 包含 Qspr, QALT, BkSS 等需要处理长文本的任务。

2. 运行特定任务评估

以 MMLU 为例，项目提供了针对 LLaMA 和 Falcon 等模型的评估脚本。

• 进入任务目录:

  cd MMLU
  

• 查看具体运行指令: 阅读该目录下的 readme.md 文件，通常包含类似以下的执行命令（示例）：

  python eval.py --model_name llama-7b --data_dir ../data/mmlu
  

  (注：具体参数请以子目录下的实际文档为准)

3. 贡献与新增任务

如果您希望添加新的模型数据或建议新的长上下文/复杂 API 调用基准测试：

• 提交数据: 发送 Pull Request (PR) 填补表格中的缺失数据。
• 提出建议: 在 GitHub Issues 中发起讨论，建议新的任务类型（特别是针对超长上下文推理或复杂工具调用的基准）。

---

更多详细的数据集描述和长上下文测试原理，请参阅项目根目录下的 resources/long_context.md 及各子模块文档。