🌐 官网 • 🤗 Hugging Face • ⏬ 数据集 • 📃 论文 📖 教程（中文）
中文 | 英文

C-Eval 是一套全面的中文基础模型评估基准，包含 13948 道多项选择题，覆盖 52 个不同学科和四个难度级别，如下所示。更多详情请访问我们的 官网 或查阅我们的 论文。

我们希望 C-Eval 能帮助开发者跟踪模型进展，并分析其关键优势与不足。

📝 为什么推出 C-Eval？我们是如何构建它的？（中文）

最新动态

• [2025.7.27] 我们已向社区公开完整的 C-Eval 测试集！
• [2023.10.26] C-Eval 已被 NeurIPS 2023 接收 🎉🎉🎉
• [2023.07.17] C-Eval 现已加入 lm-evaluation-harness 🚀🚀🚀 详情请参阅 通过评估框架使用。

目录

• 排行榜
• C-Eval Hard 排行榜
• 验证集结果
• 数据
• 如何在 C-Eval 上进行评估
• 许可证
• 引用

排行榜

以下是我们在首次发布时评估的模型的零样本和五样本准确率。请访问我们的官方 排行榜，以获取最新模型及其各科目的详细结果。值得注意的是，对于许多指令微调模型，零样本性能优于五样本。

零样本

模型	理工科	社会科学	人文科学	其他	平均
GPT-4	65.2	74.7	62.5	64.7	66.4
ChatGPT	49.0	58.0	48.8	50.4	51.0
Claude-v1.3	48.5	58.6	47.3	50.1	50.5
Bloomz-mt-176B	39.1	53.0	47.7	42.7	44.3
GLM-130B	36.7	55.8	47.7	43.0	44.0
Claude-instant-v1.0	38.6	47.6	39.5	39.0	40.6
ChatGLM-6B	33.3	48.3	41.3	38.0	38.9
LLaMA-65B	32.6	41.2	34.1	33.0	34.7
MOSS	31.6	37.0	33.4	32.1	33.1
Chinese-Alpaca-13B	27.4	39.2	32.5	28.0	30.9
Chinese-LLaMA-13B	28.8	32.9	29.7	28.0	29.6

五样本

模型	理工科	社会科学	人文科学	其他	平均
GPT-4	67.1	77.6	64.5	67.8	68.7
ChatGPT	52.9	61.8	50.9	53.6	54.4
Claude-v1.3	51.9	61.7	52.1	53.7	54.2
Claude-instant-v1.0	43.1	53.8	44.2	45.4	45.9
GLM-130B	34.8	48.7	43.3	39.8	40.3
Bloomz-mt-176B	35.3	45.1	40.5	38.5	39.0
LLaMA-65B	37.8	45.6	36.1	37.1	38.8
ChatGLM-6B	30.4	39.6	37.4	34.5	34.5
Chinese LLaMA-13B	31.6	37.2	33.6	32.8	33.3
MOSS	28.6	36.8	31.0	30.3	31.1
Chinese Alpaca-13B	26.0	27.2	27.8	26.4	26.7

C-Eval Hard 排行榜

我们从 C-Eval 中选取了 8 门具有挑战性的数学、物理和化学科目，组成独立的基准 C-Eval Hard，涵盖高等数学、离散数学、概率统计、大学化学、大学物理、高中数学、高中化学和高中物理。这些科目通常涉及复杂的 LaTeX 公式，需要较强的推理能力才能解答。以下展示了零样本和五样本的准确率。

模型	零样本	五样本
GPT-4	53.3	54.9
Claude-v1.3	37.6	39.0
ChatGPT	36.7	41.4
Claude-instant-v1.0	32.1	35.5
Bloomz-mt	30.8	30.4
GLM-130B	30.7	30.3
LLaMA-65B	29.8	31.7
ChatGLM-6B	29.2	23.1
MOSS	28.4	24.0
Chinese-LLaMA-13B	27.5	27.3
Chinese-Alpaca-13B	24.4	27.1

验证集结果

由于我们未公开测试集的答案标签，因此提供验证集上的零样本和五样本平均准确率，供开发者参考。验证集共包含 1346 道题目。下表报告了所有科目中仅基于答案的平均准确率。验证集的平均准确率与 排行榜 中展示的测试集平均准确率非常接近。

模型	零样本	五样本
GPT-4	66.7	69.9
Claude-v1.3	52.1	55.5
ChatGPT	50.8	53.5
Bloomz-mt	45.9	38.0
GLM-130B	44.2	40.8
Claude-instant-v1.0	43.2	47.4
ChatGLM-6B	39.7	37.1
LLaMA-65B	38.6	39.8
MOSS	35.1	28.9
Chinese-Alpaca-13B	32.0	27.2
Chinese-LLaMA-13B	29.4	33.1

数据

下载

• 方法 1：下载 zip 文件（你也可以直接用浏览器打开以下链接）：

  wget https://huggingface.co/datasets/ceval/ceval-exam/resolve/main/ceval-exam.zip
  

  然后解压，即可使用 pandas 加载数据：

  import os
  import pandas as pd
  
  File_Dir="ceval-exam"
  test_df=pd.read_csv(os.path.join(File_Dir,"test","computer_network_test.csv"))
  

• 方法 2：直接使用 Hugging Face datasets 加载数据集：

  from datasets import load_dataset
  dataset=load_dataset(r"ceval/ceval-exam",name="computer_network")
  
  print(dataset['val'][0])
  # {'id': 0, 'question': '使用位填充方法，以01111110为位首flag，数据为011011111111111111110010，求问传送时要添加几个0____', 'A': '1', 'B': '2', 'C': '3', 'D': '4', 'answer': 'C', 'explanation': ''}
  

注意事项

为了方便使用，我们整理了 52 个科目的科目名称处理器及其对应的英文和中文名称。详细信息请参阅 subject_mapping.json。格式如下：

# 字典键是科目处理器，字典值是一个包含 (英文名称, 中文名称, 类别) 的元组
{
    "computer_network": [
        "Computer Network",
        "计算机网络",
        "STEM"
    ],
    ...
    "filename":[
        "English Name",
        "Chinese Name"
        "Supercatagory Label(STEM, Social Science, Humanities or Other)"
    ]
}

每个科目包含三个划分：dev、val 和 test。每个科目的 dev 集由五个示例组成，并附有解释，用于少样本评估。val 集用于超参数调优。而 test 集则用于模型评估。test 划分上的标签不会公开，用户需要提交结果以自动获取测试准确率。如何提交？

以下是计算机网络的一个 dev 示例：

id: 1
question: 25 °C时，将pH=2的强酸溶液与pH=13的强碱溶液混合，所得混合液的pH=11，则强酸溶液与强碱溶液 的体积比是(忽略混合后溶液的体积变化)____
A: 11:1
B: 9:1
C: 1:11
D: 1:9
answer: B
explanation: 
1. pH=13的强碱溶液中c(OH-)=0.1mol/L, pH=2的强酸溶液中c(H+)=0.01mol/L，酸碱混合后pH=11，即c(OH-)=0.001mol/L。
2. 设强酸和强碱溶液的体积分别为x和y，则：c(OH-)=(0.1y-0.01x)/(x+y)=0.001，解得x:y=9:1。

如何在 C-Eval 上进行评估

通常情况下，你可以直接提取模型生成的内容中的答案标记（即 A、B、C、D），使用简单的正则表达式即可。在少样本评估中，模型通常会遵循给定的模板，因此这很容易实现。然而，在零样本评估中，尤其是对于未经过指令微调的模型，模型可能无法很好地遵循指令生成格式良好的回答。在这种情况下，我们建议计算“A”、“B”、“C”、“D”的概率，并选择概率最高的作为答案——这是一种受限解码方法，官方的 MMLU 测试代码 中也采用了这种方法。不过，这种概率方法不适用于思维链设置。更详细的评估教程（中文）。

我们在首次发布时使用以下提示来评估模型：

仅答案提示

以下是中国关于{科目}考试的单项选择题，请选出其中的正确答案。

{题目1}
A. {选项A}
B. {选项B}
C. {选项C}
D. {选项D}
答案：A

[k-shot demo，注意在零样本情况下k为0]

{测试题目}
A. {选项A}
B. {选项B}
C. {选项C}
D. {选项D}
答案：

思维链提示

以下是中国关于{科目}考试的单项选择题，请选出其中的正确答案。

{题目1}
A. {选项A}
B. {选项B}
C. {选项C}
D. {选项D}
答案：让我们一步一步思考，
1. {解析过程步骤1}
2. {解析过程步骤2}
3. {解析过程步骤3}
所以答案是A。

[k-shot demo，注意在零样本情况下k为0]

{测试题目}
A. {选项A}
B. {选项B}
C. {选项C}
D. {选项D}
答案：让我们一步一步思考，
1. 

使用评估框架进行评估

现在，你可以通过 lm-evaluation-harness 在 C-Eval 的验证集上评估模型，这是一个用于自回归语言模型少样本评估的框架。任务名称的格式为 Ceval-valid-{subject}（例如 Ceval-valid-computer_network）。例如，要评估托管在 HuggingFace Hub 上的模型（如 GPT-J-6B），可以使用以下命令：

python main.py --model hf-causal --model_args pretrained=EleutherAI/gpt-j-6B --tasks Ceval-valid-computer_network --device cuda:0

更多详情请参阅 lm-evaluation-harness。

许可证

本作品采用 MIT 许可证 许可。

C-Eval 数据集采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 许可。

引用

如果您使用我们的数据集，请引用我们的论文。

@inproceedings{huang2023ceval,
title={C-Eval: 一个面向基础模型的多层级、多学科中文评估套件}, 
author={黄宇珍、白宇卓、朱志浩、张俊磊、张景涵、苏唐军、刘俊腾、吕传成、张一凯、雷佳怡、傅瑶、孙茂松、何俊贤},
booktitle={神经信息处理系统进展},
year={2023}
}

C-Eval 快速上手指南

C-Eval 是一个全面的中文基础模型评估套件，涵盖 52 个学科和四个难度等级的 13,948 道选择题。本指南将帮助您快速获取数据并开始在验证集上进行评估。

环境准备

• 系统要求：Linux / macOS / Windows (推荐 Linux)
• 编程语言：Python 3.8+
• 前置依赖：
  • pandas (用于直接读取 CSV 数据)
  • datasets (用于通过 Hugging Face 加载数据)
  • lm-evaluation-harness (可选，用于使用官方框架进行评估)

建议先安装基础数据处理库：

pip install pandas datasets

若需使用自动化评估框架，请安装：

pip install lm-eval

安装步骤（获取数据）

C-Eval 数据集托管在 Hugging Face 上，您可以通过以下两种方式获取数据。

方法一：直接下载压缩包（推荐国内用户配合加速工具）

您可以直接下载数据集 ZIP 文件并解压。

wget https://huggingface.co/datasets/ceval/ceval-exam/resolve/main/ceval-exam.zip
unzip ceval-exam.zip

方法二：使用 Hugging Face Datasets 库加载

如果您已配置好网络环境或使用镜像源，可直接通过代码加载：

from datasets import load_dataset

# 加载特定科目，例如"computer_network"
dataset = load_dataset("ceval/ceval-exam", name="computer_network")

# 查看验证集第一条数据
print(dataset['val'][0])

基本使用

1. 本地读取数据示例

下载解压后，可以使用 pandas 直接读取题目文件。数据结构包含 id, question, A/B/C/D 选项，answer 以及 explanation（仅 dev 集包含）。

import os
import pandas as pd

File_Dir = "ceval-exam"
# 读取计算机网络科目的测试集（注意：test 集不含答案，需提交评测）
test_df = pd.read_csv(os.path.join(File_Dir, "test", "computer_network_test.csv"))

print(test_df.head())

2. 构建评估 Prompt

C-Eval 支持 Only-Answer（仅答案）和 Chain-of-Thought（思维链）两种评估模式。以下是标准的 Zero-shot 提示词模板：

Only-Answer Prompt:

以下是中国关于{科目}考试的单项选择题，请选出其中的正确答案。

{测试题目}
A. {选项 A}
B. {选项 B}
C. {选项 C}
D. {选项 D}
答案：

Chain-of-Thought Prompt:

以下是中国关于{科目}考试的单项选择题，请选出其中的正确答案。

{测试题目}
A. {选项 A}
B. {选项 B}
C. {选项 C}
D. {选项 D}
答案：让我们一步一步思考，
1. 

注意：对于未经过指令微调的模型，建议计算 "A", "B", "C", "D" 四个 token 的概率，选择概率最高的作为答案（Constrained Decoding），而非直接解析生成文本。

3. 使用 lm-evaluation-harness 进行评测

C-Eval 已集成到 lm-evaluation-harness 中，您可以直接对验证集（validation split）运行评测。任务命名格式为 Ceval-valid-{subject}。

以下是对 computer_network 科目进行评测的命令示例：

python -m lm_eval --model hf-causal \
    --model_args pretrained=EleutherAI/gpt-j-6B \
    --tasks Ceval-valid-computer_network \
    --device cuda:0

注：由于测试集（test set）标签未公开，开发者通常先在验证集上调优超参数，确认模型表现后，再将测试结果提交至官方网站获取最终排名。