AGIEval

本仓库包含 AGIEval 的相关信息、数据、代码以及基准测试中基线系统的输出结果。

简介

AGIEval 是一个以人类为中心的基准测试，专门用于评估基础模型在与人类认知和问题解决相关的任务中的综合能力。该基准测试源自 20 项面向普通考生的官方、公开且高标准的入学和资格考试，例如普通高校入学考试（如中国高考和美国 SAT）、法学院入学考试、数学竞赛、律师资格考试以及国家公务员考试。有关该基准测试的完整描述，请参阅我们的论文：AGIEval: 用于评估基础模型的人类中心基准。

任务与数据

我们已将数据集更新至 1.1 版。 新版本更新了中国高考（化学、生物、物理）数据集，加入了 2023 年的题目，并修复了标注问题。为便于评估，现在所有选择题任务都只有一个正确答案（此前高考物理和 JEC-QA 曾允许多标签答案）。AGIEval 英文数据集与 1.0 版保持一致。新版本的统计数据如下：

AGIEval v1.1 包含 20 个任务，其中包括 18 个选择题任务和两个完形填空任务（高考数学完形填空和 MATH）。您可以在下表中找到完整的任务列表。

您可以在 data/v1_1 文件夹中下载所有后处理后的数据。所有数据的使用均应遵循原始数据集的许可协议。

所有数据集的格式如下：

{
    "passage": null,
    "question": "设集合 $A=\\{x \\mid x \\geq 1\\}, B=\\{x \\mid-1<x<2\\}$, 则 $A \\cap B=$ ($\\quad$)\\\\\n",
    "options": ["(A)$\\{x \\mid x>-1\\}$", 
        "(B)$\\{x \\mid x \\geq 1\\}$", 
        "(C)$\\{x \\mid-1<x<1\\}$", 
        "(D)$\\{x \\mid 1 \\leq x<2\\}$"
        ],
    "label": "D",
    "answer": null
}

passage 字段适用于高考语文、高考英语、两套 LogiQA 数据、全部 LSAT 和 SAT 数据。选择题任务的答案保存在 label 字段中，而完形填空任务的答案则保存在 answer 字段中。

我们在 data/few_shot_prompts 文件中提供了少样本学习的提示模板。

基线系统

我们评估了基线系统（gpt-3.5-turbo 和 GPT-4o）在 AGIEval v1.1 上的表现。 结果如下：

您可以通过以下步骤复现这些结果：

1. 在 openai_api.py 文件中更新您的 OpenAI API 密钥。
2. 运行 run_prediction.py 脚本以获取结果。

评估

您可以运行 post_process_and_evaluation.py 文件来获得评估结果。

排行榜

我们公布了 AGIEval v1.1 的排行榜。排行榜分为 AGIEval-en 和 AGIEval-zh 两个子集，这两个子集仅包含选择题任务。排行榜如下：

AGIEval-en 少样本

模型	来源	平均分
GPT-4o	链接	71.4
Llama 3 400B+	链接	69.9
Llama 3 70B	链接	63
Mixtral 8x22B	链接	61.2
GPT-3.5-Turbo	链接	52.7
Llama 3 8B	链接	45.9
Gemma 7B	链接	44.9
Mistral 7B	链接	44

AGIEval-zh 少样本

模型	来源	平均分
GPT-4o	链接	71.9
GPT-3.5-Turbo	链接	49.5

AGIEval-all 少样本

模型	来源	平均分
GPT-4o	链接	69.0
GPT-3.5-Turbo	链接	47.2

AGIEval-en 零样本

模型	来源	平均分
GPT-4o	链接	65.2
GPT-3.5-Turbo	链接	54.1

AGIEval-zh 零样本

模型	来源	平均分
GPT-4o	链接	63.3
GPT-3.5-Turbo	链接	45.0

AGIEval-全部零样本

（星号表示为 AGIEval v1.0 报告的结果。）

模型	来源	平均
GPT-4o	链接	62.3
InternLM2-20B*	链接	53.0
Qwen-14B*	链接	52.0
Phi-3-medium 14b*	链接	50.2
InternLM2-Chat-7B-SFT*	链接	49.0
GPT-3.5-Turbo	链接	46.0
Qwen-7B*	链接	45.6
Mixtral 8x7b*	链接	45.2
Phi-3-small 7b*	链接	45.1
Gemma 7b*	链接	42.1
Llama-3-In*	链接	42.0
Phi-3-mini 3.8b*	链接	37.5
Mistral 7b*	链接	35.1
Phi-2 2.7b*	链接	29.8

引用

如果您在研究中使用 AGIEval 基准或代码，请引用我们的论文：

@misc{zhong2023agieval,
      title={AGIEval: A Human-Centric Benchmark for Evaluating Foundation Models}, 
      author={Wanjun Zhong and Ruixiang Cui and Yiduo Guo and Yaobo Liang and Shuai Lu and Yanlin Wang and Amin Saied and Weizhu Chen and Nan Duan},
      year={2023},
      eprint={2304.06364},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

贡献

本项目欢迎贡献和建议。大多数贡献都需要您同意贡献者许可协议 (CLA)，声明您有权并确实授予我们使用您贡献的权利。有关详细信息，请访问 https://cla.opensource.microsoft.com。

当您提交拉取请求时，CLA 机器人会自动确定您是否需要提供 CLA，并相应地标记 PR（例如状态检查、评论）。只需按照机器人提供的指示操作即可。对于所有使用我们 CLA 的仓库，您只需执行一次此操作。

本项目已采用 微软开源行为准则。有关更多信息，请参阅 行为准则常见问题解答 或通过电子邮件 opencode@microsoft.com 联系我们，以获取更多问题或意见。

商标

本项目可能包含项目、产品或服务的商标或徽标。未经授权使用微软商标或徽标需遵守并遵循 微软商标与品牌指南。 在本项目的修改版本中使用微软商标或徽标不得造成混淆或暗示微软的赞助。任何第三方商标或徽标的使用均受其各自政策的约束。

AGIEval 快速上手指南

AGIEval 是一个以人类为中心的基准测试工具，旨在评估基础模型在涉及人类认知和解决问题任务中的通用能力。该基准源自 20 项官方公开的高标准入学考试和资格考试（如中国高考、美国 SAT、律师资格考试等）。

环境准备

• 系统要求：Linux 或 macOS 环境（Windows 需使用 WSL）。
• 编程语言：Python 3.8 或更高版本。
• 前置依赖：
  • pip 包管理工具。
  • OpenAI API Key（用于复现官方基线结果或调用 GPT 系列模型）。
  • 建议配置国内 pip 镜像源以加速依赖安装（如清华源或阿里源）。

安装步骤

1. 克隆仓库

   git clone https://github.com/ruixiangcui/AGIEval.git
   cd AGIEval
   

2. 安装 Python 依赖 虽然 README 未明确列出 requirements.txt，但运行脚本通常需要 openai 库。请确保安装：

   pip install openai -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   (注：如需处理特定数据格式，可能还需安装 pandas, tqdm 等常用库)

3. 获取数据 所有预处理后的数据（v1.1 版本）位于 data/v1_1 文件夹中。如果是首次克隆，数据应已包含在内；若需单独更新，请检查该目录内容。 注意：数据使用需遵循原始数据集的许可证。

4. 配置 API Key 编辑 openai_api.py 文件，填入您的 OpenAI API Key：

   # 在 openai_api.py 中设置
   import os
   os.environ["OPENAI_API_KEY"] = "sk-Your-API-Key-Here"
   

基本使用

1. 运行预测 (Baseline Evaluation)

使用提供的脚本对基线模型（如 GPT-3.5-Turbo 或 GPT-4o）进行推理测试：

python run_prediction.py

执行后将生成模型的预测结果文件。

2. 进行评估 (Evaluation)

运行后处理与评估脚本，计算模型在各项任务上的得分：

python post_process_and_evaluation.py

脚本将输出模型在 AGIEval-en（英文子集）、AGIEval-zh（中文子集）及整体数据集上的准确率。

3. 数据格式说明

数据集采用 JSON 格式，主要字段如下：

• question: 题目内容。
• options: 选择题选项列表（仅多选题任务）。
• label: 选择题正确答案（如 "A", "B", "C", "D"）。
• answer: 填空题正确答案（仅填空任务）。
• passage: 阅读理解所需的上下文段落（部分任务包含）。

示例数据片段：

{
    "passage": null,
    "question": "设集合 $A=\\{x \\mid x \\geq 1\\}, B=\\{x \\mid-1<x<2\\}$, 则 $A \\cap B=$ ($\\quad$)\\\\\n",
    "options": ["(A)$\\{x \\mid x>-1\\}$", "(B)$\\{x \\mid x \\geq 1\\}$", "(C)$\\{x \\mid-1<x<1\\}$", "(D)$\\{x \\mid 1 \\leq x<2\\}$"],
    "label": "D",
    "answer": null
}

4. 少样本提示 (Few-Shot Prompts)

项目提供了用于少样本学习的提示词模板，位于 data/few_shot_prompts.csv 文件中，可在构建输入 Prompt 时参考使用。