BIG-bench :chair:

超越模仿游戏基准测试（BIG-bench）是一个协作性的基准测试，旨在探测大型语言模型并推断其未来的能力。
BIG-bench 中包含的200 多个任务按关键词总结在这里，按任务名称则总结在这里。介绍该基准测试并包含对大型语言模型评估结果的一篇论文目前正在审稿中，并以预印本形式提供。

如需联系基准测试组织者，请发送邮件至 bigbench@googlegroups.com。

目录

• BIG-bench Lite 排行榜
• 快速入门
• 安装
• 如何创建一个任务？
• 创建程序化任务
• 提交模型评估
• 常见问题
• 艾伦·图灵坐在长椅上

有关该基准测试的更多详细信息，请参阅我们的详细说明。

BIG-bench Lite 排行榜

BIG-bench Lite (BBL) 是 BIG-bench 中的一个小型子集，包含24 个多样化的 JSON 任务。
它旨在提供一种规范化的模型性能度量标准，同时其评估成本远低于 BIG-bench 中包含的超过 200 个程序化和 JSON 任务的完整集合。
当前 BBL 上的模型性能排行榜如下所示。
若要将新的模型结果添加到完整的 BIG-bench 排行榜、BBL 排行榜以及各个任务的性能图表中，请提交一个 PR，其中包含您在 BIG-bench 任务上评估模型时生成的分数文件。

引用

如果您在出版物中使用了 BIG-bench，请引用我们的分析论文：

# TMLR
@article{srivastava2023beyond,
  title={超越模仿游戏：量化与推断语言模型的能力},
  author={BIG-bench 作者},
  journal={机器学习研究汇刊},
  issn={2835-8856},
  year={2023},
  url={https://openreview.net/forum?id=uyTL5Bvosj},
  note={}
}

快速入门 Colab 笔记本

使用 SeqIO 检查和评估 BIG-bench 的 JSON 任务：

• 加载 BIG-bench 的 JSON 任务并检查示例

• 在 BIG-bench 的 JSON 任务上评估 t5x 模型

创建新的 BIG-bench 任务

• 轻量级任务创建与评估
• 手动执行 BIG-bench 任务 （在您自己的分支中创建任务后，可使用此笔记本手动评估并验证其是否正常工作）

使用 SeqIO 加载 BIG-bench 的 JSON 任务的快速入门指南 :chair:+:telescope:

!pip install git+https://github.com/google/BIG-bench.git # 这可能需要几分钟

import seqio
from bigbench.bbseqio import tasks

# 查看所有子任务
bb_mix = seqio.get_mixture_or_task("bigbench:all_json.mix.t5_default_vocab.0_shot.all_examples")
all_subtasks = [t.name for t in bb_mix.tasks]
print("\n".join(all_subtasks[:7]) + "\n...")

# 检查一个示例任务
task = seqio.get_mixture_or_task("bigbench:simple_arithmetic_json.gen.t5_default_vocab.0_shot.all_examples")
ds = task.get_dataset(split="all", sequence_length={"inputs": 32, "targets": 32})
print(next(iter(ds)))

注意：SeqIO 目前仅支持加载通过 JSON 定义的 BIG-bench 任务，而不支持程序化任务。

更多详情请参阅 BIG-bench SeqIO 的README。

BIG-bench 的安装

要求

• Python 3.5–3.8
• pytest（用于运行自动化测试）

步骤

首先，克隆仓库并设置环境。

# 创建新任务时，请将其替换为您分叉的仓库（见下文）
git clone https://github.com/google/BIG-bench.git
cd BIG-bench
python setup.py sdist
pip install -e .

接下来，运行自动化测试以确保一切正常。

pytest -s

如何创建一个任务？

该基准测试包含两种类型的任务：通过 JSON 文件定义的简化任务，以及能够以更复杂的方式与语言模型交互的程序化任务。在这一节和下一节中，我们将逐步介绍如何创建这两种类型的任务。更多详细信息请参阅 docs/doc.md。在创建任务之前，我们强烈建议您阅读接受任务提交的评审标准。

每个任务都位于 bigbench/benchmark_tasks/TASK_NAME 文件夹中，包含一个描述任务的 README.md（或 README.pdf）文件，以及一个定义任务的 task.json 或 task.py 文件。在这一节中，我们将介绍如何创建基于 JSON 的任务，此类任务的数据在 task.json 文件中指定。

设置

首先，在 GitHub 中 fork 该仓库！:fork_and_knife:

你的 fork 将拥有自己的位置，我们将其称为 PATH_TO_YOUR_FORK。 接下来，克隆 fork 的仓库并为你的新任务创建一个分支，这里我们将其命名为 my_awesome_json_task：

git clone $PATH_TO_YOUR_FORK
cd BIG-bench
git checkout -b my_awesome_json_task

我们将基于现有的示例来构建我们的任务。 通过复制示例任务来创建一个新的任务目录：

cd bigbench/benchmark_tasks
cp -r simple_arithmetic_json my_awesome_json_task
cd my_awesome_json_task

创建 JSON 任务

我们建议从其中一个 JSON 模板任务开始。正如上一节所述，simple_arithmetic_json 是一个不错的选择。

该任务由两个文件组成：README.md 描述任务，而 task.json 包含任务数据。 现在我们将编辑这两个文件以加入新的任务信息。

:warning: 所有任务文件（包括 README.md 和 task.json）都包含一个“信标”字符串，不应进行编辑。这是为了防止基准测试任务泄露到网络爬取的训练数据中。:warning:

首先，编辑 README.md 以包含正确的作者和任务信息。 其次，编辑 task.json 并更新以下字段。更多详细信息请参阅 JSON 模式。

字段	描述
name	一个简短、易于理解的任务名称。在本例中我们使用 "我的超赞任务"。
description	一段简短的人类可读描述，用于说明你的任务。
keywords	描述任务的关键字。有关建议关键字，请参阅 此处。
metrics	用于评估的指标，例如 "exact_str_match"。有关可用指标的描述，请参阅 此处。
preferred_score	在报告任务评估结果时，应优先选择 metrics 中的哪个指标。
examples	在这里添加你任务的输入/输出示例吧！

任务示例可以通过两种方式指定：

• 作为单个输入/目标输出对，其中目标输出将与模型输出进行比较。 例如：{"input": "1 + 1 = ", "target": "2"}。对于所有指标，允许多个有效目标（以列表形式指定），例如 {"input": "1 + 1 = ", "target": ["two","2"]}。

• 作为输入和多项选择目标，其中目标得分将与模型预测的概率进行比较。 例如：{"input": "1 + 1 = ", "target_scores": { "1": 0, "2": 1, "3": 0, "4": 0 }}

本示例所基于的任务使用的是输入/输出格式。 如需多项选择任务的示例，请参阅 simple_arithmetic_json_multiple_choice。 有关 JSON 任务支持的格式和指标的完整描述，请参阅 此处。

标准化代码风格 我们使用 black 代码格式化工具，通过 pre-commit 钩子强制执行任务提交中的标准化风格。要使用此钩子，可以使用 pip install pre-commit 安装 pre-commit（如果你已按照上述步骤操作，则默认已安装）。然后运行 pre-commit install 来安装钩子。在未来的提交中，你应该会看到 black 代码格式化工具会对所有已暂存待提交的 Python 文件进行格式化。

测试与评估

一旦任务数据准备就绪，就可以对其进行测试了：

cd ../../..  # 回到 BIG-bench/
pytest -s bigbench/api/test_tasks.py --tasks my_awesome_json_task

要查看一些公开可用的模型在你的任务上的表现，请运行以下评估脚本。根据你的硬件和任务规模，这可能需要较长时间！

scripts/evaluate_task.sh --task my_awesome_json_task --output_dir results

提交

当测试通过且你对任务满意时，即可提交任务以供审核。 首先，提交并推送你的更改：

git add bigbench/benchmark_tasks/my_awesome_json_task/*
git commit -m "添加了 my_awesome_json_task"
git push --set-upstream origin my_awesome_json_task

最后，提交一个拉取请求。 最后一行 git push 命令会打印出一个 URL，你可以将其复制到浏览器中以发起该拉取请求。 或者，你也可以直接在 GitHub 网站上完成此操作。

:sparkles: 恭喜你，你已经向 BIG-bench 提交了一个任务！ :sparkles:

创建程序化任务

程序化任务是在代码中定义的，允许与被评估的语言模型进行更复杂的交互。例如，使用程序化任务可以在多个回合中查询模型，并利用模型的每次响应来指导下一次查询。

对于程序化任务，我们建议从模板任务 simple_arithmetic 开始。

与 JSON 任务类似，程序化任务也包含在一个名为 bigbench/benchmark_tasks/TASK_NAME 的文件夹中，并附有描述该任务的 README.md 或 README.pdf 文件。不同的是，程序化任务是由一个 task.py Python 文件定义的，而不是 task.json 文件。在本节中，我们将基于 benchmark_tasks/simple_arithmetic 中的示例任务，创建一个名为 my_awesome_task 的程序化任务。

首先，按照上述步骤 fork 仓库 :fork_and_knife:、克隆它 :dancers: 并创建一个分支 :herb:。然后，在 bigbench/benchmark_tasks 目录下复制示例任务：

cp -r simple_arithmetic my_awesome_task
cd my_awesome_task

创建任务

编辑 README.md，填写正确的作者和任务信息。接着，按照以下说明编辑 task.py 文件。更多详细信息请参阅 API 文档。
⚠️⚠️⚠️ 注意：程序化任务的函数签名即将发生变化。请参阅此 Pull Request 以获取更多信息。如果您正在开发程序化任务，请务必在您的任务中加入对此次 Pull Request 中新功能的支持。 ⚠️⚠️⚠️

• 将主任务类名从 ArithmeticTask 改为 MyAwesomeTask。

• get_task_details 方法用于返回任务元数据。根据您的任务需求，修改返回值中的 name、description、keywords、max_input_length_per_query 和 max_queries 等字段。有关建议关键词列表，请参阅 此处。

• 任务的核心是 evaluate_model 方法，该方法用于评估给定模型在您任务上的表现。可以通过传递给 evaluate_model 的 model 参数的两种方法来查询模型：

  • model.generate_text()：根据给定输入生成文本。
  • model.cond_log_prob()：计算给定输入下模型输出的概率。

• 为您的任务实现 evaluate_model 方法，返回一个包含评估分数的 ScoreData 对象（或对象列表）。如果您需要使用标准的 NLP 指标，请使用 T5 实现的指标，详见 此处。T5 包将在运行时可用。

:warning: 请勿修改 canary 注释。这些注释旨在防止 BIG-bench 任务泄露到网络爬取的训练数据中。 :warning:

测试与评估

测试您的新任务：

cd ../../..  # 返回到 BIG-bench 目录
pytest -s bigbench/api/test_tasks.py --tasks my_awesome_task

您可以使用以下脚本来评估您的任务在几个公开可用的模型上的表现。评估结果将被写入一个 JSON 文件中。

scripts/evaluate_task.sh --task my_awesome_task --output_dir results

:warning: 根据您的硬件配置和任务规模，此过程可能需要较长时间！ :warning:

提交

当测试通过且您准备提交任务时，提交并推送您的更改：

git add bigbench/benchmark_tasks/my_awesome_task/*
git commit -m "Added my_awesome_task"
git push --set-upstream origin my_awesome_task

最后，按照上述步骤创建 Pull Request，提交您的任务以供审核。

:sparkles: 恭喜您，您已成功向 BIG-bench 提交了一个任务！ :sparkles:

提交模型评估

您可以向仓库提交针对您模型的 BIG-bench 评估结果。您的模型结果将显示在性能图表中，并可供其他研究人员使用。要提交您的评估结果，请遵循此处的详细说明。

常见问题解答

我可以提交非英语任务吗？

可以！挑战语言模型在不同语言上的表现完全符合本基准的范围。

我可以使用外部包 X 吗？

我们已经支持的包列在此处。我们欢迎支持能够实现新型任务的额外包，但需要逐案评估以确保与我们的内部工具兼容。如果您有一个未列出的希望我们支持的包，请发送电子邮件给我们。

我已经签署了 CLA，但 Google 机器人仍然报错！

常见问题之一是，CLA 使用一个电子邮件地址签署，而提交更改时却使用与同一用户关联的另一个电子邮件地址。请参阅这些说明以解决此问题。

关于版权咨询，我应该联系谁？

有关版权和许可的问题，请联系 big-bench-copyright@google.com。

NL-augmenter 🦎 → 🐍

如果您对 BIG-bench 感兴趣，您可能也会对 NL-Augmenter 感兴趣，这是一项大规模协作项目，旨在开发处理自然语言数据集的转换技术。

艾伦·图灵坐在长椅上

_{^{照片由哈米什·麦克弗森拍摄于萨克维尔公园的艾伦·图灵纪念碑，来源：https://commons.wikimedia.org/wiki/File:Alan_Turing_Memorial_Sackville_Park.jpg}}

BIG-bench 快速上手指南

BIG-bench (Beyond the Imitation Game Benchmark) 是一个协作式基准测试项目，旨在探测大型语言模型的能力并预测其未来表现。它包含超过 200 个多样化任务。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows (需配置相应 Python 环境)
• Python 版本: 3.5 - 3.8
• 依赖工具:
  • git: 用于克隆代码库
  • pytest: 用于运行自动化测试
  • pip: Python 包管理工具

注意: 虽然官方文档未明确提及国内镜像，但在中国大陆环境下，建议在安装 Python 依赖时使用清华或阿里镜像源以加速下载（例如在 pip 命令后添加 -i https://pypi.tuna.tsinghua.edu.cn/simple）。

安装步骤

1. 克隆仓库 首先从 GitHub 克隆 BIG-bench 源代码：

   git clone https://github.com/google/BIG-bench.git
   cd BIG-bench
   

2. 安装依赖 构建分发包并以可编辑模式安装：

   python setup.py sdist
   pip install -e .
   

   (若需加速，可执行：pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple)

3. 验证安装 运行自动化测试以确保环境配置正确：

   pytest -s
   

基本使用

BIG-bench 支持通过 SeqIO 快速加载和检查 JSON 格式的任务。以下是使用 Python 脚本加载任务并查看示例的最简流程。

注意: 此方法目前仅支持加载通过 JSON 定义的任务，不支持编程式任务。

1. 快速加载与检查 (推荐)

您可以直接在 Python 环境或 Jupyter Notebook 中运行以下代码：

!pip install git+https://github.com/google/BIG-bench.git # 首次运行可能需要几分钟

import seqio
from bigbench.bbseqio import tasks

# 查看所有子任务列表
bb_mix = seqio.get_mixture_or_task("bigbench:all_json.mix.t5_default_vocab.0_shot.all_examples")
all_subtasks = [t.name for t in bb_mix.tasks]
print("\n".join(all_subtasks[:7]) + "\n...")

# 检查单个任务示例 (以简单算术任务为例)
task = seqio.get_mixture_or_task("bigbench:simple_arithmetic_json.gen.t5_default_vocab.0_shot.all_examples")
ds = task.get_dataset(split="all", sequence_length={"inputs": 32, "targets": 32})
print(next(iter(ds)))

2. 创建新任务 (简述)

如果您想贡献新任务，通常基于现有的 JSON 模板进行修改：

1. Fork 仓库: 在 GitHub 上 Fork 本项目。
2. 创建分支:

   git clone $PATH_TO_YOUR_FORK
   cd BIG-bench
   git checkout -b my_awesome_json_task
   

3. 复制模板:

   cd bigbench/benchmark_tasks
   cp -r simple_arithmetic_json my_awesome_json_task
   cd my_awesome_json_task
   

4. 编辑文件: 修改 README.md (任务描述) 和 task.json (任务数据)。
   • 警告: 请勿修改文件中的 "canary" 字符串，以防止数据泄露到训练集中。
5. 本地测试:

   cd ../../..
   pytest -s bigbench/api/test_tasks.py --tasks my_awesome_json_task
   

更多详细的高级用法（如编程式任务创建、模型评估提交）请参考项目官方文档 docs/doc.md。