用于通用人工智能的抽象与推理语料库 v2 (ARC-AGI-2)

本仓库包含 ARC-AGI-2 任务数据（ARC-AGI-1 可在此处找到：https://github.com/fchollet/arc-agi）。

“ARC 既可被视为通用人工智能基准、程序合成基准，也可被视为心理测量学智力测试。它面向人类以及旨在模拟类似人类的广义流体智能的人工智能系统。”

有关该数据集的基础性描述、其目标及其内在逻辑，请参阅：论智力的度量、ARC-AGI-2 演示文稿 和 ARC-AGI-2 技术报告。

数据集构成

ARC-AGI-2 包含 1,000 个公开训练任务和 120 个公开评估任务。

训练任务旨在展示任务格式以及 ARC-AGI 所使用的核心知识先验。它们可用于训练 AI 模型。 公开评估任务则用于测试从未见过这些任务的 AI 模型。在我们的测试样本中，人类在这类任务上的平均表现约为 66%。

ARC-AGI-2 还包含两个未收录于本仓库的私有测试集：

• 半私有测试集，用于测试远程托管的商业模型，且信息泄露概率较低。其难度与公开评估集相当，面向人类。
• 完全私有测试集，用于在 ARC 大奖赛期间测试自包含模型，信息泄露几乎为零。其难度同样与上述测试集一致。

这种多层次结构既支持开放式研究，也能够举办安全、高风险的比赛。

任务成功标准

当应试者首次看到某项任务时，若能针对该任务中的所有测试输入生成正确的输出网格（包括确定输出网格的尺寸），则视为成功解决该任务。对于每个测试输入，应试者共有两次尝试机会（无论其是人类还是 AI）。

任务文件格式

data 目录下包含两个子目录：

• data/training：包含用于训练的任务文件（共 1,000 个）。可用于算法原型开发或训练算法以习得与 ARC 相关的认知先验。该集合结合了 ARC-AGI-1 中的任务以及新增任务。
• data/evaluation：包含用于评估的任务文件（共 120 个）。可用于评估最终算法。为确保评估结果的公正性，请勿将评估集中的信息泄露至您的算法中（例如，在开发过程中自行查看评估任务，或反复调整算法并以评估分数作为反馈）。evaluation 中的每项任务均已在受控测试环境下由至少 2 人以不超过 2 次尝试成功解决；许多任务甚至被更多人完成。

任务以 JSON 格式存储。每个任务的 JSON 文件包含一个字典，内含两个字段：

• "train"：演示用输入/输出对。为一个“对”列表（通常 3 组）。
• "test"：测试用输入/输出对。为一个“对”列表（通常 1–2 组）。

“对”是一个包含两个字段的字典：

• "input"：该对的输入“网格”。
• "output"：该对的输出“网格”。

“网格”是由 0 至 9 之间的整数（含 0 和 9）组成的矩形矩阵（列表的列表）。最小网格尺寸为 1×1，最大为 30×30。

在查看任务时，应试者可以访问演示对的输入与输出，以及测试对的输入。目标是为每个测试输入构建相应的输出网格，每项测试输入有 3 次尝试机会。“构建输出网格”包括确定输出网格的高度和宽度，然后用符号（0 至 9 之间的整数，以颜色表示）填充网格中的每个单元格。只有完全准确的解答（所有单元格均与预期答案一致）才被视为正确。

测试界面使用说明

您可以在 ARCPrize.org/play 上查看任务，或克隆 ARC-AGI-1 测试界面。请在网页浏览器中打开（推荐使用 Chrome）。系统会提示您选择一个任务 JSON 文件。

加载任务后，您将进入测试空间，界面如下所示：

左侧显示演示输入/输出对，帮助您理解任务性质。中间显示当前的测试输入网格。右侧则是用于构建相应输出网格的操作控件。

您可以使用以下工具：

网格控制

• 调整大小：输入所需的网格尺寸（如“10×20”或“4×4”），然后点击“调整大小”。此操作会保留左上角已有的网格内容。
• 从输入复制：将输入网格的内容复制到输出网格。这在输出是对输入进行某种修改的任务中非常有用。
• 重置网格：将网格全部填充为 0。

符号控制

• 编辑：从颜色选择栏中选取一种颜色，然后单击某个单元格以设置其颜色。
• 选择：在输出网格或输入网格上单击并拖动以选择单元格。
  • 在输出网格上选中单元格后，可以从颜色选择栏中选取一种颜色来设置所选单元格的颜色。这对于绘制实心矩形或线条很有用。
  • 在输入网格或输出网格上选中单元格后，按下 C 键即可复制其内容。随后在输出网格上选中目标单元格，并按下 V 键即可粘贴复制的内容。请注意，应将粘贴内容放置在目标区域的左上角。
• 漏斗填充：单击输出网格中的某个单元格，将其及与其相连的同色单元格全部填充为选定的颜色。“相连的单元格”是指颜色相同且彼此相邻的单元格。

答案验证

当您的输出网格准备就绪时，点击绿色的“提交！”按钮以检验答案。我们不强制执行两次尝试的规则。

在为当前测试输入网格获得正确答案后，您可以使用“下一个测试输入”按钮切换到该任务的下一个测试输入网格（如有；大多数任务只有一个测试输入）。

完成一项任务后，使用“加载任务”按钮即可打开新任务。

ARC-AGI-2 快速上手指南

ARC-AGI-2 是一个用于评估人工通用智能（AGI）的抽象与推理数据集。它通过网格变换任务测试系统的核心知识先验和流体智力。本指南帮助开发者快速配置环境并理解数据格式。

环境准备

本项目主要为数据集仓库，无需复杂的系统依赖，但建议具备以下环境以便进行数据处理和模型开发：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：推荐 Python 3.8 及以上
• 前置依赖：
  • git：用于克隆仓库
  • json 库：Python 标准库，用于解析任务文件
  • (可选) numpy 或 torch：用于构建和训练 AI 模型处理网格数据

注意：国内开发者若遇到 GitHub 克隆速度慢的问题，可使用国内镜像源（如 Gitee 镜像）或配置代理加速。

安装步骤

1. 克隆仓库 使用终端执行以下命令获取最新数据：

   git clone https://github.com/fchollet/arc-agi-2.git
   cd arc-agi-2
   

2. 验证数据结构 进入目录后，确认 data 文件夹包含训练和评估子集：

   ls data/training | head
   ls data/evaluation | head
   

   • data/training：包含 1,000 个公开训练任务。
   • data/evaluation：包含 120 个公开评估任务（请勿在开发过程中泄露此部分数据）。

基本使用

ARC-AGI-2 的任务以 JSON 格式存储。每个文件包含演示对（train）和测试对（test）。

1. 读取任务文件示例

以下 Python 代码展示了如何加载并解析一个任务文件：

import json
import os

# 指定任务文件路径 (以训练集第一个任务为例)
task_path = 'data/training/00d62c1b.json'

with open(task_path, 'r') as f:
    task = json.load(f)

# 访问训练演示数据 (通常为 3 组输入输出对)
train_pairs = task['train']
first_demo = train_pairs[0]
input_grid = first_demo['input']
output_grid = first_demo['output']

print(f"输入网格尺寸：{len(input_grid)}x{len(input_grid[0])}")
print(f"输出网格尺寸：{len(output_grid)}x{len(output_grid[0])}")
print("输入网格前几行:", input_grid[:2])

2. 数据格式说明

• Grid (网格)：由 0-9 的整数组成的二维列表（List of Lists），代表不同颜色。
  • 最小尺寸：1x1
  • 最大尺寸：30x30
• Task Structure:
  • "train": 演示用的输入/输出对列表，用于让模型学习规律。
  • "test": 测试用的输入列表。目标是根据输入生成完全匹配的输出网格（尺寸和内容均需精确匹配）。

3. 在线测试与可视化

若需手动测试算法效果或观察任务细节，推荐使用官方提供的 Web 界面：

1. 访问 ARCPrize.org/play。
2. 点击加载本地 JSON 任务文件。
3. 利用界面左侧的演示对理解规律，在右侧网格中绘制答案并提交验证。

提示：在开发算法时，请严格遵守评估规范，不要将 evaluation 集的数据用于训练或直接反馈调整参数，以确保评测结果的公正性。