使用 APPS 衡量编程挑战能力

这是由 Dan Hendrycks*、Steven Basart*、Saurav Kadavath、Mantas Mazeika、Akul Arora、Ethan Guo、Collin Burns、Samir Puranik、Horace He、Dawn Song 以及 Jacob Steinhardt 共同撰写的论文 Measuring Coding Challenge Competence With APPS 的代码仓库。

请在此处下载 APPS 数据集（约 1.3GB）。

该仓库包含训练和评估代码。

经过微调的 GPT-2 1.5B 和 GPT-Neo 2.7B 权重可在此处获取：这里。

如需了解更多关于大型 Transformer 模型的基准测试，请参阅用于测试竞赛数学能力的数据集 codeparrot/math、用于测试伦理知识的数据集 hendrycks/ethics，以及涵盖 50 多个学科领域的数据集 hendrycks/test。

使用方法

训练说明见 train/README，评估说明则见 eval/README。

Hugging Face

该数据集也在 Hugging Face 数据集 中以 apps 名称提供。

引用

如果您在研究中使用了本项目，请考虑引用以下文献：

@article{hendrycksapps2021,
  title={Measuring Coding Challenge Competence With APPS},
  author={Dan Hendrycks and Steven Basart and Saurav Kadavath and Mantas Mazeika and Akul Arora and Ethan Guo and Collin Burns and Samir Puranik and Horace He and Dawn Song and Jacob Steinhardt},
  journal={NeurIPS},
  year={2021}
}

APPS 快速上手指南

APPS (Automated Programming Progress Standard) 是一个用于衡量 AI 模型编程挑战能力的基准数据集。本指南将帮助你快速获取数据并了解基本使用方式。

环境准备

• 系统要求：Linux 或 macOS（推荐 Linux），具备足够的存储空间以容纳数据集（约 1.3GB）及模型权重。
• 前置依赖：
  • Python 3.7+
  • Git
  • Hugging Face datasets 库（推荐用于快速加载数据）
  • PyTorch 或 TensorFlow（如需运行训练/评估代码）

安装步骤

1. 获取代码仓库

克隆官方仓库以获取训练和评估脚本：

git clone https://github.com/hendrycks/apps.git
cd apps

2. 获取数据集

你可以选择以下任一方式获取 APPS 数据集：

方式 A：直接下载（官方源） 下载并解压数据集文件（约 1.3GB）：

wget https://people.eecs.berkeley.edu/~hendrycks/APPS.tar.gz
tar -xzvf APPS.tar.gz

方式 B：通过 Hugging Face Datasets 加载（推荐） 如果你已安装 datasets 库，可以直接在代码中加载，无需手动下载解压：

pip install datasets

3. 获取预训练权重（可选）

如果需要微调后的 GPT-2 1.5B 或 GPT-Neo 2.7B 权重，请从以下链接下载： Google Drive 链接

基本使用

使用 Hugging Face 加载数据

这是最简便的使用方式，适合快速进行数据探索或集成到现有 Pipeline 中：

from datasets import load_dataset

# 加载 APPS 数据集
dataset = load_dataset("codeparrot/apps")

# 查看训练集示例
print(dataset["train"][0])

运行训练与评估

具体的训练和评估流程依赖于仓库中的脚本，请参考以下文档执行相应命令：

• 训练：查看 train/README.md 获取详细的训练指令。
• 评估：查看 eval/README.md 获取详细的评估指令。

典型的使用流程如下（具体参数请参阅对应 README）：

# 示例：进入训练目录查看说明
cat train/README.md

# 示例：进入评估目录查看说明
cat eval/README.md