使用 MATH 数据集衡量数学问题求解能力

这是由 Dan Hendrycks、Collin Burns、Saurav Kadavath、Akul Arora、Steven Basart、Eric Tang、Dawn Song 和 Jacob Steinhardt 共同撰写的论文 使用 MATH 数据集衡量数学问题求解能力 的代码仓库。

该仓库包含数据集加载器和评估代码。

请在此处下载 MATH 数据集。

请在此处下载 AMPS 预训练数据集。

引用

如果您在研究中使用了本工作，请考虑引用以下文献：

@article{hendrycksmath2021,
  title={使用 MATH 数据集衡量数学问题求解能力},
  author={Dan Hendrycks, Collin Burns, Saurav Kadavath, Akul Arora, Steven Basart, Eric Tang, Dawn Song, Jacob Steinhardt},
  journal={NeurIPS},
  year={2021}
}

MATH 数据集快速上手指南

本指南帮助开发者快速配置并使用 MATH 数据集，用于评估和训练数学问题求解模型。

环境准备

• 操作系统：Linux / macOS / Windows (推荐 Linux)
• Python 版本：3.7 或更高
• 前置依赖：
  • pip 包管理工具
  • git (用于克隆代码库)
  • 建议创建虚拟环境 (如 venv 或 conda)

安装步骤

1. 克隆官方仓库获取评估代码和数据加载器：

   git clone https://github.com/hendrycks/math.git
   cd math
   

2. 安装必要的 Python 依赖（如有 requirements.txt）：

   pip install -r requirements.txt
   

   注：若仓库未提供 requirements 文件，通常只需安装基础数据处理库：

   pip install sympy numpy
   

3. 下载数据集：

   方案 A：通过 Hugging Face 下载（推荐，国内访问较快）

   from datasets import load_dataset
   
   dataset = load_dataset("qwedsacf/competition_math")
   

   方案 B：手动下载

   • MATH 数据集下载地址
   • AMPS 预训练数据集下载地址

   下载后解压至项目目录。

基本使用

以下是最简单的数据加载与查看示例：

from datasets import load_dataset

# 加载 MATH 数据集
dataset = load_dataset("qwedsacf/competition_math")

# 查看训练集第一条数据
print(dataset["train"][0])

# 输出示例结构：
# {'problem': 'Find the domain of the expression...', 'solution': '...', 'level': 'Level 1', 'type': 'Algebra', 'answer': '...'}

若使用本地下载的数据文件，可通过标准 JSON 加载方式读取：

import json

with open('train.json', 'r') as f:
    data = json.load(f)
    
print(data[0]['problem'])