ToRA：一款工具集成型推理代理

[🌐 官网] • [📜 论文] • [🤗 HF 模型] • [🐱 GitHub]
[🐦 Twitter] • [💬 Reddit] • [🍀 非官方博客]

“ToRA：用于数学问题求解的工具集成型推理代理”项目仓库 [ICLR'2024]

图1：在7B至70B参数规模的LLaMA-2基础模型上，ToRA与基线方法的对比。

🔥 最新消息

• [2023/10/08] 🔥🔥🔥 所有ToRA模型已在🤗 HuggingFace上发布！
• [2023/09/29] ToRA论文、代码库和官网正式发布。

💡 简介

ToRA是一系列工具集成型推理代理，旨在通过与计算库、符号求解器等外部工具交互来解决具有挑战性的数学推理问题。ToRA系列将自然语言推理与外部工具的高效利用无缝结合，从而融合了语言的分析能力与外部工具的计算效率。

模型	参数量	GSM8k	MATH	10个数学任务的平均准确率†
GPT-4	-	92.0	42.5	78.3
GPT-4 (PAL)	-	94.2	51.8	86.4
ToRA-7B	7B	68.8	40.1	62.4
ToRA-Code-7B	7B	72.6	44.6	66.5
ToRA-Code-7B + 自洽机制（k=50）	7B	76.8	52.5	-
ToRA-13B	13B	72.7	43.0	65.9
ToRA-Code-13B	13B	75.8	48.1	71.3
ToRA-Code-13B + 自洽机制（k=50）	13B	80.4	55.1	-
ToRA-Code-34B*	34B	80.7	51.0	74.8
ToRA-Code-34B + 自洽机制（k=50）	34B	85.1	60.0	-
ToRA-70B	70B	84.3	49.7	76.9
ToRA-70B + 自洽机制（k=50）	70B	88.3	56.9	-

• ^*ToRA-Code-34B是目前首个也是唯一一个在MATH数据集上达到超过50%准确率（pass@1）的开源模型，显著优于GPT-4的CoT结果（51.0 vs. 42.5），并且与使用程序解决问题的GPT-4表现相当。我们希望通过开源代码和模型，能够推动更多突破性进展！

• ^†10个数学任务包括GSM8k、MATH、GSM-Hard、SVAMP、TabMWP、ASDiv、SingleEQ、SingleOP、AddSub和MultiArith。

工具集成式推理

图2：单轮工具交互的基本示例，其中推理过程与基于程序的工具使用交替进行。

ToRA训练流程

图3：ToRA的训练包含①模仿学习，以及②输出空间的优化。

🚀 快速入门

⚙️ 环境搭建

我们建议使用Conda来管理您的环境。我们采用vLLM（0.1.4）来加速推理。请运行以下命令以设置您的环境：

git clone https://github.com/microsoft/ToRA.git && cd ToRA/src
conda create -n tora python=3.10
conda activate tora
pip install packaging==22.0
pip install torch==2.0.1 --index-url https://download.pytorch.org/whl/cu118 # 以CUDA 11.8为例
pip install -r requirements.txt

🪁 推理

我们提供了一个推理脚本，只需在src/scripts/infer.sh中配置MODEL_NAME_OR_PATH和DATA，然后运行以下命令：

bash scritps/infer.sh

我们还在src/outputs/文件夹中开源了来自最佳模型（ToRA-Code-34B和ToRA-70B）的模型输出。

⚖️ 评估

src/eval/grader.py文件包含了评分逻辑，用于通过将预测答案与真实答案进行比较来评估其准确性。该逻辑基于Hendrycks的MATH评分系统，并且我们在MATH数据集上进行了手动验证，以尽量减少假阳性和假阴性。

要评估预测答案，请运行以下命令：

python -m eval.evaluate \
    --data_name "math" \
    --prompt_type "tora" \
    --file_path "outputs/llm-agents/tora-code-34b-v1.0/math/test_tora_-1_seed0_t0.0_s0_e5000.jsonl" \
    --execute

随后您将得到：

样本数量：5000
得分数量：5000
超时样本：0
空样本：2
平均得分：[51.0]
各子类得分：{'代数': 67.3, '计数与概率': 42.2, '几何': 26.1, '中级代数': 40.0, '数论': 59.3, '初等代数': 63.8, '微积分预备知识': 34.2}

⚡️ 训练

我们目前正在进行内部评审，以将 ToRA-Corpus-16k 开源，敬请期待！ 我们还向社区开源了完整的训练脚本，您可以构建自己的数据集进行训练。我们在 data/tora/ 中提供了一些示例数据。

要训练模型，请运行以下命令：

bash scripts/train.sh codellama 7b

☕️ 引用

如果您觉得本仓库对您有帮助，请考虑引用我们的论文：

@inproceedings{
gou2024tora,
title={To{RA}: A Tool-Integrated Reasoning Agent for Mathematical Problem Solving},
author={Zhibin Gou and Zhihong Shao and Yeyun Gong and yelong shen and Yujiu Yang and Minlie Huang and Nan Duan and Weizhu Chen},
booktitle={The Twelfth International Conference on Learning Representations},
year={2024},
url={https://openreview.net/forum?id=Ep0TtjVoap}
}

🍀 贡献

本项目欢迎各种贡献和建议。大多数贡献都需要您同意贡献者许可协议（CLA），声明您有权且确实授予我们使用您贡献的权利。详情请访问 https://cla.opensource.microsoft.com。

本项目已采用 微软开源行为准则。更多信息请参阅 行为准则常见问题解答，或如有任何其他疑问或意见，请联系 opencode@microsoft.com。

🌟 星标历史

ToRA 快速上手指南

ToRA (Tool-Integrated Reasoning Agent) 是一个专为数学推理问题设计的工具集成智能体系列。它通过将自然语言推理与外部工具（如计算库和符号求解器）相结合，显著提升了大模型在复杂数学任务上的表现。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐) 或 macOS
• Python 版本: 3.10
• GPU: 支持 CUDA 的 NVIDIA 显卡（用于加速推理）
• 依赖管理: 推荐使用 Conda 进行环境隔离
• 推理后端: 项目默认使用 vLLM (0.1.4) 加速推理

提示：国内用户若遇到 PyTorch 下载缓慢，可手动替换为清华或中科大镜像源。

安装步骤

请依次执行以下命令来克隆代码库并配置运行环境：

# 1. 克隆仓库并进入源码目录
git clone https://github.com/microsoft/ToRA.git && cd ToRA/src

# 2. 创建并激活 Conda 环境
conda create -n tora python=3.10
conda activate tora

# 3. 安装基础依赖
pip install packaging==22.0

# 4. 安装 PyTorch (示例为 CUDA 11.8 版本)
# 国内用户可使用清华源加速: pip install torch==2.0.1 --index-url https://pypi.tuna.tsinghua.edu.cn/simple
pip install torch==2.0.1 --index-url https://download.pytorch.org/whl/cu118

# 5. 安装项目其他依赖
pip install -r requirements.txt

基本使用

1. 模型推理 (Inference)

项目提供了便捷的推理脚本。您只需修改配置文件中的模型路径和数据集路径即可运行。

1. 编辑 src/scripts/infer.sh 文件，设置以下变量：

   • MODEL_NAME_OR_PATH: 本地模型路径或 HuggingFace 模型 ID（如 llm-agents/tora-code-7b-v1.0）。
   • DATA: 输入数据文件的路径。

2. 运行推理脚本：

bash scripts/infer.sh

注意：推理结果将保存在 src/outputs/ 目录下。

2. 结果评估 (Evaluation)

推理完成后，可以使用内置的评分脚本评估模型在数学数据集（如 MATH）上的准确率。该逻辑基于 Hendrycks' MATH 评分系统优化。

运行以下命令进行评估：

python -m eval.evaluate \
    --data_name "math" \
    --prompt_type "tora" \
    --file_path "outputs/llm-agents/tora-code-34b-v1.0/math/test_tora_-1_seed0_t0.0_s0_e5000.jsonl" \
    --execute

执行成功后，终端将输出样本数量、超时/空样本统计以及各数学领域的详细得分（如代数、几何等）。

3. 模型训练 (Training)

如果您希望使用自定义数据集训练 ToRA 模型，可以使用提供的训练脚本。目前官方训练语料库 (ToRA-Corpus-16k) 正在审核中，您可以先使用 data/tora/ 下的示例数据构建自己的数据集。

运行训练命令示例（以 CodeLlama 7B 为例）：

bash scripts/train.sh codellama 7b