大型语言模型作为工具制造者

蔡天乐、王雪芝、马腾宇、陈欣韵、周登尼

论文链接

动机

近期研究表明，通过使用外部工具，可以提升大型语言模型（LLMs）的问题解决能力。然而，这一方向的现有工作依赖于已有工具的存在。在本工作中，我们迈出了消除这一依赖的第一步，提出了一种闭环框架，称为“LLMs 作为工具制造者”（LATM），其中 LLMs 可以自主创建可重用的工具用于问题解决。

概述

我们的方法包含两个关键阶段：1) 工具制造：由一个 LLM 充当工具制造者，为特定任务设计工具，这里的工具被实现为 Python 实用函数。2) 工具使用：另一个 LLM 充当工具使用者，利用工具制造者生成的工具来解决问题。工具使用者可以与工具制造者是同一个模型，也可以是不同的模型。通过工具制造，LLMs 能够持续生成适用于不同请求的工具，以便在未来遇到有益于任务解决的情况时，直接调用相应的 API。

此外，LLMs 在工具制造和工具使用阶段之间的分工，为在不降低生成工具和问题解决方案质量的前提下实现成本效益提供了机会。例如，考虑到工具制造比工具使用需要更复杂的推理能力，我们可以选择一个功能强大但资源消耗较大的模型作为工具制造者，而使用一个轻量级且经济高效的模型作为工具使用者。我们在包括 Big-Bench 任务在内的多种复杂推理任务上验证了该方法的有效性。当以 GPT-4 作为工具制造者、GPT-3.5 作为工具使用者时，LATM 的性能可以与同时使用 GPT-4 进行工具制造和工具使用的效果相媲美，同时显著降低了推理成本。

流程

LATM 可分为两个阶段：1) 工具制造：由一个功能强大但成本较高的模型充当工具制造者，根据少量示例生成通用且可重用的工具；2) 工具使用：由一个轻量级且成本较低的模型充当工具使用者，利用这些工具解决各种任务实例。工具制造阶段又可细分为三个子阶段：(i) 工具提案：工具制造者尝试从少量训练示例中生成工具（Python 函数）。若工具无法执行，则报告错误并重新生成（修复函数中的问题）；(ii) 工具验证：工具制造者对验证样本运行单元测试。若工具未通过测试，则报告错误并生成新的测试用例（修正单元测试中函数调用的问题）；(iii) 工具封装：将函数代码及如何将问题转换为函数调用的示例整理打包，形成可供工具使用者使用的工具。

示例

这是 LATM 流程中工具提案和工具使用阶段的一个示例，针对逻辑推理任务 [Srivastava 等，2022]。该任务要求根据若干给定条件确定五个物体的顺序。在工具提案阶段，工具制造者（如 GPT-4）会构建一个通用的 Python 函数，能够解决任务中提供的 k 个示例（我们在实验中取 k=3）。工具制造者会生成一种搜索算法，枚举所有可能的排序，并逐一验证是否符合给定条件。在工具使用阶段，工具使用者会将每个自然语言问题转化为一系列条件，进而生成函数调用，以利用工具解决每个任务实例。

代码结构

• schedule_meeting.ipynb -- 用于构建会议安排数据集的笔记本
• toolmaker.ipynb -- 用于工具制造的笔记本，封装后的工具存储在 tools 文件夹中，可直接使用
• tooluser.ipynb -- 用于测试工具使用者和调度器的笔记本
• bbh 文件夹 -- BigBench 中的任务，以 JSON 格式存储
• cot-prompts 文件夹 -- 思维链提示

引用

@article{cai2023large,
  title   = {Large Language Models as Tool Makers},
  author  = {Tianle Cai and Xuezhi Wang and Tengyu Ma and Xinyun Chen and Denny Zhou},
  year    = {2023},
  journal = {arXiv preprint arXiv: 2305.17126}
}

LLM-ToolMaker 快速上手指南

LLM-ToolMaker (LATM) 是一个闭环框架，允许大语言模型（LLM）自主创建可复用的 Python 工具函数来解决复杂问题。该框架将任务分为“工具制造”（由强大模型如 GPT-4 执行）和“工具使用”（由轻量模型如 GPT-3.5 执行）两个阶段，旨在降低推理成本的同时保持高性能。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows (推荐 Linux/macOS 以获得最佳兼容性)
• Python 版本: Python 3.8 或更高版本
• 依赖项:
  • jupyter: 用于运行提供的 Notebook 示例
  • openai: 用于调用 LLM API
  • 其他标准科学计算库 (如 numpy, pandas 等，通常包含在基础数据科学环境中)

建议: 使用虚拟环境管理依赖，避免冲突。

python -m venv latm-env
source latm-env/bin/activate  # Windows 用户使用: latm-env\Scripts\activate

安装步骤

1. 克隆仓库 从 GitHub 获取源代码：

   git clone https://github.com/google-research/llm-toolmaker.git
   cd llm-toolmaker
   

2. 安装 Python 依赖 虽然项目主要基于 Jupyter Notebook，但需确保安装了核心库。如果根目录有 requirements.txt，请直接安装；若无，请安装以下基础依赖：

   pip install jupyter openai pandas numpy
   

   (注：国内用户可使用清华源加速安装)

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple jupyter openai pandas numpy
   

3. 配置 API 密钥 本项目依赖 OpenAI API。请在运行 Notebook 前，确保已设置环境变量或在代码中配置您的 API Key：

   export OPENAI_API_KEY="your-api-key-here"
   

基本使用

本项目通过一系列 Jupyter Notebook 演示完整流程。以下是核心操作步骤：

1. 制造工具 (Tool Making)

此阶段使用强大的模型（如 GPT-4）根据少量示例生成通用的 Python 工具函数，并进行自我修正和验证。

启动工具制造 Notebook：

jupyter notebook toolmaker.ipynb

操作流程:

• 在 Notebook 中加载任务示例（如 bbh 文件夹中的 BigBench 任务）。
• 执行单元格，模型将尝试生成 Python 函数 (tool proposing)。
• 若代码执行报错，模型会自动修复 (fix issues)。
• 运行单元测试验证工具有效性 (tool verification)。
• 最终生成的可用工具将保存在 tools 文件夹中。

2. 使用工具 (Tool Using)

此阶段使用轻量级模型（如 GPT-3.5）调用上一步生成的工具来解决新问题。

启动工具使用 Notebook：

jupyter notebook tooluser.ipynb

操作流程:

• 加载已在 tools 文件夹中准备好的工具。
• 输入新的自然语言问题。
• 模型将问题转化为具体的函数调用参数。
• 执行函数并获取最终答案。

3. 示例任务：逻辑推导 (Logical Deduction)

参考 toolmaker.ipynb 中的逻辑推导任务示例：

• 输入: 一组关于物体顺序的条件描述。
• 工具生成: 模型编写一个搜索算法，枚举所有排列并验证条件。
• 工具调用: 对于新的问题，模型只需提取条件并调用该搜索函数，无需重新推理逻辑。

提示: schedule_meeting.ipynb 提供了构建特定数据集的示例，可根据需要先行运行以准备数据。