Tree of Thoughts (ToT) 官方仓库

论文《Tree of Thoughts: Deliberate Problem Solving with Large Language Models》（思维树：利用大型语言模型进行审慎问题求解）的官方实现，包含代码、提示词和模型输出。 也可在一分钟内查看其推文线程。

设置

1. 设置 OpenAI API 密钥并存储在环境变量 OPENAI_API_KEY 中（参见此处）。

2. 通过以下两种方式之一安装 tot 包：

   • 选项 1：从 PyPI 安装

   pip install tree-of-thoughts-llm
   

   • 选项 2：从源码安装

   git clone https://github.com/princeton-nlp/tree-of-thought-llm
   cd tree-of-thought-llm
   pip install -r requirements.txt
   pip install -e .  # 安装 `tot` 包
   

快速开始

以下最小脚本将尝试使用数字 4 5 6 10 解决 24 点游戏（可能会有点慢，因为它使用的是 GPT-4）：

import argparse
from tot.methods.bfs import solve
from tot.tasks.game24 import Game24Task

args = argparse.Namespace(backend='gpt-4', temperature=0.7, task='game24', naive_run=False, prompt_sample=None, method_generate='propose', method_evaluate='value', method_select='greedy', n_generate_sample=1, n_evaluate_sample=3, n_select_sample=5)

task = Game24Task()
ys, infos = solve(args, task, 900)
print(ys[0])

输出可能类似于以下内容（注意这不是确定性的，有时输出可能是错误的）：

10 - 4 = 6 (剩余: 5 6 6)
5 * 6 = 30 (剩余: 6 30)
30 - 6 = 24 (剩余: 24)
答案: (5 * (10 - 4)) - 6 = 24

论文实验

通过运行 sh scripts/{game24, text, crosswords}/{standard_sampling, cot_sampling, bfs}.sh 来执行实验，除了在填字游戏中我们使用 DFS（深度优先搜索）算法进行 ToT，可以通过 scripts/crosswords/search_crosswords-dfs.ipynb 运行。

非常简单的 run.py 实现了 ToT + BFS（广度优先搜索）算法，以及朴素的 IO/CoT（思维链）采样。一些关键参数：

• --naive_run：如果为 True，则运行朴素的 IO/CoT 采样，而不是 ToT + BFS。
• --prompt_sample (选项=[standard, cot])：采样提示词
• --method_generate (选项=[sample, propose])：思维生成器，是采样独立的思维（用于创意写作）还是提出连续的思维（用于 24 点游戏）
• --method_evaluate (选项=[value, vote])：状态评估器，是独立评估状态值（用于 24 点游戏）还是共同对状态进行投票（用于创意写作）
• --n_generate_sample：提示进行思维生成的次数
• --n_evaluate_sample：提示进行状态评估的次数
• --n_select_sample：每一步保留的状态数量（即论文中 ToT + BFS 算法里的 b 参数）

论文轨迹

logs/ 目录包含了论文实验中的所有轨迹，除了 logs/game24/gpt-4_0.7_propose1_value3_greedy5_start900_end1000.json，该文件是在论文发表后复现的（因为原始实验是在 notebook 中完成的），并且由于 GPT 解码的随机性，获得了 69% 的分数，而不是原始的 74% 分数。我们希望将来能聚合多次运行以考虑采样随机性并更新论文，但这不应影响论文的主要结论。

如何添加新任务

设置新任务很容易，主要涉及两个步骤。

• 在 tot/tasks/ 中设置一个新的任务类，并在 tot/data/ 中放置任务文件。请参考 tot/tasks/game24.py 作为示例。将任务添加到 tot/tasks/__init__.py 中。
• 在 tot/prompts/ 中设置特定于任务的提示词。请参考 tot/prompts/game24.py 作为示例。根据任务的性质，选择 --method_generate (选项=[sample, propose]) 和 --method_evaluate (选项=[value, vote]) 以及它们对应的提示词。

引用

如果您使用了 ToT 并觉得它有趣/有用，请引用该论文并给本仓库点星，谢谢！如有任何问题，请随时联系 shunyuyao.cs@gmail.com 或提交 issue。

@misc{yao2023tree,
      title={{Tree of Thoughts}: Deliberate Problem Solving with Large Language Models}, 
      author={Shunyu Yao and Dian Yu and Jeffrey Zhao and Izhak Shafran and Thomas L. Griffiths and Yuan Cao and Karthik Narasimhan},
      year={2023},
      eprint={2305.10601},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

Tree of Thoughts (ToT) 快速上手指南

环境准备

• Python 版本: 3.7 或更高版本。
• OpenAI API 密钥: 需要一个有效的 OpenAI API 密钥，用于调用 GPT 模型。请妥善保管您的 API 密钥。
• 网络连接: 需要能够访问 OpenAI API 服务。

安装步骤

1. 设置 API 密钥

将您的 OpenAI API 密钥设置为环境变量。

export OPENAI_API_KEY='您的 API 密钥'

（对于 Windows 用户，在命令提示符中使用 set OPENAI_API_KEY=您的 API 密钥）

2. 安装 tree-of-thoughts-llm 包

方式一：通过 PyPI 安装（推荐）

pip install tree-of-thoughts-llm

方式二：从源码安装

git clone https://github.com/princeton-nlp/tree-of-thought-llm
cd tree-of-thought-llm
pip install -r requirements.txt
pip install -e .

基本使用

以下是一个使用 ToT 框架解决“24点游戏”（数字为 4, 5, 6, 10）的极简示例。该脚本使用 GPT-4 模型，运行可能需要一些时间。

import argparse
from tot.methods.bfs import solve
from tot.tasks.game24 import Game24Task

# 配置参数
args = argparse.Namespace(
    backend='gpt-4',
    temperature=0.7,
    task='game24',
    naive_run=False,
    prompt_sample=None,
    method_generate='propose',
    method_evaluate='value',
    method_select='greedy',
    n_generate_sample=1,
    n_evaluate_sample=3,
    n_select_sample=5
)

# 创建任务实例并运行求解
task = Game24Task()
ys, infos = solve(args, task, 900)
print(ys[0])

预期输出示例（由于 GPT 解码的随机性，输出可能不同且有时会出错）：

10 - 4 = 6 (left: 5 6 6)
5 * 6 = 30 (left: 6 30)
30 - 6 = 24 (left: 24)
Answer: (5 * (10 - 4)) - 6 = 24

参数简要说明：

• backend: 指定使用的语言模型，例如 gpt-4 或 gpt-3.5-turbo。
• naive_run: 若为 True，则运行简单的 IO 或思维链（CoT）采样，而非 ToT + BFS 算法。
• method_generate: 思维生成方式，sample（独立采样）或 propose（顺序提议）。
• method_evaluate: 状态评估方式，value（独立评估）或 vote（共同投票）。