:lizard: 变色龙：基于GPT-4的即插即用组合推理

论文“变色龙：基于大型语言模型的即插即用组合推理”（arXiv链接）的代码。

:bell: 如果您有任何问题或建议，请随时告诉我们。您可以直接通过电子邮件 lupantech@gmail.com 联系 Pan Lu，在 Twitter 上留言，或者在此仓库中提交一个问题。

[项目主页] [论文] [Twitter] [LinkedIn] [YouTube] [演示文稿]

“变色龙”的暂定标志。

💥 新闻 💥

• [2023.05.06] 我们很高兴地看到，我们的变色龙论文在 AlphaSignal 的评选中，从1,682篇人工智能论文中脱颖而出，位列 #1。
• [2023.05.05] 我们非常荣幸地宣布，Pan Lu受邀在Google Brain的推理团队进行演讲。演示文稿请点击这里：[演示文稿]
• [2023.04.24] 我们的成果被 MarkTechPost 报道。
• [2023.04.23] 我们的研究所取得的进展被 DAIR.AI 评为“本周最佳机器学习论文”之一。
• [2023.04.22] 我们很兴奋地宣布，我们的工作已被 WorldofAI 的 YouTube 频道 报道！
• [2023.04.21] 我们的工作目前是 https://trends.vercel.app 上的热门项目。[链接]
• [2023.04.20] 非常感谢 John Nay 在 Twitter 上分享了我们的工作！
• [2023.04.19] 我们的研究所发表在了 Papers with Code 上。
• [2023.04.19] 我们感谢 Aran Komatsuzaki 及时在 Twitter 上介绍了我们的工作！
• [2023.04.19] 特别感谢 @_akhaliq 迅速在 Twitter 上分享了我们的工作！
• [2023.04.19] 欢迎访问我们的项目主页：Chameleon-LLM。
• [2023.04.19] 我们的论文现已可在 https://arxiv.org/abs/2304.09842 获取。

:lizard: 关于变色龙

变色龙是一个即插即用的组合推理框架，能够将各类工具与大语言模型相结合。变色龙会合成程序来组合不同的工具，包括其他大语言模型、现成的视觉模型、网络搜索引擎、Python函数以及根据用户需求定制的规则模块。以大语言模型作为自然语言规划器的基础，变色龙能够推断出合适的工具组合顺序，并按此顺序执行，最终生成响应。

我们在两个任务上展示了变色龙的适应性和有效性：ScienceQA 和 TabMWP。值得注意的是，使用GPT-4作为基础模型时，变色龙在ScienceQA上的准确率达到86.54%，比已发表的最佳少样本模型高出11.37%；而在TabMWP上，变色龙的整体准确率达到了98.78%，相比当前最先进的模型提升了17.0%。进一步的研究表明，与其他大语言模型（如ChatGPT）相比，使用GPT-4作为规划器时，工具选择更加一致且合理，并且能够根据指令推断出潜在的约束条件。

更多详细信息，请访问我们的项目主页 here 和论文 here。

:tv: YouTube 视频

我们衷心感谢 WorldofAI 在 YouTube 上对我们的工作进行了报道和介绍！

:star: 星标历史

🐙 系统要求

• OpenAI API 密钥
• 必应搜索 API （如果您想启用必应搜索模块，但该模块是可选的）

安装所有必需的 Python 依赖项（由 pipreqs 生成）：

python==3.8.10
huggingface-hub
numpy==1.23.2
openai==0.23.0
pandas==1.4.3
transformers==4.21.1
requests==2.28.1

安装所有必需的 Python 依赖项（如果您之前已经设置好这些依赖项，且版本要求不严格，则可以跳过此步骤）：

pip install -r requirements.txt

⚠️ 配置 ⚠️

OpenAI API 密钥

请从 https://platform.openai.com/account/api-keys 获取您的 OpenAI API 密钥。

要使用 OpenAI API 密钥运行 变色龙，您 必须 设置好账单信息（即开通付费账户）。

您可以在 https://platform.openai.com/account/billing/overview 设置付费账户。

Bing 搜索 API 密钥（可选）

从以下网址获取您的 Bing 搜索 API 密钥：https://www.microsoft.com/en-us/bing/apis/bing-web-search-api。

Bing 搜索 API 密钥是可选的。如果未设置此密钥，将在 ScienceQA 任务上导致性能略有下降。

:hammer_and_wrench: 模块清单

Chameleon 中的不同工具

我们模块库中的不同类型工具：

工具子集

分别用于 ScienceQA 和 TabMWP 的工具。两个任务中可重用的工具以绿色突出显示：

🤖 在 ScienceQA 上运行 Chameleon

科学问题回答（ScienceQA）是一个多模态问答基准，涵盖了广泛科学主题和多样化情境。ScienceQA 数据集位于 data/scienceqa。有关更多详细信息，您可以探索该数据集，并查看 Explore 页面和 Visualize 页面。

对于当前版本，Image Captioner 和 Text Detector 的结果为现成可用，分别存储在 data/scienceqa/captions.json 和 data/scienceqa/ocrs.json 中。实时调用这两个模块的功能即将推出！

要运行 Chameleon（GPT-4）：

cd run_scienceqa

python run.py \
--model chameleon \
--label chameleon_gpt4 \
--policy_engine gpt-4 \
--kr_engine gpt-4 \
--qg_engine gpt-4 \
--sg_engine gpt-4 \
--test_split test \
--test_number -1

它将生成预测结果，并将结果保存在 results/scienceqa/chameleon_gpt4_test.json、results/scienceqa/chameleon_gpt4_test_cache.jsonl 和 results/scienceqa/chameleon_gpt4_test_cache.json 中。

我们可以通过运行以下命令来获得平均准确率以及不同问题类别的准确率指标：

python evaluate.py \
--data_file ../data/scienceqa/problems.json \
--result_root ../results/scienceqa \
--result_files chameleon_chatgpt_test_cache.jsonl

要运行 Chameleon（ChatGPT）：

python run.py \
--model chameleon \
--label chameleon_gpt4 \
--policy_engine gpt-3.5-turbo \
--kr_engine gpt-3.5-turbo \
--qg_engine gpt-3.5-turbo \
--sg_engine gpt-3.5-turbo \
--test_split test \
--test_number -1

我们的 Chameleon 是 CoT（思维链） 方法的一种泛化形式，其中生成的程序是由一系列 Solution Generator 和 Answer Generator 组成的。通过将 --model 设置为 cot，modules 将被设置为 ["solution_generator", "answer_generator"]。

要运行 CoT（思维链提示）GPT-4：

python run.py \
--model cot \
--label cot_gpt4 \
--sg_engine gpt-4 \
--test_split test \
--test_number -1

要运行 CoT（思维链提示）ChatGPT：

python run.py \
--model cot \
--label cot_chatgpt \
--sg_engine gpt-4 \
--test_split test \
--test_number -1

🤖 在 TabMWP 上运行 Chameleon

TabMWP 数据集包含 38,431 道表格型数学应用题。TabMWP 中的每道题目都与一个表格上下文相关联，该上下文以图像、半结构化文本和结构化表格的形式呈现。TabMWP 数据集位于 data/tabmwp。有关更多详细信息，您可以探索该数据集，并查看 Explore 页面和 Visualize 页面。

要运行 Chameleon（GPT-4）：

cd run_tabmwp

python run.py \
--model chameleon \
--label chameleon_gpt4 \
--test_split test \
--policy_engine gpt-4 \
--rl_engine gpt-4 \
--cl_engine gpt-4 \
--tv_engine gpt-4 \
--kr_engine gpt-4 \
--sg_engine gpt-4 \
--pg_engine gpt-4 \
--test_number -1 \
--rl_cell_threshold 18 \
--cl_cell_threshold 18

它将生成预测结果，并将结果保存在 results/tabmwp/chameleon_gpt4_test.json、results/tabmwp/chameleon_gpt4_test_cache.jsonl 和 results/tabmwp/chameleon_gpt4_test_cache.json 中。

我们可以通过运行以下命令来获得平均准确率以及不同问题类别的准确率指标：

python evaluate.py \
--data_file ../data/tabmwp/problems_test.json \
--result_root ../results/tabmwp \
--result_files chameleon_chatgpt_test_cache.jsonl

要运行 Chameleon（ChatGPT）：

python run.py \
--model chameleon \
--label chameleon_chatgpt \
--test_split test \
--policy_engine gpt-3.5-turbo \
--rl_engine gpt-3.5-turbo \
--cl_engine gpt-3.5-turbo \
--tv_engine gpt-3.5-turbo \
--kr_engine gpt-3.5-turbo \
--sg_engine gpt-3.5-turbo \
--pg_engine gpt-3.5-turbo \
--test_number -1 \
--rl_cell_threshold 18 \
--cl_cell_threshold 18

要运行 CoT（思维链提示）GPT-4：

python run.py \
--model cot \
--label cot_gpt4 \
--test_split test \
--sg_engine gpt-4 \
--test_number -1

要运行 CoT（思维链提示）ChatGPT：

python run.py \
--model cot \
--label cot_chatgpt \
--test_split test \
--sg_engine gpt-3.5-turbo \
--test_number -1

我们的 Chameleon 是 PoT（程序链） 方法的一种泛化形式，其中生成的程序是由 Program Generator、Program Executor 和 Answer Generator 组成的序列。通过将 --model 设置为 pot，modules 将被设置为 ["program_generator", "program_executor", "answer_generator"]。

要运行 PoT（程序链提示）GPT-4：

python run.py \
--model pot \
--label pot_gpt4 \
--test_split test \
--pg_engine gpt-4 \
--test_number -1

要运行 PoT（程序链提示）ChatGPT：

python run.py \
--model pot \
--label pot_chatgpt \
--test_split test \
--pg_engine gpt-3.5-turbo \
--test_number -1

😈 更多示例

ScienceQA 数据集上的更多示例

Chameleon（GPT-4）能够通过生成由各种工具组成的程序，并按顺序执行这些程序来适应不同的输入查询，从而获得正确答案。

例如，上述查询问道：“哪种动物的皮肤适合在寒冷环境中生存？”这个问题涉及与动物生存相关的科学术语。因此，规划器决定依赖 Bing 搜索 引擎来获取领域专业知识，从而受益于丰富的在线资源。

TabMWP 上的更多示例

我们的 Chameleon 对各类查询的适应性和多功能性在 TabMWP 上同样得到了体现，如上图所示的例子所示。

第一个例子涉及对税务表格的数学推理。Chameleon (1) 调用知识检索模型来回忆有助于理解此类领域特定表格的基础知识，(2) 以更易读的自然语言格式描述该表格，(3) 最后依靠程序辅助工具进行精确计算。

第二个例子中，系统生成的 Python 代码与知识检索模型提供的背景知识高度一致。

第三个例子要求系统根据输入查询，在一个大型表格上下文中定位单元格。Chameleon 调用行查找模型来帮助准确找到相关行，并通过 LLM 模型生成语言解决方案，而不是依赖基于程序的工具。

:chart_with_upwards_trend: Chameleon 到底有多好？

与经过微调的模型以及少样本提示的 GPT-4/ChatGPT 相比，Chameleon 表现出了显著的提升：

要可视化 Chameleon 的预测结果，只需运行与您具体任务相对应的 Jupyter Notebook：notebooks/results_viewer_[TASK].ipynb。这将提供一种交互式且用户友好的方式来探索模型生成的结果。或者，您也可以访问我们的 项目页面 获取更多信息和选项。

:slot_machine: Chameleon 正在学习哪些内容？

工具使用

在 ScienceQA 数据集上，由 Chameleon (ChatGPT) 和 Chameleon (GPT-4) 生成的程序中调用的工具：

在 TabMWP 数据集上，由 Chameleon (ChatGPT) 和 Chameleon (GPT-4) 生成的程序中调用的工具：

转移图

运行 notebooks/transition_[TASK]_[Model]_Engine.ipynb，即可可视化测试集上生成的程序的模块转移图。

这是 Chameleon (GPT-4) 在 ScienceQA 数据集上生成的程序中模块之间的转移情况。START 是起始符号，END 是终结符号，其余均为非终结符号。

这是 Chameleon (GPT-4) 在 TabMWPQA 数据集上生成的程序中模块之间的转移情况。START 是起始符号，END 是终结符号，其余均为非终结符号。

:smile_cat: 想开发一项新任务吗？

• 构建模块库：在 demos 目录下为基于 LLM 的模型创建提示。在 model.py 中定义每个模块的输入、执行和输出。
• 开发 LLM 规划器：全面描述模块库，并提供几个示例，展示如何将查询映射到目标程序。
• 实现数据加载器和评估方法：在 model.py 中定义数据加载器。若需修改评估方法，则更新 main.py 中相应部分。
• 享受过程：基础工作就绪后，就可以尽情享受并投入到手头的任务中了！

:coffee: 保持联系！

太棒了！我随时欢迎交流讨论、合作，甚至只是线上喝杯咖啡。如需联系，请访问 Pan Lu 的主页获取联系方式。

:white_check_mark: 引用

如果您发现 Chameleon 对您的研究和应用有所帮助，请使用以下 BibTeX 格式引用：

@article{lu2023chameleon,
  title={Chameleon: Plug-and-Play Compositional Reasoning with Large Language Models},
  author={Lu, Pan and Peng, Baolin and Cheng, Hao and Galley, Michel and Chang, Kai-Wei and Wu, Ying Nian and Zhu, Song-Chun and Gao, Jianfeng},
  journal={arXiv preprint arXiv:2304.09842},
  year={2023}
}

Chameleon-LLM 快速上手指南

Chameleon 是一个即插即用的组合推理框架，能够增强大语言模型（LLM）调用各种工具（如视觉模型、搜索引擎、Python 函数等）的能力。它利用 LLM 作为自然语言规划器，自动推断并执行工具序列以解决复杂问题（如科学问答 ScienceQA 和表格数学题 TabMWP）。

环境准备

系统要求

• Python 版本: 推荐 3.8.10 (兼容范围通常为 3.8+)
• 操作系统: Linux / macOS / Windows

前置依赖与密钥

在运行前，请确保已准备好以下 API 密钥：

1. OpenAI API Key (必需)
   • 需拥有付费账户（Billing 已设置）。
   • 获取地址：https://platform.openai.com/account/api-keys
2. Bing Search API Key (可选)
   • 用于启用网络搜索模块。若未配置，ScienceQA 任务性能可能略有下降。
   • 获取地址：https://www.microsoft.com/en-us/bing/apis/bing-web-search-api

安装步骤

1. 克隆仓库

   git clone https://github.com/lupantech/chameleon-llm.git
   cd chameleon-llm
   

2. 安装 Python 依赖 项目依赖包括 openai, transformers, pandas 等。

   pip install -r requirements.txt
   

   提示：国内用户若下载缓慢，可使用清华源加速： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 配置 API Key 将获取到的 OpenAI API Key 设置为环境变量（以 Linux/macOS 为例）：

   export OPENAI_API_KEY="sk-..."
   

   (Windows PowerShell 用户使用 $env:OPENAI_API_KEY="sk-...")

基本使用

以下以 ScienceQA 任务为例，展示如何运行 Chameleon。

1. 运行 Chameleon (基于 GPT-4)

进入任务目录并执行推理脚本。该命令将使用 GPT-4 作为策略引擎、知识检索引擎等所有模块。

cd run_scienceqa

python run.py \
--model chameleon \
--label chameleon_gpt4 \
--policy_engine gpt-4 \
--kr_engine gpt-4 \
--qg_engine gpt-4 \
--sg_engine gpt-4 \
--test_split test \
--test_number -1

结果将保存至 results/scienceqa/ 目录下。

2. 运行基线对比 (Chain-of-Thought)

Chameleon 也支持运行标准的思维链（CoT）模式作为对比：

python run.py \
--model cot \
--label cot_gpt4 \
--sg_engine gpt-4 \
--test_split test \
--test_number -1

3. 评估结果

运行评估脚本以获取准确率指标：

python evaluate.py \
--data_file ../data/scienceqa/problems.json \
--result_root ../results/scienceqa \
--result_files chameleon_gpt4_test_cache.jsonl

注意：若需运行 TabMWP 任务，请参考 run_tabmwp 目录下的类似命令，并相应调整 --rl_engine, --cl_engine 等参数。