GPT4Tools：通过自我指令教大型语言模型使用工具

林松、李彦伟、杨锐、赵思杰、葛一骁、李秀、单颖

GPT4Tools是一个能够控制多个视觉基础模型的集中式系统。 它基于Vicuna（LLaMA），并使用71K条自建指令数据。通过分析语言内容，GPT4Tools能够自动决定、控制和调用不同的视觉基础模型，从而允许用户在对话过程中与图像进行交互。采用这种方法，GPT4Tools为满足对话中各种图像相关需求提供了一种无缝且高效的解决方案。 与以往的工作不同，我们支持用户通过简单的自我指令微调和LoRA技术，教会自己的大型语言模型如何使用工具。

更新

• 🔥 我们更新了适配vicuna-v1.5的新代码和模型！
• 🔥 我们的论文已被NIPS 2023接收！
• 🔥 我们现在发布了包含LLAVA、OPT、LlaMA和Vicuna的论文和新的演示。
• 🔥 我们发布了基于Vicuna-13B的预训练GPT4Tools模型，并公开了用于自我指令的数据集。请查看博客和演示。

演示

本节提供了一些使用GPT4Tools的精选示例。更多示例可在我们的项目页面上找到。欢迎尝试我们的在线演示！

更多演示

---

数据集

数据文件名	大小	OneDrive	Google Driver
gpt4tools_71k.json	229 MB	链接	链接
gpt4tools_val_seen.json	--	链接	链接
gpt4tools_test_unseen.json	--	链接	链接

• gpt4tools_71k.json 包含我们用于微调GPT4Tools模型的71K条指令遵循数据。

• gpt4tools_val_seen.json 是用于验证的手动清理指令数据，其中包括与gpt4tools_71k.json中的工具相关的指令。

• gpt4tools_test_unseen.json 是用于测试的清理指令数据，包括一些在gpt4tools_71k.json中未出现的工具相关的指令。

data.md 展示了如何生成、格式化和清理数据。

模型

GTP4Tools主要由三部分组成：用于指令处理的LLM、用于适配的LoRA，以及提供功能的视觉智能体。这是一个灵活且可扩展的系统，可以轻松扩展以支持更多工具和功能。例如，用户可以用自己的模型替换现有的LLM或工具，或者向系统添加新工具。唯一需要做的就是使用提供的指令对LoRA进行微调，从而教会LLM如何使用这些工具。

GPT4Tools基于Vicuna，我们发布GPT4Tools的LoRA权重以遵守LLaMA模型的许可协议。您可以将我们的LoRA权重与Vicuna权重合并，以获得GPT4Tools的权重。

开始使用

环境

git clone https://github.com/AILab-CVC/GPT4Tools
cd GPT4Tools
pip install -r requirements.txt

权重

1. 下载vicuna-7b-v1.5和vicuna-13b-v1.5。

# 下载到您的缓存目录
python3 scripts/download.py \
	--model-names "lmsys/vicuna-13b-v1.5" "lmsys/vicuna-7b-v1.5" \
	--cache-dir $your_cache_dir

2. 按照以下链接下载gpt4tools LoRA权重：

模型	OneDrive	Google Driver	Huggingface
vicuna-7b-v1.5-gpt4tools	链接	链接
vicuna-13b-v1.5-gpt4tools	链接	链接

旧版权重可在这里找到。

工具

GPT4Tools支持22种工具。请参阅tools.md以获取更多详细信息。首次使用工具时，需要将工具的权重下载到缓存中。如果您不想将其存储在默认缓存中，请修改Shell环境变量：

export TRANSFORMERS_CACHE=${your_transformers_cache}
export HUGGINGFACE_HUB_CACHE=${your_diffusers_cache}

此外，您也可以将权重下载到自定义缓存中。

# 下载Huggingface模型
python3 scripts/download.py \
	--model-names "Salesforce/blip-image-captioning-base" "Salesforce/blip-vqa-base" "timbrooks/instruct-pix2pix" "runwayml/stable-diffusion-v1-5" "runwayml/stable-diffusion-inpainting" "lllyasviel/ControlNet" "fusing/stable-diffusion-v1-5-controlnet-canny" "fusing/stable-diffusion-v1-5-controlnet-mlsd" "fusing/stable-diffusion-v1-5-controlnet-hed" "fusing/stable-diffusion-v1-5-controlnet-scribble" "fusing/stable-diffusion-v1-5-controlnet-openpose" "fusing/stable-diffusion-v1-5-controlnet-seg" "fusing/stable-diffusion-v1-5-controlnet-depth" "fusing/stable-diffusion-v1-5-controlnet-normal" "sam" "groundingdino" \
	--cache-dir $your_cache_dir

通过 Web GUI 提供服务

按照 scripts/demo.sh 或以下代码，在您自己的设备上搭建一个 Gradio 界面：

# 单 GPU 建议配置
python gpt4tools_demo.py \
	--base_model $path_to_vicuna_with_tokenizer \
	--lora_model $path_to_lora_weights \
	--llm_device "cpu" \ 
	--load "Text2Box_cuda:0,Segmenting_cuda:0,Inpainting_cuda:0,ImageCaptioning_cuda:0" \ 
	--cache-dir $your_cache_dir \
	--server-port 29509 \
	--share

# 四 GPU 建议配置
python gpt4tools_demo.py \
	--base_model $path_to_vicuna_with_tokenizer
	--lora_model $path_to_lora_weights \
	--llm_device "cuda:3" \
	--load "Text2Box_cuda:0,Segmenting_cuda:0,Inpainting_cuda:0,ImageCaptioning_cuda:0,Text2Image_cuda:1,VisualQuestionAnswering_cuda:1,InstructPix2Pix_cuda:2,SegText2Image_cuda:2,Image2Pose_cpu,PoseText2Image_cuda:2" \
	--cache-dir $your_cache_dir \
	--server-port 29509 \
	--share

您可以通过在 gpt4tools_demo.py 的 --load 参数后指定 {tools_name}_{devices} 来自定义使用的工具。tools_name 的具体说明请参阅 tools.md。

微调

将 gpt4tools_71k.json 下载到 ./datasets 目录后，您可以按照 scripts/finetune_lora.sh 中的步骤，或运行以下命令来微调您的模型：

deepspeed train.py \
	--base_model $path_to_vicuna_with_tokenizer \
	--data_path $path_to_gpt4tools_71k.json \
	--deepspeed "scripts/zero2.json" \
	--output_dir output/gpt4tools \
	--num_epochs 6 \
	--per_device_train_batch_size 1 \
	--per_device_eval_batch_size 4 \
	--gradient_accumulation_steps 16 \
	--model_max_length 2048 \
	--lora_target_modules '[q_proj,k_proj,v_proj,o_proj]' \
	--lora_r 16 \
	--learning_rate 3e-4 \
	--lazy_preprocess True \
	--cache_dir $your_cache_dir \
	--report_to 'tensorboard' \
	--gradient_checkpointing True

超参数	全局批量大小	学习率	最大长度	权重衰减	LoRA 注意力维度 (lora_r)	LoRA 缩放因子 (lora_alpha)	LoRA 掉落率 (lora_dropout)	应用 LoRA 的模块 (lora_target_modules)
GPT4Tools & Vicuna-13B	512	3e-4	2048	0.0	16	16	0.05	[q_proj,k_proj,v_proj,o_proj]

如果您想评估模型使用工具的成功率，请参阅 此处。

致谢

• VisualChatGPT：它连接了 ChatGPT 和一系列视觉基础模型，实现了聊天过程中图像的发送与接收。
• Vicuna：Vicuna 的语言能力非常出色且令人惊叹，而且它是开源的！
• Alpaca-LoRA：可在消费级硬件上对 LLaMA 进行指令微调。

如果您在研究或应用中使用了我们的 GPT4Tools，请引用以下文献：

@misc{gpt4tools,
  title = {GPT4Tools: Teaching LLM to Use Tools via Self-instruction},
  author={Rui Yang, Lin Song, Yanwei Li, Sijie Zhao, Yixiao Ge, Xiu Li, Ying Shan},
  journal={arXiv preprint arXiv:2305.18752},
  year={2023}
}

GPT4Tools 快速上手指南

GPT4Tools 是一个基于 Vicuna (LLaMA) 的集中式系统，能够通过自指令（Self-instruction）和 LoRA 微调，教会大语言模型自动决策、控制并利用多种视觉基础模型（如检测、分割、生成等），实现多模态对话交互。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python: 3.8 或更高版本
• GPU: 建议至少 1 张 NVIDIA GPU (显存需求视加载的模型数量而定，单卡运行建议 24GB+，多卡可分布式加载工具)
• CUDA: 适配当前 PyTorch 版本的 CUDA 驱动

前置依赖

确保已安装 git 和 pip。若需加速下载，建议配置国内镜像源（如清华源）。

安装步骤

1. 克隆项目

git clone https://github.com/AILab-CVC/GPT4Tools
cd GPT4Tools

2. 安装 Python 依赖

pip install -r requirements.txt

提示: 若下载缓慢，可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 参数使用清华镜像源。

3. 下载基础模型权重

下载 Vicuna 基础模型到本地缓存目录（请将 $your_cache_dir 替换为实际路径）：

python3 scripts/download.py \
	--model-names "lmsys/vicuna-13b-v1.5" "lmsys/vicuna-7b-v1.5" \
	--cache-dir $your_cache_dir

4. 下载 GPT4Tools LoRA 权重

从 Google Drive 下载对应的 LoRA 权重文件（以 13B 为例）：

• vicuna-13b-v1.5-gpt4tools: 下载链接
• vicuna-7b-v1.5-gpt4tools: 下载链接

下载后请记录解压后的路径，后续启动时需指定。

5. 下载视觉工具模型（可选）

首次运行时系统会自动下载所需的视觉模型（如 BLIP, Stable Diffusion, ControlNet 等）。若需预下载或自定义缓存路径，可设置环境变量并执行：

export TRANSFORMERS_CACHE=${your_transformers_cache}
export HUGGINGFACE_HUB_CACHE=${your_diffusers_cache}

python3 scripts/download.py \
	--model-names "Salesforce/blip-image-captioning-base" "Salesforce/blip-vqa-base" "timbrooks/instruct-pix2pix" "runwayml/stable-diffusion-v1-5" "runwayml/stable-diffusion-inpainting" "lllyasviel/ControlNet" "fusing/stable-diffusion-v1-5-controlnet-canny" "fusing/stable-diffusion-v1-5-controlnet-mlsd" "fusing/stable-diffusion-v1-5-controlnet-hed" "fusing/stable-diffusion-v1-5-controlnet-scribble" "fusing/stable-diffusion-v1-5-controlnet-openpose" "fusing/stable-diffusion-v1-5-controlnet-seg" "fusing/stable-diffusion-v1-5-controlnet-depth" "fusing/stable-diffusion-v1-5-controlnet-normal" "sam" "groundingdino" \
	--cache-dir $your_cache_dir

基本使用

启动 Web GUI 演示

以下命令将启动一个 Gradio 界面，允许用户在浏览器中与 GPT4Tools 进行多模态交互。

单显卡方案 (推荐 24GB+ 显存)

python gpt4tools_demo.py \
	--base_model $path_to_vicuna_with_tokenizer \
	--lora_model $path_to_lora_weights \
	--llm_device "cpu" \ 
	--load "Text2Box_cuda:0,Segmenting_cuda:0,Inpainting_cuda:0,ImageCaptioning_cuda:0" \ 
	--cache-dir $your_cache_dir \
	--server-port 29509 \
	--share

注：将 $path_to_vicuna_with_tokenizer 替换为 Vicuna 模型路径，$path_to_lora_weights 替换为下载的 LoRA 权重路径。--llm_device "cpu" 可将大语言模型放在 CPU 以节省显存给视觉工具。

多显卡方案 (例如 4 张卡)

python gpt4tools_demo.py \
	--base_model $path_to_vicuna_with_tokenizer
	--lora_model $path_to_lora_weights \
	--llm_device "cuda:3" \
	--load "Text2Box_cuda:0,Segmenting_cuda:0,Inpainting_cuda:0,ImageCaptioning_cuda:0,Text2Image_cuda:1,VisualQuestionAnswering_cuda:1,InstructPix2Pix_cuda:2,SegText2Image_cuda:2,Image2Pose_cpu,PoseText2Image_cuda:2" \
	--cache-dir $your_cache_dir \
	--server-port 29509 \
	--share

启动成功后，终端会显示本地访问地址（如 http://127.0.0.1:29509）或公共分享链接。打开浏览器即可上传图片并进行自然语言交互（例如：“请检测图中的猫”、“把背景换成海滩”等）。

提示: 可通过 --load 参数自定义加载的工具及其所在的设备，具体工具名称请参考项目文档 docs/tools.md。