TaskMatrix

TaskMatrix 连接 ChatGPT 和一系列视觉基础模型 (Visual Foundation Models)，实现在聊天过程中发送和接收图像。

查看我们的论文：Visual ChatGPT: 使用视觉基础模型进行对话、绘图和编辑

更新：

• 现在 TaskMatrix 支持 GroundingDINO 和 segment-anything! 感谢 @jordddan 的努力。对于图像编辑案例，首先使用 GroundingDINO 根据给定文本定位边界框，然后使用 segment-anything 生成相关掩码，最后使用 stable diffusion inpainting 基于掩码编辑图像。

  • 首先，运行 python visual_chatgpt.py --load "Text2Box_cuda:0,Segmenting_cuda:0,Inpainting_cuda:0,ImageCaptioning_cuda:0"
  • 然后，说 find xxx in the image 或 segment xxx in the image。xxx 是一个对象。TaskMatrix 将返回检测或分割结果！

• 现在 TaskMatrix 可以支持中文！感谢 @Wang-Xiaodong1899 的努力。

• 我们在 TaskMatrix 中提出了模板 (Template) 的概念！

  • 模板是一个预定义的执行流程，协助 ChatGPT 组装涉及多个基础模型的复杂任务。
  • 模板包含由人类确定的复杂任务的经验性解决方案。
  • 模板可以调用多个基础模型，甚至可以建立新的 ChatGPT 会话。
  • 要定义一个模板，只需添加一个具有属性 template_model = True 的类。

• 感谢 @ShengmingYin 和 @thebestannie 在 InfinityOutPainting 类中提供的模板示例（见以下 gif）

  • 首先，运行 python visual_chatgpt.py --load "Inpainting_cuda:0,ImageCaptioning_cuda:0,VisualQuestionAnswering_cuda:0"
  • 其次，向 TaskMatrix 说 extend the image to 2048x1024！
  • 通过简单地创建 InfinityOutPainting 模板，TaskMatrix 可以与现有的 ImageCaptioning、Inpainting 和 VisualQuestionAnswering 基础模型协作，无缝地将图像扩展到任何大小，无需额外的训练。

• TaskMatrix 需要社区的努力！我们渴望你的贡献来添加新的有趣功能！

洞察与目标：

一方面，ChatGPT（或大语言模型 LLMs） 作为一个通用接口，提供对广泛主题的广泛而多样的理解。另一方面，基础模型 (Foundation Models) 作为领域专家，提供特定领域的深入知识。 通过利用通用知识和深度知识，我们旨在构建能够处理各种任务的 AI。

演示

系统架构

快速开始

# clone the repo
git clone https://github.com/microsoft/TaskMatrix.git

# Go to directory
cd visual-chatgpt

# create a new environment
conda create -n visgpt python=3.8

# activate the new environment
conda activate visgpt

#  prepare the basic environments
pip install -r requirements.txt
pip install  git+https://github.com/IDEA-Research/GroundingDINO.git
pip install  git+https://github.com/facebookresearch/segment-anything.git

# prepare your private OpenAI key (for Linux)
export OPENAI_API_KEY={Your_Private_Openai_Key}

# prepare your private OpenAI key (for Windows)
set OPENAI_API_KEY={Your_Private_Openai_Key}

# Start TaskMatrix !
# You can specify the GPU/CPU assignment by "--load", the parameter indicates which 
# Visual Foundation Model to use and where it will be loaded to
# The model and device are separated by underline '_', the different models are separated by comma ','
# The available Visual Foundation Models can be found in the following table
# For example, if you want to load ImageCaptioning to cpu and Text2Image to cuda:0
# You can use: "ImageCaptioning_cpu,Text2Image_cuda:0"

# Advice for CPU Users
python visual_chatgpt.py --load ImageCaptioning_cpu,Text2Image_cpu

# Advice for 1 Tesla T4 15GB  (Google Colab)                       
python visual_chatgpt.py --load "ImageCaptioning_cuda:0,Text2Image_cuda:0"
                                
# Advice for 4 Tesla V100 32GB                            
python visual_chatgpt.py --load "Text2Box_cuda:0,Segmenting_cuda:0,
    Inpainting_cuda:0,ImageCaptioning_cuda:0,
    Text2Image_cuda:1,Image2Canny_cpu,CannyText2Image_cuda:1,
    Image2Depth_cpu,DepthText2Image_cuda:1,VisualQuestionAnswering_cuda:2,
    InstructPix2Pix_cuda:2,Image2Scribble_cpu,ScribbleText2Image_cuda:2,
    SegText2Image_cuda:2,Image2Pose_cpu,PoseText2Image_cuda:2,
    Image2Hed_cpu,HedText2Image_cuda:3,Image2Normal_cpu,
    NormalText2Image_cuda:3,Image2Line_cpu,LineText2Image_cuda:3"

GPU 显存使用情况

在此我们列出每个视觉基础模型的 GPU 显存使用情况，您可以指定您喜欢的模型：

基础模型	GPU 显存 (MB)
ImageEditing	3981
InstructPix2Pix	2827
Text2Image	3385
ImageCaptioning	1209
Image2Canny	0
CannyText2Image	3531
Image2Line	0
LineText2Image	3529
Image2Hed	0
HedText2Image	3529
Image2Scribble	0
ScribbleText2Image	3531
Image2Pose	0
PoseText2Image	3529
Image2Seg	919
SegText2Image	3529
Image2Depth	0
DepthText2Image	3531
Image2Normal	0
NormalText2Image	3529
VisualQuestionAnswering	1495

致谢

我们感谢以下项目的开源贡献：

Hugging Face   LangChain   Stable Diffusion   ControlNet   InstructPix2Pix   CLIPSeg   BLIP  

联系信息

如需使用 TaskMatrix 的帮助或遇到问题，请提交 GitHub Issue。

其他沟通事宜，请联系 Chenfei WU (chewu@microsoft.com) 或 Nan DUAN (nanduan@microsoft.com)。

商标声明

商标 本项目可能包含项目、产品或服务的商标或徽标。微软商标或徽标的授权使用须遵守并遵循 Microsoft 的商标和品牌指南。在本项目的修改版本中使用微软商标或徽标不得引起混淆或暗示微软赞助。任何第三方商标或徽标的使用均受该第三方政策的约束。

免责声明

本仓库中推荐的模型仅为示例，用于科学研究，探索任务自动化的概念，并使用发表于 Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models 的论文进行基准测试。用户可以根据研究需求替换本仓库中的模型。使用本仓库中推荐的模型时，您需要分别遵守这些模型的许可协议。对于您使用此仓库导致的任何第三方权利侵权，微软不承担任何责任。用户同意就由此仓库引起的任何索赔，为微软辩护、赔偿并使微软免受所有损害、费用和律师费的侵害。如果有人认为此仓库侵犯了您的权利，请通知项目所有者 email。

TaskMatrix 快速上手指南

简介

TaskMatrix 将 ChatGPT 与一系列视觉基础模型连接起来，实现在聊天过程中发送和接收图像。它支持中文交互、模板定义以及 GroundingDINO 和 Segment Anything 等高级功能。

环境准备

• 系统要求: Python 3.8+，推荐使用 NVIDIA GPU (CUDA)。
• 前置依赖: Git, Conda, 有效的 OpenAI API Key。
• 网络建议: 国内用户建议使用清华或阿里镜像源加速 pip 安装。

安装步骤

1. 克隆仓库

   git clone https://github.com/microsoft/TaskMatrix.git
   cd visual-chatgpt
   

2. 创建并激活虚拟环境

   conda create -n visgpt python=3.8
   conda activate visgpt
   

3. 安装依赖包

   pip install -r requirements.txt
   pip install  git+https://github.com/IDEA-Research/GroundingDINO.git
   pip install  git+https://github.com/facebookresearch/segment-anything.git
   

   (注：国内网络较慢时，可在 pip 命令后添加 -i https://pypi.tuna.tsinghua.edu.cn/simple)

4. 配置 OpenAI API Key

   • Linux / macOS:

     export OPENAI_API_KEY={Your_Private_Openai_Key}
     

   • Windows:

     set OPENAI_API_KEY={Your_Private_Openai_Key}
     

基本使用

运行 visual_chatgpt.py 脚本，通过 --load 参数指定要加载的视觉模型及其设备（CPU/GPU）。

参数说明：

• 模型和设备用下划线 _ 分隔（如 ImageCaptioning_cpu）。
• 多个模型用逗号 , 分隔。
• 可用模型及显存占用可参考 README 中的表格。

运行示例：

1. CPU 模式（适合无显卡环境）：

   python visual_chatgpt.py --load ImageCaptioning_cpu,Text2Image_cpu
   

2. 单卡 GPU 模式（如 Google Colab T4 15GB）：

   python visual_chatgpt.py --load "ImageCaptioning_cuda:0,Text2Image_cuda:0"
   

3. 多卡 GPU 模式（如 4 张 V100 32GB）：

   python visual_chatgpt.py --load "Text2Box_cuda:0,Segmenting_cuda:0,Inpainting_cuda:0,ImageCaptioning_cuda:0,Text2Image_cuda:1,Image2Canny_cpu,CannyText2Image_cuda:1,Image2Depth_cpu,DepthText2Image_cuda:1,VisualQuestionAnswering_cuda:2,InstructPix2Pix_cuda:2,Image2Scribble_cpu,ScribbleText2Image_cuda:2,SegText2Image_cuda:2,Image2Pose_cpu,PoseText2Image_cuda:2,Image2Hed_cpu,HedText2Image_cuda:3,Image2Normal_cpu,NormalText2Image_cuda:3,Image2Line_cpu,LineText2Image_cuda:3"
   

启动后，即可在命令行界面与 ChatGPT 进行图文交互。如需使用 GroundingDINO 等功能，请确保加载了相应的模型（如 Text2Box, Segmenting）。