[中文文档]

该项目仍在建设中，我们将持续更新，并欢迎社区的贡献和拉取请求。

| |

🤖💬 InternGPT [论文]

InternGPT（简称 iGPT）/ InternChat（简称 iChat）是一个基于指针语言驱动的视觉交互系统，允许用户通过点击、拖拽和绘制等指针操作与 ChatGPT 进行交互。InternGPT 的名称代表 interaction（交互）、nonverbal（非语言）和 ChatGPT。与依赖纯语言的现有交互系统不同，iGPT 通过引入指针指令，显著提升了用户与聊天机器人之间的沟通效率，以及聊天机器人在以视觉为中心的任务中的准确性，尤其是在复杂的视觉场景中。此外，在 iGPT 中，还使用了一种辅助控制机制来增强大语言模型的控制能力，并微调了一个名为 Husky 的大型视觉-语言模型，用于实现高质量的多模态对话（其表现甚至超越了 ChatGPT-3.5-turbo，达到了 93.89% GPT-4 质量）。

🤖💬 在线演示

InternGPT 已上线（请访问 https://igpt.opengvlab.com）。快来试试吧！

[注意] 您可能需要排队等待较长时间。您也可以克隆我们的仓库，并使用自己的 GPU 运行它。

DragGAN 视频演示：

https://github.com/OpenGVLab/InternGPT/assets/13723743/529abde4-5dce-48de-bb38-0a0c199bb980

ImageBind 视频演示：

https://github.com/OpenGVLab/InternGPT/assets/13723743/bacf3e58-6c24-4c0f-8cf7-e0c4b8b3d2af

iGPT 视频演示：

https://github.com/OpenGVLab/InternGPT/assets/13723743/8fd9112f-57d9-4871-a369-4e1929aa2593

🥳 🚀 最新动态

• (2023.06.19) 我们优化了工具执行时的 GPU 内存使用。请参阅 开始使用。

• (2023.06.19) 我们更新了 INSTALL.md，提供了更详细的环境搭建说明。

• (2023.05.31) 非常遗憾，由于一些紧急原因，我们不得不暂停在线演示。如果您想体验所有功能，请尝试在本地部署后进行。

• (2023.05.24) 🎉🎉🎉 我们已支持 DragGAN! 使用方法请参见 视频演示。快来试试这个超酷的功能吧：演示。（我们现在支持了功能完全的DragGAN! 可以拖动、可以自定义图片，具体用法见video demo，复现的DragGAN代码在这里，在线demo在这里）

• (2023.05.18) 我们已支持 ImageBind。使用方法请参见 视频演示。

• (2023.05.15) 包含 HuskyVQA 的 model_zoo 已发布！请在您的本地机器上试用！

• (2023.05.15) 我们的代码也已在 Hugging Face 上公开！您可以复制该仓库，并在自己的 GPU 上运行。

🧭 用户手册

更新：

(2023.05.24) 我们现在支持 DragGAN。您可以按照以下步骤尝试：

• 点击“新建图像”按钮；
• 在图像上点击蓝色点作为起点，红色点作为终点；
• 请注意，蓝色点的数量必须与红色点的数量相同。然后点击“拖动”按钮；
• 处理完成后，您将获得一张编辑后的图像以及一段展示编辑过程的视频。

(2023.05.18) 我们现在支持 ImageBind。如果您希望根据音频生成新图像，可以提前上传音频文件：

• 如果要从单个音频文件生成新图像，您可以发送消息：“从这段音频生成一张真实图像”；
• 如果要结合音频和文本生成新图像，您可以发送消息：“从这段音频和 {您的提示} 生成一张真实图像”；
• 如果要结合音频和图片生成新图像，您需要先上传图片，然后发送消息：“从上述图片和音频生成一张新图像”。

主要功能：

上传图像后，您可以进行 多模态对话，例如发送消息：“图中是什么？”或“图片的背景颜色是什么？”。 您还可以通过以下方式对图像进行交互式操作、编辑或生成：

• 您可以点击图像并按下 Pick 按钮来 可视化分割区域，或者按下 OCR 按钮来 识别选定位置的文字；
• 若要 移除图像中的遮罩区域，您可以发送消息：“移除遮罩区域”；
• 若要 用其他内容替换图像中的遮罩区域，您可以发送消息：“用 {您的提示} 替换遮罩区域”；
• 若要 生成一张新图像，您可以发送消息：“根据图像的分割信息生成一张描述 {您的提示} 的新图像”；
• 若想通过手绘创建新图像，您需要按下 Whiteboard 按钮并在画板上作画。完成绘画后，您需按下 Save 按钮，并发送消息：“根据这份草图生成一张描述 {您的提示} 的新图像”。

🗓️ 计划

• 支持 VisionLLM
• 支持中文
• 支持 MOSS
• 基于 InternImage 和 InternVideo 的更强大的基础模型
• 更精准的交互体验
• OpenMMLab 工具包
• 网页与代码生成
• 支持搜索引擎
• 低成本部署
• 支持 DragGAN
• 支持 ImageBind
• 智能体响应验证
• 提示词优化
• 用户手册和视频演示
• 支持语音助手
• 支持点击交互
• 交互式图像编辑
• 交互式图像生成
• 交互式视觉问答
• 任意物体分割
• 图像修复
• 图像描述
• 图像抠图
• 光学字符识别
• 动作识别
• 视频字幕
• 视频密集字幕
• 视频精彩片段解读

🏠 系统概览

🎁 主要功能

移除被遮挡的物体

交互式图像编辑

图像生成

交互式视觉问答

交互式图像生成

视频精彩片段解读

🛠️ 安装

请参阅 INSTALL.md

👨‍🏫 开始使用

运行以下命令即可启动一个包含我们基础功能的 Gradio 服务：

python -u app.py --load "HuskyVQA_cuda:0,SegmentAnything_cuda:0,ImageOCRRecognition_cuda:0" --port 3456 -e

若需启用语音助手，请使用 openssl 生成证书：

mkdir certificate
openssl req -x509 -newkey rsa:4096 -keyout certificate/key.pem -out certificate/cert.pem -sha256 -days 365 -nodes

然后运行：

python -u app.py --load "HuskyVQA_cuda:0,SegmentAnything_cuda:0,ImageOCRRecognition_cuda:0" \
--port 3456 --https -e

如需使用 iGPT 的全部功能，可运行：

python -u app.py \
--load "ImageOCRRecognition_cuda:0,Text2Image_cuda:0,SegmentAnything_cuda:0,ActionRecognition_cuda:0,VideoCaption_cuda:0,DenseCaption_cuda:0,ReplaceMaskedAnything_cuda:0,LDMInpainting_cuda:0,SegText2Image_cuda:0,ScribbleText2Image_cuda:0,Image2Scribble_cuda:0,Image2Canny_cuda:0,CannyText2Image_cuda:0,StyleGAN_cuda:0,Anything2Image_cuda:0,HuskyVQA_cuda:0" \
-p 3456 --https -e

请注意，-e 标志可以显著节省内存。

选择性加载功能

若您只想尝试 DragGAN，只需加载 StyleGAN 并打开 “DragGAN” 选项卡即可：

python -u app.py --load "StyleGAN_cuda:0" --tab "DragGAN" --port 3456 --https -e

在这种情况下，您只能使用 DragGAN 的功能，从而避免加载不必要的依赖项。

🎫 许可证

本项目采用 Apache 2.0 许可证 发布。

🖊️ 引用

如果您在研究中使用了本项目，请考虑引用：

@article{2023interngpt,
  title={InternGPT: 通过与 ChatGPT 交互解决视觉中心任务},
  author={刘兆阳、何一楠、王文海、王伟云、王毅、陈寿发、张庆龙、赖泽强、杨洋、李清云、俞嘉硕等},
  journal={arXiv 预印本 arXiv:2305.05662},
  year={2023}
}

🤝 致谢

感谢以下开源项目的贡献：

Hugging Face   LangChain   TaskMatrix   SAM   Stable Diffusion   ControlNet   InstructPix2Pix   BLIP   Latent Diffusion Models   EasyOCR  ImageBind   DragGAN  

欢迎与我们交流，共同持续提升 InternGPT 的用户体验。

如需加入我们的微信群，请扫描以下二维码添加我们的助理为微信好友：

InternGPT 快速上手指南

InternGPT (iGPT) 是一个指点语言驱动的视觉交互系统，允许用户通过点击、拖拽和绘制等指点操作与 ChatGPT 进行交互。它显著提升了多模态任务（如图像编辑、生成、问答）的沟通效率和准确性。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+)
• GPU: 支持 CUDA 的 NVIDIA 显卡（建议显存 16GB 以上以运行完整功能，单功能可酌情降低）
• Python: 3.8 或更高版本
• 依赖管理: 推荐使用 conda 创建独立虚拟环境
• 其他工具: git, openssl (若需启用语音助手功能)

注意：本项目依赖较多深度学习库，建议使用国内镜像源加速安装过程。

2. 安装步骤

2.1 克隆项目

git clone https://github.com/OpenGVLab/InternGPT.git
cd InternGPT

2.2 创建并激活虚拟环境

conda create -n igpt python=3.8 -y
conda activate igpt

2.3 安装依赖

请参考项目根目录下的详细安装文档 INSTALL.md 进行依赖安装。通常步骤如下（具体请以最新 INSTALL.md 为准）：

# 示例：安装基础依赖（请根据实际 INSTALL.md 调整）
pip install -r requirements.txt

提示：如果遇到下载速度慢的问题，可临时使用国内 pip 源： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2.4 下载模型权重

项目所需的模型权重（包括 HuskyVQA 等）托管在 Hugging Face。

• 模型仓库地址：OpenGVLab/InternGPT model_zoo
• 请将下载的模型放置在代码指定的目录下（通常为 model_zoo 文件夹）。

3. 基本使用

启动服务前，请确保已正确加载模型权重。以下命令将启动一个基于 Gradio 的本地 Web 服务。

3.1 启动基础功能

运行以下命令启动包含核心功能（视觉问答、分割、OCR）的服务：

python -u app.py --load "HuskyVQA_cuda:0,SegmentAnything_cuda:0,ImageOCRRecognition_cuda:0" --port 3456 -e

• --load: 指定要加载的模型及设备（cuda:0 表示第一块显卡）。
• -e: 启用内存优化模式，显著降低显存占用。
• 启动后，在浏览器访问 http://localhost:3456 即可使用。

3.2 启用语音助手（可选）

若需使用语音交互功能，需先生成 SSL 证书：

mkdir certificate
openssl req -x509 -newkey rsa:4096 -keyout certificate/key.pem -out certificate/cert.pem -sha256 -days 365 -nodes

然后使用 --https 参数启动：

python -u app.py --load "HuskyVQA_cuda:0,SegmentAnything_cuda:0,ImageOCRRecognition_cuda:0" --port 3456 --https -e

3.3 体验特定功能：DragGAN

如果您只想体验图像拖拽编辑功能（DragGAN），无需加载所有模型，可运行：

python -u app.py --load "StyleGAN_cuda:0" --tab "DragGAN" --port 3456 --https -e

3.4 全功能启动

若要体验所有支持的功能（包括图像生成、修复、视频理解等），请运行：

python -u app.py \
--load "ImageOCRRecognition_cuda:0,Text2Image_cuda:0,SegmentAnything_cuda:0,ActionRecognition_cuda:0,VideoCaption_cuda:0,DenseCaption_cuda:0,ReplaceMaskedAnything_cuda:0,LDMInpainting_cuda:0,SegText2Image_cuda:0,ScribbleText2Image_cuda:0,Image2Scribble_cuda:0,Image2Canny_cuda:0,CannyText2Image_cuda:0,StyleGAN_cuda:0,Anything2Image_cuda:0,HuskyVQA_cuda:0" \
-p 3456 --https -e

4. 快速操作示例

进入 Web 界面后，您可以尝试以下交互：

1. 多模态对话: 上传图片，发送 "what is it in the image?" 询问图片内容。
2. 区域分割与识别:
   • 点击图片任意位置，点击 Pick 按钮可视化分割区域。
   • 点击文字区域，点击 OCR 按钮识别文字。
3. 图像编辑:
   • 选中区域后，发送 "remove the masked region" 移除物体。
   • 发送 "replace the masked region with a cat" 将选中区域替换为猫。
4. DragGAN 拖拽编辑:
   • 点击 New Image 上传或生成图片。
   • 在图上标记蓝色点（起始点）和红色点（目标点），确保数量一致。
   • 点击 Drag It 按钮执行拖拽编辑。
5. 涂鸦生成:
   • 点击 Whiteboard 进行手绘涂鸦，点击 Save。
   • 发送 "generate a new image based on this scribble describing a sunset" 基于涂鸦生成图像。