Caption-Anything 是一款多功能图像处理工具，融合了 Segment Anything（图像分割）、视觉描述生成（Visual Captioning）和 ChatGPT（对话式语言模型） 的能力。我们的方案可为图像中任意物体生成描述性字幕，并提供多种语言风格以满足不同用户的偏好。它支持视觉控制（鼠标点击）和语言控制（长度、情感倾向、事实性、语言种类）。

• 支持视觉与语言双重控制的文本生成
• 可针对选定物体进行对话，实现深度理解
• 交互式演示

:rocket: 更新日志

• 2023/04/30：支持整段图像内容描述
• 2023/04/25：我们很高兴推出实验室新项目 Track-Anything（视频目标追踪与分割），提供灵活易用的视频对象追踪与分割解决方案。
• 2023/04/23：支持 langchain + VQA（视觉问答），提升聊天框性能
• 2023/04/20：新增鼠标轨迹作为视觉控制方式（测试版）
• 2023/04/13：新增 Colab 教程
• 2023/04/11：代码开源

:joystick: 演示

体验 Caption-Anything 的交互式演示，展示其为图像内多个物体生成字幕的强大能力。用户可通过点击物体控制视觉区域，同时调整文本属性如长度、情感、事实性和语言种类。

---

---

---

:hammer_and_wrench: 快速开始

Linux

# 克隆仓库：
git clone https://github.com/ttengwang/caption-anything.git
cd caption-anything

# 安装依赖（Python 版本需 ≥ 3.8.1）：
pip install -r requirements.txt

# 配置必要的 ChatGPT API 密钥
export OPENAI_API_KEY={Your_Private_Openai_Key}

# 运行 Caption-Anything Gradio 演示。
python app_langchain.py --segmenter huge --captioner blip2 --port 6086  --clip_filter  # 需要 13G GPU 显存
#python app_langchain.py --segmenter base --captioner blip2 # 需要 8.5G GPU 显存
#python app_langchain.py --segmenter base --captioner blip # 需要 5.5G GPU 显存

# （可选）使用预下载的 SAM 检查点
wget https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h_4b8939.pth ./sam_vit_h_4b8939.pth
python app_langchain.py --segmenter huge --captioner blip2 --port 6086 --segmenter_checkpoint ./sam_vit_b_01ec64.pth  # 需要 11.7G GPU 显存

Windows (PowerShell)

已在 Windows11 + Nvidia 3070-8G 环境下测试通过。

# 克隆仓库：
git clone https://github.com/ttengwang/caption-anything.git
cd caption-anything

# 安装依赖：
pip install -r requirements.txt

# 下载 [基础版 SAM 检查点](https://dl.fbaipublicfiles.com/segment_anything/sam_vit_b_01ec64.pth)。
Invoke-WebRequest https://dl.fbaipublicfiles.com/segment_anything/sam_vit_b_01ec64.pth -OutFile ./sam_vit_b_01ec64.pth

# 配置必要的 ChatGPT API 密钥
$env:OPENAI_API_KEY = '{Your_Private_Openai_Key}'

# 运行 Caption-Anything Gradio 演示。
python app_langchain.py --captioner blip --port 6086 --segmenter base # 通过 langchain + VQA 获得更佳聊天体验
python app_langchain.py --captioner blip --port 6086 --segmenter base --segmenter_checkpoint ./sam_vit_b_01ec64.pth  # 使用预下载的 SAM 检查点
python app.py --captioner blip --port 6086 --segmenter base 

:computer: 使用方法

from caption_anything import CaptionAnything, parse_augment
args = parse_augment()
visual_controls = {
    "prompt_type":["click"],
    "input_point":[[500, 300], [1000, 500]],
    "input_label":[1, 0], # 1/0 表示正/负样本点
    "multimask_output":"True",
}
language_controls = {
    "length": "30",
    "sentiment": "natural", # "positive","negative", "natural"
    "imagination": "False", # "True", "False"
    "language": "English" # "Chinese", "Spanish" 等
}
model = CaptionAnything(args, openai_api_key)
out = model.inference(image_path, visual_controls, language_controls)

:book: 引用

若本工作对您的研究有所帮助，请引用我们的 GitHub 仓库：

@article{wang2023caption,
  title={Caption anything: Interactive image description with diverse multimodal controls},
  author={Wang, Teng and Zhang, Jinrui and Fei, Junjie and Ge, Yixiao and Zheng, Hao and Tang, Yunlong and Li, Zhe and Gao, Mingqi and Zhao, Shanshan and Shan, Ying and Zheng, Feng},
  journal={arXiv preprint arXiv:2305.02677},
  year={2023}
}

致谢

本项目基于 Segment Anything、BLIP/BLIP-2、ChatGPT、Visual ChatGPT、GiT 构建。感谢各位作者的辛勤付出。

贡献者

如果没有这些优秀人士的贡献，我们的项目将无法实现！感谢大家让这个项目变得更好。

王腾 @ 南方科技大学 & 香港大学 & 腾讯 ARC 实验室
张金瑞 @ 南方科技大学
费俊杰 @ 厦门大学
李哲 @ 南方科技大学
唐云龙 @ 南方科技大学
高明奇 @ 南方科技大学 & 华威大学
郑浩 @ 南方科技大学

Caption-Anything 快速上手指南

环境准备

• 操作系统：支持 Linux 和 Windows（已在 Windows 11 + NVIDIA 3070-8G 测试通过）
• Python 版本：≥ 3.8.1
• GPU 显存要求：
  • 最低配置（--segmenter base --captioner blip）：约 5.5GB
  • 推荐配置（--segmenter base --captioner blip2）：约 8.5GB
  • 高性能配置（--segmenter huge --captioner blip2）：约 13GB
• 依赖服务：需提前申请 OpenAI API Key

💡 国内用户建议使用代理或镜像加速访问 HuggingFace / OpenAI 服务，模型权重可手动下载后本地加载。

安装步骤

# 克隆项目
git clone https://github.com/ttengwang/caption-anything.git
cd caption-anything

# 安装依赖
pip install -r requirements.txt

# 下载 SAM 模型权重（可选，避免首次运行时自动下载慢）
wget https://dl.fbaipublicfiles.com/segment_anything/sam_vit_b_01ec64.pth ./sam_vit_b_01ec64.pth

# 设置 OpenAI API Key（Linux/macOS）
export OPENAI_API_KEY={你的API密钥}

# Windows (PowerShell)
$env:OPENAI_API_KEY = '{你的API密钥}'

基本使用

启动交互式 Web 界面（推荐新手）

# 启动基础版（显存要求低）
python app_langchain.py --segmenter base --captioner blip --port 6086

# 启动增强版（支持更优对话能力）
python app_langchain.py --segmenter base --captioner blip2 --port 6086

# 使用预下载的模型权重
python app_langchain.py --segmenter base --captioner blip --segmenter_checkpoint ./sam_vit_b_01ec64.pth --port 6086

启动后访问 http://localhost:6086 即可使用图形界面，支持鼠标点击选择物体并生成多风格描述。

---

编程调用示例

from caption_anything import CaptionAnything, parse_augment

args = parse_augment()
model = CaptionAnything(args, openai_api_key='{你的API密钥}')

visual_controls = {
    "prompt_type": ["click"],
    "input_point": [[500, 300], [1000, 500]],
    "input_label": [1, 0],
    "multimask_output": "True",
}

language_controls = {
    "length": "30",
    "sentiment": "natural",
    "imagination": "False",
    "language": "English"
}

result = model.inference("your_image.jpg", visual_controls, language_controls)
print(result)

支持通过视觉控制（点击坐标）和语言控制（长度、情感、语言等）定制化生成图像描述。