clip-interrogator

想弄清楚什么样的提示词才能生成与现有图片相似的新图片吗？CLIP Interrogator 就能帮你找到答案！

运行它！

🆕 现已作为 Stable Diffusion Web UI 扩展 提供！🆕

在 Colab、HuggingFace 和 Replicate 上运行版本 2！


版本 1 仍在 Colab 中可用，可用于比较不同的 CLIP 模型

关于

CLIP Interrogator 是一款提示词工程工具，它结合了 OpenAI 的 CLIP 和 Salesforce 的 BLIP，以优化文本提示词，使其与给定的图像相匹配。你可以将生成的提示词与像 Stable Diffusion 这样的文生图模型一起使用，在 DreamStudio 上创作出酷炫的艺术作品！

作为库使用

创建并激活一个 Python 虚拟环境

python3 -m venv ci_env
（Linux） source ci_env/bin/activate
（Windows） .\ci_env\Scripts\activate

通过 PIP 安装

# 例如安装支持 GPU 的 PyTorch：
pip3 install torch torchvision --extra-index-url https://download.pytorch.org/whl/cu117

# 安装 clip-interrogator
pip install clip-interrogator==0.5.4

# 或者安装最新开发版，支持 BLIP2
# pip install clip-interrogator==0.6.0

然后你可以在脚本中使用它：

from PIL import Image
from clip_interrogator import Config, Interrogator
image = Image.open(image_path).convert('RGB')
ci = Interrogator(Config(clip_model_name="ViT-L-14/openai"))
print(ci.interrogate(image))

CLIP Interrogator 使用 OpenCLIP，后者支持许多不同的预训练 CLIP 模型。对于 Stable Diffusion 1.X，建议将 clip_model_name 设置为 ViT-L-14/openai 以获得最佳提示词；而对于 Stable Diffusion 2.0，则应使用 ViT-H-14/laion2b_s32b_b79k。

配置

Config 对象允许你配置 CLIP Interrogator 的处理方式。

• clip_model_name：选择要使用的 OpenCLIP 预训练 CLIP 模型
• cache_path：保存预计算文本嵌入的路径
• download_cache：如果设置为 True，则会从 Hugging Face 下载预计算的嵌入
• chunk_size：CLIP 的批处理大小，显存较少时可调小
• quiet：如果设置为 True，将不会显示进度条或文本输出

在显存较低的系统上，可以调用 config.apply_low_vram_defaults() 来减少所需的显存量（尽管这可能会牺牲一些速度和质量）。默认设置大约需要 6.3GB 显存，而低显存设置则只需约 2.7GB。

更多关于如何使用 Config 和 Interrogator 类的示例，请参阅 run_cli.py 和 run_gradio.py。

根据自定义术语列表进行排名（需版本 0.6.0）

from clip_interrogator import Config, Interrogator, LabelTable, load_list
from PIL import Image

ci = Interrogator(Config(blip_model_type=None))
image = Image.open(image_path).convert('RGB')
table = LabelTable(load_list('terms.txt'), 'terms', ci)
best_match = table.rank(ci.image_to_features(image), top_count=1)[0]
print(best_match)

CLIP Interrogator 快速上手指南

CLIP Interrogator 是一款提示词工程工具，结合了 OpenAI 的 CLIP 和 Salesforce 的 BLIP 模型。它能分析现有图片并生成匹配的描述性提示词（Prompt），帮助你在 Stable Diffusion 等文生图模型中复现类似风格的图像。

环境准备

• 操作系统: Linux, Windows, macOS
• Python 版本: 建议 Python 3.8+
• 硬件要求:
  • 推荐: 拥有 NVIDIA GPU 的设备（显存建议 6GB 以上以获得最佳体验）。
  • 低显存模式: 若显存较低（如 2-4GB），可通过配置开启低显存模式（约需 2.7GB 显存），但速度和精度会有所降低。
• 前置依赖: 需要安装支持 GPU 的 PyTorch 版本。

安装步骤

1. 创建并激活虚拟环境

建议在隔离的虚拟环境中运行，以避免依赖冲突。

python3 -m venv ci_env
# Linux/macOS
source ci_env/bin/activate
# Windows
.\ci_env\Scripts\activate

2. 安装 PyTorch (GPU 版)

请根据你的 CUDA 版本安装对应的 PyTorch。以下示例为 CUDA 11.7 版本：

pip3 install torch torchvision --extra-index-url https://download.pytorch.org/whl/cu117

国内加速提示: 如果下载缓慢，可使用清华大学或阿里云镜像源替代官方源。例如： pip3 install torch torchvision --extra-index-url https://download.pytorch.org/whl/cu117 -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 安装 clip-interrogator

安装稳定版本（0.5.4）：

pip install clip-interrogator==0.5.4

如需体验最新功能（包含 BLIP2 支持），可安装开发版：

# pip install clip-interrogator==0.6.0

基本使用

以下是最简单的 Python 脚本示例，用于读取图片并生成提示词。

代码示例

from PIL import Image
from clip_interrogator import Config, Interrogator

# 加载图片并转换为 RGB 模式
image_path = 'your_image.jpg'  # 替换为你的图片路径
image = Image.open(image_path).convert('RGB')

# 初始化配置
# 对于 Stable Diffusion 1.X，推荐使用 "ViT-L-14/openai"
# 对于 Stable Diffusion 2.0，推荐使用 "ViT-H-14/laion2b_s32b_b79k"
config = Config(clip_model_name="ViT-L-14/openai")

# 可选：低显存设备启用此设置（牺牲少量速度和质量以节省显存）
# config.apply_low_vram_defaults()

# 创建分析器并执行分析
ci = Interrogator(config)
prompt = ci.interrogate(image)

print(prompt)

模型选择建议

• Stable Diffusion 1.x 用户: 设置 clip_model_name="ViT-L-14/openai"
• Stable Diffusion 2.0+ 用户: 设置 clip_model_name="ViT-H-14/laion2b_s32b_b79k"

运行上述脚本后，终端将输出优化后的英文提示词，可直接复制用于文生图任务。