CogView4 & CogView3 & CogView-3Plus

阅读中文版 日本語で読む

🤗 HuggingFace Space 🤖ModelScope Space 🛠️ZhipuAI MaaS(Faster)
👋 WeChat Community 📚 CogView3 Paper

Project Updates

• 🔥🔥 2025/03/24: 我们正在推出 CogKit，这是一款功能强大的工具包，用于微调和推理 CogView4 和 CogVideoX 系列模型，使您能够充分探索我们的多模态生成模型。
• 2025/03/04: 我们已适配并开源了 CogView-4 模型的 diffusers 版本，该模型拥有6B参数，支持原生中文输入及中文文生图任务。您可前往 线上体验。
• 2024/10/13: 我们已适配并开源了 CogView-3Plus-3B 模型的 diffusers 版本。您可前往 线上试用。
• 2024/9/29: 我们已开源了 CogView3 和 CogView-3Plus-3B。CogView3 是一个基于级联扩散、采用接力扩散框架的文生图系统。而 CogView-3Plus 则是一系列新近开发的基于扩散Transformer的文生图模型。

Project Plan

• Diffusers 工作流适配
• Cog系列微调工具包（即将发布）
• ControlNet模型及训练代码

Community Contributions

我们在此收集了一些与本仓库相关的社区项目。这些项目由社区成员维护，我们非常感谢他们的贡献。

• ComfyUI_CogView4_Wrapper - ComfyUI中对CogView4项目的实现。

Model Introduction

Model Comparison

Model Name	CogView4	CogView3-Plus-3B
Resolution	512 <= H, W <= 2048 H * W <= 2^{21} H, W \mod 32 = 0
Inference Precision	Only supports BF16, FP32
Encoder	GLM-4-9B	T5-XXL
Prompt Language	Chinese, English	English
Prompt Length Limit	1024 Tokens	224 Tokens
Download Links	🤗 HuggingFace 🤖 ModelScope 🟣 WiseModel	🤗 HuggingFace 🤖 ModelScope 🟣 WiseModel

Memory Usage

DIT模型在BF16精度和batchsize=4条件下进行测试，结果如下表所示：

Resolution	enable_model_cpu_offload OFF	enable_model_cpu_offload ON	enable_model_cpu_offload ON Text Encoder 4bit
512 * 512	33GB	20GB	13G
1280 * 720	35GB	20GB	13G
1024 * 1024	35GB	20GB	13G
1920 * 1280	39GB	20GB	14G

此外，我们建议您的设备至少配备32GB内存，以防止进程被杀掉。

模型指标

我们在多个基准测试上进行了测试，取得了以下成绩：

DPG-Bench

模型	总体	全局	实体	属性	关系	其他
SDXL	74.65	83.27	82.43	80.91	86.76	80.41
PixArt-alpha	71.11	74.97	79.32	78.60	82.57	76.96
SD3-Medium	84.08	87.90	91.01	88.83	80.70	88.68
DALL-E 3	83.50	90.97	89.61	88.39	90.58	89.83
Flux.1-dev	83.79	85.80	86.79	89.98	90.04	89.90
Janus-Pro-7B	84.19	86.90	88.90	89.40	89.32	89.48
CogView4-6B	85.13	83.85	90.35	91.17	91.14	87.29

GenEval

模型	总体	单对象	两对象	计数	颜色	位置	颜色归属
SDXL	0.55	0.98	0.74	0.39	0.85	0.15	0.23
PixArt-alpha	0.48	0.98	0.50	0.44	0.80	0.08	0.07
SD3-Medium	0.74	0.99	0.94	0.72	0.89	0.33	0.60
DALL-E 3	0.67	0.96	0.87	0.47	0.83	0.43	0.45
Flux.1-dev	0.66	0.98	0.79	0.73	0.77	0.22	0.45
Janus-Pro-7B	0.80	0.99	0.89	0.59	0.90	0.79	0.66
CogView4-6B	0.73	0.99	0.86	0.66	0.79	0.48	0.58

T2I-CompBench

模型	颜色	形状	纹理	2D空间	3D空间	数量感	非空间剪辑	复杂3合1
SDXL	0.5879	0.4687	0.5299	0.2133	0.3566	0.4988	0.3119	0.3237
PixArt-alpha	0.6690	0.4927	0.6477	0.2064	0.3901	0.5058	0.3197	0.3433
SD3-Medium	0.8132	0.5885	0.7334	0.3200	0.4084	0.6174	0.3140	0.3771
DALL-E 3	0.7785	0.6205	0.7036	0.2865	0.3744	0.5880	0.3003	0.3773
Flux.1-dev	0.7572	0.5066	0.6300	0.2700	0.3992	0.6165	0.3065	0.3628
Janus-Pro-7B	0.5145	0.3323	0.4069	0.1566	0.2753	0.4406	0.3137	0.3806
CogView4-6B	0.7786	0.5880	0.6983	0.3075	0.3708	0.6626	0.3056	0.3869

中文文本准确性评估

模型	精确率	召回率	F1分数	Pick@4
Kolors	0.6094	0.1886	0.2880	0.1633
CogView4-6B	0.6969	0.5532	0.6168	0.3265

推理模型

提示优化

尽管 CogView4 系列模型是使用冗长的合成图像描述进行训练的，但我们强烈建议在进行文生图之前，使用大型语言模型来重写提示词，这将大大提升生成质量。

我们提供了一个示例脚本。建议运行此脚本以优化您的提示词。请注意，CogView4 和 CogView3 模型用于提示优化的少样本示例不同，需要加以区分。

cd inference
python prompt_optimize.py --api_key "Zhipu AI API Key" --prompt {your prompt} --base_url "https://open.bigmodel.cn/api/paas/v4" --model "glm-4-plus" --cogview_version "cogview4"

推理模型

使用 BF16 精度运行 CogView4-6B 模型：

from diffusers import CogView4Pipeline
import torch

pipe = CogView4Pipeline.from_pretrained("THUDM/CogView4-6B", torch_dtype=torch.bfloat16).to("cuda")

# 打开以减少 GPU 内存占用
pipe.enable_model_cpu_offload()
pipe.vae.enable_slicing()
pipe.vae.enable_tiling()

prompt = "一辆鲜艳的樱桃红色跑车在耀眼的阳光下傲然矗立，其抛光的车身光滑无瑕，映出如镜般的倒影。这款车拥有低矮、流线型的车身，棱角分明的前大灯如同掠食者般锐利地注视前方，黑色高光泽的赛车轮毂与红色形成鲜明对比。格栅和排气管上点缀着微妙的镀铬装饰，而深色的车窗则暗示着奢华而私密的内部空间。整个场景充满了速度与优雅的气息，仿佛这辆车即将沿着海岸公路疾驰而去，背景中是蔚蓝的大海波涛汹涌。"
image = pipe(
    prompt=prompt,
    guidance_scale=3.5,
    num_images_per_prompt=1,
    num_inference_steps=50,
    width=1024,
    height=1024,
).images[0]

image.save("cogview4.png")

更多推理代码，请查看：

1. 使用 BNB int4 加载 text encoder 并完成推理代码注释，请参阅 这里。
2. 使用 TorchAO int8 或 int4 加载 text encoder & transformer 并完成推理代码注释，请参阅 这里。
3. 设置 gradio GUI DEMO，请参阅 这里。

微调

本仓库不包含微调代码，但您可以采用以下两种方法进行微调，包括 LoRA 和 SFT：

1. CogKit，我们官方维护的系统级微调框架，支持 CogView4 和 CogVideoX。
2. finetrainers，一种低内存解决方案，可在单台 RTX 4090 上进行微调。
3. 如果您想直接训练 ControlNet 模型，可以参考 训练代码，并训练您自己的模型。

许可证

本仓库中的代码以及 CogView3 模型均采用 Apache 2.0 许可证。

我们欢迎并感谢您的代码贡献。您可以查看贡献指南 这里。

CogView4 快速上手指南

CogView4 是由智谱 AI 开源的最新文生图模型，拥有 60 亿参数，原生支持中文输入，基于 Diffusion Transformer 架构。本指南将帮助您快速在本地部署并运行该模型。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐) 或 Windows
• GPU: NVIDIA 显卡，显存建议 24GB 以上（若开启 enable_model_cpu_offload 可降低至 13-20GB，具体取决于分辨率）。
• 内存: 系统 RAM 至少 32GB，防止进程被杀死。
• Python: 3.8 或更高版本
• 核心依赖:
  • torch (支持 CUDA)
  • diffusers (需最新版以支持 CogView4)
  • transformers
  • accelerate

提示：国内用户推荐使用 ModelScope 或 WiseModel 镜像源下载模型，速度更快。

2. 安装步骤

2.1 安装基础依赖

建议使用虚拟环境（如 conda 或 venv），然后安装必要的 Python 包：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install diffusers transformers accelerate sentencepiece protobuf

注：如果您使用 Hugging Face 下载模型受阻，可设置环境变量使用镜像：

export HF_ENDPOINT=https://hf-mirror.com

2.2 验证安装

确保 diffusers 版本已更新以支持 CogView4 管道。

3. 基本使用

以下是最简单的文生图推理代码示例。该示例加载 THUDM/CogView4-6B 模型，并使用 BF16 精度进行推理。

3.1 最小化推理脚本

创建文件 infer.py 并填入以下内容：

from diffusers import CogView4Pipeline
import torch

# 加载模型 (国内用户可将 pretrained_model_name_or_path 替换为 ModelScope 路径)
# ModelScope 路径示例: "ZhipuAI/CogView4-6B" (需安装 modelscope 并配置)
pipe = CogView4Pipeline.from_pretrained(
    "THUDM/CogView4-6B", 
    torch_dtype=torch.bfloat16
).to("cuda")

# 优化显存占用：开启 CPU Offload 和 VAE 切片/平铺
pipe.enable_model_cpu_offload()
pipe.vae.enable_slicing()
pipe.vae.enable_tiling()

# 定义提示词 (支持中文)
prompt = "一只可爱的熊猫在竹林中吃竹子，阳光透过竹叶洒下，高清摄影风格"

# 生成图像
image = pipe(
    prompt=prompt,
    guidance_scale=3.5,
    num_images_per_prompt=1,
    num_inference_steps=50,
    width=1024,
    height=1024,
).images[0]

# 保存结果
image.save("cogview4_output.png")
print("图像已保存为 cogview4_output.png")

3.2 运行脚本

python infer.py

3.3 进阶优化建议

1. 提示词优化：虽然 CogView4 支持中文，但使用大语言模型（如 GLM-4）对提示词进行润色和扩写可以显著提升生成质量。官方提供了 inference/prompt_optimize.py 脚本供参考。
2. 低显存方案：如果您的显存非常紧张，可以参考官方仓库中的 cli_demo_cogview4_int8.py，使用 TorchAO 或 BNB 量化文本编码器（Text Encoder）来进一步降低显存需求。
3. 模型来源切换：若从 HuggingFace 下载缓慢，可前往 ModelScope (魔搭) 下载模型权重，并将代码中的 from_pretrained 路径改为本地下载后的文件夹路径。