Kwai-Kolors 的 ComfyUI 封装

一个基础的封装，使用 Diffusers 运行 Kwai-Kolors 的文本到图像生成流程。

更新 - safetensors

新增了一种从单个 safetensors 文件加载 ChatGLM3 模型的方式（配置文件已包含在本仓库中）。其中也包含了已经量化的模型：

https://huggingface.co/Kijai/ChatGLM3-safetensors/upload/main

应放置于：

ComfyUI\models\LLM\checkpoints

安装：

将此仓库克隆到 ComfyUI/custom_nodes 文件夹。

安装 requirements.txt 中的依赖项，要求 transformers 版本至少为 4.38.0：

pip install -r requirements.txt

或者，如果你使用的是便携版，请在 ComfyUI_windows_portable 文件夹中运行以下命令：

python_embeded\python.exe -m pip install -r ComfyUI\custom_nodes\ComfyUI-KwaiKolorsWrapper\requirements.txt

模型（fp16，16.5GB）会自动从 https://huggingface.co/Kwai-Kolors/Kolors/tree/main 下载，

并存放在 ComfyUI/models/diffusers/Kolors 目录下。

模型文件夹结构应如下所示：

PS C:\ComfyUI_windows_portable\ComfyUI\models\diffusers\Kolors> tree /F
│   model_index.json
│
├───scheduler
│       scheduler_config.json
│
├───text_encoder
│       config.json
│       pytorch_model-00001-of-00007.bin
│       pytorch_model-00002-of-00007.bin
│       pytorch_model-00003-of-00007.bin
│       pytorch_model-00004-of-00007.bin
│       pytorch_model-00005-of-00007.bin
│       pytorch_model-00006-of-00007.bin
│       pytorch_model-00007-of-00007.bin
│       pytorch_model.bin.index.json
│       tokenizer.model
│       tokenizer_config.json
│       vocab.txt
│
└───unet
        config.json
        diffusion_pytorch_model.fp16.safetensors

运行时，文本编码器是占用显存最多的部分，但可以通过量化来降低显存需求，大致如下：

模型	显存占用
fp16	~13 GB
quant8	~8 GB
quant4	~4 GB

之后，以 1024 分辨率采样一张图片所需的显存与 SDXL 差不多。VAE 则使用 SDXL 的基础 VAE。

ComfyUI-KwaiKolorsWrapper 快速上手指南

环境准备

• 系统要求：支持 Windows/Linux，需具备足够的显存（VRAM）。
  • FP16 精度模型：约需 13 GB 显存。
  • INT8 量化模型：约需 8 GB 显存。
  • INT4 量化模型：约需 4 GB 显存。
• 前置依赖：
  • 已安装 ComfyUI。
  • Python 环境需安装 transformers 库，版本最低要求为 4.38.0。

安装步骤

1. 克隆插件仓库

将本仓库克隆至 ComfyUI 的自定义节点目录：

cd ComfyUI/custom_nodes
git clone https://github.com/kijai/ComfyUI-KwaiKolorsWrapper.git

2. 安装依赖

根据您的需求选择以下一种方式安装依赖：

方式 A：标准 Python 环境

pip install -r requirements.txt

方式 B：ComfyUI Portable (Windows 便携版) 请在 ComfyUI_windows_portable 文件夹下运行：

python_embeded\python.exe -m pip install -r ComfyUI\custom_nodes\ComfyUI-KwaiKolorsWrapper\requirements.txt

提示：国内用户若下载依赖缓慢，可添加清华源加速： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 模型配置

插件支持两种模型加载方式，任选其一即可：

方案一：自动下载完整模型（推荐新手）

启动 ComfyUI 后，插件会自动从 HuggingFace 下载 fp16 版本模型（约 16.5GB）至以下目录： ComfyUI/models/diffusers/Kolors

注意：若自动下载失败，可手动从 Kwai-Kolors/Kolors 下载并按以下结构放置：

ComfyUI/models/diffusers/Kolors/
├── model_index.json
├── scheduler/
│   └── scheduler_config.json
├── text_encoder/
│   ├── config.json
│   ├── pytorch_model-*.bin (共 7 个分片)
│   ├── pytorch_model.bin.index.json
│   ├── tokenizer.model
│   ├── tokenizer_config.json
│   └── vocab.txt
└── unet/
    ├── config.json
    └── diffusion_pytorch_model.fp16.safetensors

方案二：使用单文件 Safetensors (节省空间/量化版)

如果您希望使用量化模型以降低显存占用，或偏好单文件管理：

1. 前往 Kijai/ChatGLM3-safetensors 下载所需的 .safetensors 文件（包含 fp16, quant8, quant4 等版本）。
2. 将下载的文件放入以下目录： Comfy\models\LLM\checkpoints
3. 插件配置文件已内置在仓库中，无需额外配置即可识别。

基本使用

1. 重启 ComfyUI：完成安装和模型放置后，重启 ComfyUI 以加载新节点。
2. 加载工作流：
   • 在节点面板搜索 KwaiKolors 相关节点。
   • 通常包含 KwaiKolorsModelLoader (模型加载)、KwaiKolorsTextEncode (提示词编码) 和 KwaiKolorsSampler (采样器)。
3. 构建最小流程：
   • 连接 Model Loader -> Text Encode (Positive/Negative) -> Sampler -> VAE Decode -> Save Image。
   • VAE 设置：该插件默认使用基础的 SDXL VAE，请确保您的工作流中加载了 SDXL 兼容的 VAE 模型。
   • 分辨率建议：推荐生成分辨率为 1024x1024，以获得最佳效果。
4. 运行生成：输入提示词，点击 "Queue Prompt" 开始生成图像。