链式缩放：基于尺度自回归与偏好对齐的极端超分辨率（NeurIPS 2025 Spotlight）

本仓库是 Chain-of-Zoom: Extreme Super-Resolution via Scale Autoregression and Preference Alignment 的官方实现，由以下人员主导：

Bryan Sangwoo Kim、Jeongsol Kim、Jong Chul Ye

---

🔥 摘要

现代单图像超分辨率（SISR）模型在与其训练尺度一致的放大倍数下能够生成照片级逼真的结果，但在超出其训练范围时却存在显著缺陷：

1. 模糊与伪影：当放大倍数超过模型的训练上限时，输出质量会明显下降。
2. 高昂的计算成本与低效性：若需进一步提升放大倍数，通常需要重新训练模型。

这引出了一个根本问题：
我们如何有效地利用超分辨率模型，将其应用到远超原始训练范围的更高分辨率场景中？

为此，我们提出了 Chain-of-Zoom 🔎——一种模型无关的框架，它将 SISR 任务分解为一系列具有多尺度感知提示的中间尺度状态的自回归链。CoZ 可以重复使用同一骨干 SR 模型，通过将条件概率分解为易于处理的子问题，从而在无需额外训练的情况下实现极高的分辨率。由于在高倍率放大时视觉线索会逐渐减弱，我们在每一步缩放过程中都加入了由提示提取 VLM 生成的多尺度感知文本提示。该提示提取器还可以通过 GRPO 方法与评判型 VLM 进行微调，以进一步使文本指导更符合人类偏好。

🗓 新闻

• [2025年8月] 发布了更多代码。
• [2025年6月] 请查看 @alexnasa 构建的精彩 🤗 Huggingface Space! 感谢他们的出色工作！
• [2025年5月] 代码与论文正式发布。

🛠️ 环境搭建

首先，请创建您的运行环境。我们推荐使用以下命令：

git clone https://github.com/bryanswkim/Chain-of-Zoom.git
cd Chain-of-Zoom

conda create -n coz python=3.10
conda activate coz
pip install -r requirements.txt

⏳ 模型

模型	检查点
Stable Diffusion v3	Hugging Face
Qwen2.5-VL-3B-Instruct	Hugging Face
RAM	Hugging Face

⚡ 快速推理

您可以通过以下示例快速体验 CoZ 的效果：

python inference_coz.py \
  -i samples \
  -o inference_results/coz_vlmprompt \
  --rec_type recursive_multiscale \
  --prompt_type vlm \
  --lora_path ckpt/SR_LoRA/model_20001.pkl \
  --vae_path ckpt/SR_VAE/vae_encoder_20001.pt \
  --vlm_lora_path ckpt/VLM_LoRA/checkpoint-10000 \
  --pretrained_model_name_or_path 'stabilityai/stable-diffusion-3-medium-diffusers' \
  --ram_ft_path ckpt/DAPE/DAPE.pth \
  --ram_path ckpt/RAM/ram_swin_large_14m.pth \
  --save_prompts;

运行结果如下所示：

🔬 节省显存

使用 --efficient_memory 参数可以让 CoZ 在仅配备 24GB 显存的单张 GPU 上运行，但因数据交换操作较多，推理时间会显著增加。因此，我们建议使用两张 GPU。

🌄 全图超分辨率

尽管我们的主要目标是局部区域的放大，但 CoZ 同样可以轻松应用于整张图片的超分辨率处理。请尝试以下代码：

python inference_coz_full.py \
  -i samples \
  -o inference_results/coz_full \
  --rec_type recursive_multiscale \
  --prompt_type vlm \
  --lora_path ckpt/SR_LoRA/model_20001.pkl \
  --vae_path ckpt/SR_VAE/vae_encoder_20001.pt \
  --vlm_lora_path ckpt/VLM_LoRA/checkpoint-10000 \
  --pretrained_model_name_or_path 'stabilityai/stable-diffusion-3-medium-diffusers' \
  --ram_ft_path ckpt/DAPE/DAPE.pth \
  --ram_path ckpt/RAM/ram_swin_large_14m.pth;

🚆 训练 SR 骨干模型

Chain-of-Zoom 是模型无关的，可与 任意 预训练的文本感知 SR 模型搭配使用。在本仓库中，我们采用了基于 Stable Diffusion 3 Medium 训练的 OSEDiff 作为骨干模型。为此，您需要安装一些额外的依赖：

pip install wandb opencv-python basicsr==1.4.2

pip install --no-deps --extra-index-url https://download.pytorch.org/whl/cu121 xformers==0.0.28.post1

有关训练配置（例如准备训练数据等），请参考 OSEDiff 仓库。接下来即可开始训练 SR 骨干模型：

bash scripts/train/train_osediff_sd3.sh

📝 引用

如果您认为我们的方法有所帮助，请按照以下格式引用或为本仓库点亮星标：

@article{kim2025chain,
  title={Chain-of-Zoom: Extreme Super-Resolution via Scale Autoregression and Preference Alignment},
  author={Kim, Bryan Sangwoo and Kim, Jeongsol and Ye, Jong Chul},
  journal={arXiv preprint arXiv:2505.18600},
  year={2025}
}

🤗 致谢

我们感谢 OSEDiff 的作者们分享他们的优秀工作！

Chain-of-Zoom 快速上手指南

Chain-of-Zoom (CoZ) 是一个模型无关的框架，旨在通过尺度自回归和偏好对齐实现极致超分辨率。它无需重新训练即可利用现有的超分辨率模型探索远超其原始训练范围的更高分辨率，有效解决高倍放大下的模糊和伪影问题。

环境准备

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python 版本: 3.10
• GPU 要求:
  • 推荐配置：双 GPU 以获得最佳推理速度。
  • 最低配置：单张 24GB 显存 GPU（需开启 --efficient_memory 模式，但推理时间会显著增加）。
• 前置依赖: Conda (用于环境管理), Git

安装步骤

1. 克隆仓库并进入目录

   git clone https://github.com/bryanswkim/Chain-of-Zoom.git
   cd Chain-of-Zoom
   

2. 创建并激活 Conda 环境

   conda create -n coz python=3.10
   conda activate coz
   

3. 安装基础依赖

   pip install -r requirements.txt
   

   提示: 如果下载速度较慢，可添加国内镜像源加速，例如：pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

4. (可选) 安装训练所需的额外依赖 如果您仅需推理，可跳过此步。若需训练骨干模型，请执行：

   pip install wandb opencv-python basicsr==1.4.2
   pip install --no-deps --extra-index-url https://download.pytorch.org/whl/cu121 xformers==0.0.28.post1
   

5. 下载预训练模型 确保从以下链接下载模型权重并放置于项目对应的 ckpt 或缓存目录中：

   • Stable Diffusion v3: Hugging Face
   • Qwen2.5-VL-3B-Instruct: Hugging Face
   • RAM: Hugging Face

基本使用

以下命令展示了如何使用 Chain-of-Zoom 对样本图像进行局部区域的高倍超分辨率推理。该示例将自动提取多尺度文本提示以增强生成效果。

python inference_coz.py \
  -i samples \
  -o inference_results/coz_vlmprompt \
  --rec_type recursive_multiscale \
  --prompt_type vlm \
  --lora_path ckpt/SR_LoRA/model_20001.pkl \
  --vae_path ckpt/SR_VAE/vae_encoder_20001.pt \
  --vlm_lora_path ckpt/VLM_LoRA/checkpoint-10000 \
  --pretrained_model_name_or_path 'stabilityai/stable-diffusion-3-medium-diffusers' \
  --ram_ft_path ckpt/DAPE/DAPE.pth \
  --ram_path ckpt/RAM/ram_swin_large_14m.pth \
  --save_prompts;

参数说明：

• -i: 输入图像文件夹路径。
• -o: 输出结果保存路径。
• --efficient_memory: 若显存不足（单卡 24GB），可在命令末尾添加此标志以启用显存优化模式（会降低速度）。
• 其他路径参数请根据实际下载的模型权重位置进行调整。

运行完成后，超分辨率结果将保存在 inference_results/coz_vlmprompt 目录中。