已被NeurIPS 2025接收

引言

我们提出了4KAgent，一个基于智能体的通用图像超分辨率模型，旨在将任意图像无差别地提升至4K分辨率，无论输入类型、退化程度或领域如何。4KAgent具备以下关键特性：

• 🔥 框架：4KAgent是首个用于通用任意图像至4K超分辨率的AI智能体框架，能够处理所有图像类别，从经典和现实中的退化图像、极端低质量输入，到AI生成图像，以及遥感、显微镜和生物医学等科学成像任务。

• 🔥 系统设计：在4KAgent中，感知智能体采用大型视觉-语言模型（VLM）分析图像内容与失真，并制定修复方案供修复智能体执行。修复智能体则通过执行—反思—回滚的递归流程进行修复与超分辨率重建。

• 🔥 Q-MoE与人脸修复流水线：在修复方案的每一步中，我们提出了一种基于质量驱动的专家混合（Q-MoE）策略，在执行与反思阶段选择最优图像。此外，我们还开发了人脸修复流水线，以增强图像中的人脸细节。

• 🔥 配置模块：为扩展4KAgent的适用性，我们提出了配置模块，允许用户根据不同的修复任务自定义系统。4KAgent无需额外训练即可适应多种修复任务。

• 🔥 DIV4K-50数据集：我们构建了DIV4K-50数据集，作为一项具有挑战性的测试集，用于将256×256分辨率的低质量（LQ）图像，经过多重退化后，提升至4096×4096分辨率的高质量（HQ）4K图像。

流程

依赖与安装

请参阅安装指南，获取关于环境搭建和依赖安装的详细说明。

推理

前提条件：在运行4KAgent之前，请在配置文件中填写API密钥。

4KAgent的推理依赖于配置文件，以下是示例：

使用‘llama_vision’作为感知智能体VLM的配置文件：

经典SR（ExpSR_s4_F）

CUDA_VISIBLE_DEVICES=1 python infer_4kagent.py \
  --input_dir ./assets/profile_test_example/classicsr \
  --output_dir ./outputs/4KAgent_test/classicsr \
  --profile_name ExpSR_s4_F \
  --tool_run_gpu_id 2

真实世界SR（ExpSR_s4_P）

CUDA_VISIBLE_DEVICES=1 python infer_4kagent.py \
  --input_dir ./assets/profile_test_example/realworldsr \
  --output_dir ./outputs/4KAgent_test/realworldsr \
  --profile_name ExpSR_s4_P \
  --tool_run_gpu_id 2

使用‘depictqa’作为感知智能体VLM的配置文件：

红外与4K SR联合处理：

# 在门户A中设置depictqa：
cd ./DepictQA
conda activate depictqa
CUDA_VISIBLE_DEVICES=0 python src/app_eval.py

# 在门户B中运行4KAgent推理：
CUDA_VISIBLE_DEVICES=1 python infer_4kagent.py \
  --input_dir ./assets/profile_test_example/4ksr \
  --output_dir ./outputs/4KAgent_test/4ksr \
  --profile_name FastGen4K_P \
  --tool_run_gpu_id 2

我们推荐FastGen4K_P配置文件，它推理速度更快，且具有良好的感知质量。

tool_run_gpu_id用于指定执行工具（修复方法）的GPU。对于显存较大的GPU，可以将tool_run_gpu_id设置为与CUDA_VISIBLE_DEVICES相同。

老照片4K SR

# 在门户A中设置depictqa：
cd ./DepictQA
conda activate depictqa
CUDA_VISIBLE_DEVICES=0 python src/app_eval.py

# 在门户B中运行4KAgent推理：
CUDA_VISIBLE_DEVICES=1 python infer_4kagent.py \
  --input_dir ./assets/profile_test_example/opr \
  --output_dir ./outputs/4KAgent_test/opr \
  --profile_name OldP4K_P \
  --tool_run_gpu_id 2

多重退化图像修复

# 在门户A中设置depictqa：
cd ./DepictQA
conda activate depictqa
CUDA_VISIBLE_DEVICES=0 python src/app_eval.py

# 在门户B中运行4KAgent推理：
CUDA_VISIBLE_DEVICES=1 python infer_4kagent.py \
  --input_dir ./assets/profile_test_example/mir \
  --output_dir ./outputs/4KAgent_test/mir \
  --profile_name GenMIR_P \
  --tool_run_gpu_id 2

配置文件设置

我们在pipeline/profiles目录下提供了若干示例配置文件，供不同应用场景参考。用户可根据这些示例自定义自己的配置文件。

DIV4K-50 数据集

我们已在 🤗 Hugging Face 上提供了 DIV4K-50 数据集，方便大家访问和复现实验。要下载该数据集，请确保已安装 huggingface_hub CLI：

python -m pip install "huggingface_hub[cli]"

# 运行以下命令将数据集下载到本地目录：
huggingface-cli download --repo-type dataset YSZuo/DIV4K-50 --local-dir ./dataset/DIV4K-50

# 解压数据集：
cd ./dataset/DIV4K-50
unzip DIV4K-50.zip

实用工具

[1] 提取结果图像：utils/image_export.py

目前，4KAgent 会生成一个包含日志和推理过程中生成图像的文件夹。如果我们仅需要最终输出图像来计算指标（例如 PSNR / SSIM / LPIPS 等），可以使用此脚本将每个 output 图像按其原始文件名提取到一个新的文件夹中。

[2] 提取结果工具链：utils/toolchain_export.py

如果我们对多张图像进行推理，并希望了解每张图像对应的 4KAgent 工具链，可以使用此脚本提取每张图像的工具链。例如：

001: defocus deblurring@diffplugin-brightening@gamma_correction-super-resolution@diffbir.
002: defocus deblurring@drbnet-super-resolution@diffbir.
003: defocus deblurring@restormer-super-resolution@pisasr.

[3] 提取人脸修复结果工具：utils/face_restoration_tool_export.py

如果在配置文件中启用了“人脸修复”功能（将 FaceRestore 设置为 true），并想查看具体使用了哪种人脸修复方法，可以使用此脚本。例如：

00006_01: codeformer
00006_02: gfpgan
00006_03: img

其中，“img”表示原始人脸图像。

评估

我们在 eval 文件夹中提供了多个评估脚本，分别对应不同的任务：

[1] test_metrics_classic：crop_border=4，用于评估经典超分辨率任务中的图像。（Set5、Set14、B100、Urban100、Manga109）

[2] test_metrics：用于评估真实世界超分辨率任务中的图像。（RealSR、DRealSR）

[3] test_metrics_mio：用于评估多退化修复任务中的图像。（MiO100）

[4] test_metrics_nr：用于评估无参考指标的图像。（NIQE、MUSIQ、MANIQA (pipal)、CLIPIQA）。（RealSRSet（16倍超分辨率）、DIV4K-50）如果 GPU 显存有限（小于 24G），也可以使用 test_metrics_nr_low_gpu。

实验结果

我们在11个不同的图像超分辨率任务上评估了4KAgent。总体实验结果总结如下：

*: 对于使用GenMIR-P配置文件在4KAgent中触发超分辨率的低质量图像（基于低质量图像的分辨率），缩放因子被设置为4。

**: 我们使用标准样本提示来评估4KAgent在AIGC领域的性能。我们未采用无参考指标（NIQE、MUSIQ-P、MANIQA、CLIPIQA）进行评估，并提供了用于生成的测试提示。（MUSIQ-P：一种应用于补丁的方法，它在不重叠的512×512补丁上计算MUSIQ分数并取平均值，从而提高对超高分辨率内容中局部伪影的敏感性。）

我们在profile_setup中介绍了这些任务中使用的配置文件命名规范及详细信息。

许可证

本项目根据Apache 2.0许可证发布。

联系方式

如有任何问题，请随时联系：zuoyushen12@gmail.com

引用

如果您在研究中使用了我们的工作，我们诚挚地希望您能考虑引用我们的论文：

@article{zuo20254kagent,
      title={4KAgent: 基于智能体的任意图像至4K超分辨率}, 
      author={Yushen Zuo 和 Qi Zheng 和 Mingyang Wu 和 Xinrui Jiang 和 Renjie Li 和 Jian Wang 和 Yide Zhang 和 Gengchen Mai 和 Lihong V. Wang 和 James Zou 和 Xiaoyu Wang 和 Ming-Hsuan Yang 和 Zhengzhong Tu},
      year={2025},
      eprint={2507.07105},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2507.07105}, 
}

致谢

我们的代码基于 AgenticIR，同时还借鉴了若干优秀的开源图像修复工具和视觉语言模型，这些内容已在 工具箱 中列出。我们衷心感谢各位作者对社区所做的宝贵贡献。

4KAgent 快速上手指南

4KAgent 是一个通用的智能体图像超分辨率框架，能够将任意类型的低质量图像（包括经典退化、真实世界退化、AI 生成图像、遥感、显微及生物医学图像等）统一 upscale 至 4K 分辨率。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• GPU: NVIDIA GPU (支持 CUDA)，建议显存 ≥ 24GB 以获得最佳体验（小显存可使用低显存评估脚本，但推理仍建议大显存）。
• Python: 3.8 或更高版本
• 依赖管理: Conda (推荐)
• API Key: 本项目依赖视觉语言模型 (VLM)，使用前需在配置文件中填入对应的 API Key。

2. 安装步骤

2.1 克隆项目

git clone https://github.com/taco-group/4KAgent.git
cd 4KAgent

2.2 创建虚拟环境并安装依赖

详细的环境配置请参考项目自带的 installation/Installation.md，以下是基础安装流程：

# 创建 conda 环境
conda create -n 4kagent python=3.9 -y
conda activate 4kagent

# 安装 PyTorch (请根据您的 CUDA 版本调整，以下为示例)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 安装项目核心依赖
pip install -r requirements.txt

注意：如果部分依赖下载缓慢，可尝试使用国内镜像源加速： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2.3 配置 API Key

运行前必须配置 VLM 的 API Key。编辑根目录下的 config.yml 文件，填入您的密钥。

3. 基本使用

4KAgent 基于 Profile（配置文件） 运行，针对不同类型的图像（如经典超分、真实世界超分、老照片修复等）提供了预设 Profile。

3.1 下载测试数据（可选）

您可以使用提供的示例数据进行测试：

# 确保已安装 huggingface-cli
pip install "huggingface_hub[cli]"

# 下载 DIV4K-50 数据集或其他测试样本（根据实际需求）
# 此处以手动放置图片到 input_dir 为例，无需强制下载完整数据集即可运行

3.2 运行推理

场景 A：经典超分辨率 (Classic SR)

使用 llama_vision 作为感知代理，适用于标准退化图像。

CUDA_VISIBLE_DEVICES=1 python infer_4kagent.py \
  --input_dir ./assets/profile_test_example/classicsr \
  --output_dir ./outputs/4KAgent_test/classicsr \
  --profile_name ExpSR_s4_F \
  --tool_run_gpu_id 2

场景 B：真实世界超分辨率 (Real-World SR)

适用于包含复杂噪声和模糊的真实拍摄图像。

CUDA_VISIBLE_DEVICES=1 python infer_4kagent.py \
  --input_dir ./assets/profile_test_example/realworldsr \
  --output_dir ./outputs/4KAgent_test/realworldsr \
  --profile_name ExpSR_s4_P \
  --tool_run_gpu_id 2

场景 C：老照片修复与多重退化恢复 (需部署 DepictQA)

对于老照片 (OldP4K_P) 或多重退化 (GenMIR_P) 任务，需要额外启动 DepictQA 服务作为感知代理。

步骤 1：启动 DepictQA 服务 (终端 A)

cd ./DepictQA
conda activate depictqa  # 假设已单独配置 depictqa 环境
CUDA_VISIBLE_DEVICES=0 python src/app_eval.py

步骤 2：运行 4KAgent 推理 (终端 B)

CUDA_VISIBLE_DEVICES=1 python infer_4kagent.py \
  --input_dir ./assets/profile_test_example/opr \
  --output_dir ./outputs/4KAgent_test/opr \
  --profile_name OldP4K_P \
  --tool_run_gpu_id 2

3.3 参数说明

• --input_dir: 输入低质量图像文件夹路径。
• --output_dir: 输出高清 4K 图像保存路径。
• --profile_name: 预设配置文件名（位于 pipeline/profiles），决定处理策略。
  • 推荐尝试 FastGen4K_P：推理速度较快且感知质量良好。
• --tool_run_gpu_id: 指定执行具体修复工具（Restoration Tools）的 GPU ID。若显存充足，可与 CUDA_VISIBLE_DEVICES 设为相同值。

3.4 结果提取

推理完成后，输出目录包含日志和中间过程图。若只需最终结果用于指标计算，可使用工具脚本提取：

# 提取最终输出图像
python utils/image_export.py --input_dir ./outputs/4KAgent_test/xxx --output_dir ./final_results

# 查看每张图使用的工具链
python utils/toolchain_export.py --input_dir ./outputs/4KAgent_test/xxx