NAFNet：无非线性激活函数的图像修复网络

论文 《图像修复的简单基线（ECCV2022）》 的官方 PyTorch 实现。

梁宇辰*、楚晓杰*、张翔宇、孙健

尽管近年来图像修复领域取得了显著进展，但当前最先进方法的系统复杂度也在不断增加，这可能会阻碍对不同方法的便捷分析与比较。 在本文中，我们提出了一种简单的基线模型，其性能超越了现有最先进方法，同时计算效率更高。 为进一步简化该基线，我们发现诸如 Sigmoid、ReLU、GELU、Softmax 等非线性激活函数并非必需：它们可以被乘法替代或直接移除。因此，我们从该基线中推导出一种无非线性激活函数的网络，即 NAFNet。我们在多个具有挑战性的基准测试上取得了最先进的结果，例如在 GoPro 数据集上的图像去模糊任务中达到了 33.69 dB 的 PSNR 值，比之前的最先进方法高出 0.38 dB，而计算成本仅为后者的 8.4%；在 SIDD 数据集上的图像去噪任务中则达到了 40.30 dB 的 PSNR 值，比先前的最先进方法高出 0.28 dB，且计算成本不到后者的一半。

去噪	去模糊	立体超分辨率(NAFSSR)

最新消息

2022年8月2日 基线模型，包括预训练模型和训练/测试配置，现已开放下载。

2022年7月3日 相关工作 《通过重新审视全局信息聚合提升图像修复》（TLC，即我们论文中的 TLSC）已被 ECCV2022 接受 :tada: 。代码可在 https://github.com/megvii-research/TLC 上获取。

2022年7月3日 我们的 论文（https://arxiv.org/abs/2204.04676）已被 ECCV2022 接受 :tada:

2022年6月19日 NAFSSR（作为挑战赛冠军）被选为 CVPR 2022 NTIRE 研讨会的口头报告环节发言者 :tada: 演示视频、幻灯片 和 海报 现已公开。

2022年4月15日 基于 NAFNet 的立体图像超分辨率解决方案 (NAFSSR) 在 NTIRE 2022 立体图像超分辨率挑战赛中荣获 第一名！训练/评估说明请参见 这里。

安装

本实现基于 BasicSR（https://github.com/xinntao/BasicSR），这是一个用于图像/视频修复任务的开源工具箱，以及 HINet（https://github.com/megvii-model/HINet）。

python 3.9.5
pytorch 1.11.0
cuda 11.3

git clone https://github.com/megvii-research/NAFNet
cd NAFNet
pip install -r requirements.txt
python setup.py develop --no_cuda_ext

快速入门

• 图像去噪 Colab 示例：
• 图像去模糊 Colab 示例：
• 立体图像超分辨率 Colab 示例：
• 单张图像推理示例：
  • 图像去噪：

  python basicsr/demo.py -opt options/test/SIDD/NAFNet-width64.yml --input_path ./demo/noisy.png --output_path ./demo/denoise_img.png
  

  • 图像去模糊：

  python basicsr/demo.py -opt options/test/REDS/NAFNet-width64.yml --input_path ./demo/blurry.jpg --output_path ./demo/deblur_img.png
  

  • --input_path: 退化图像的路径
  • --output_path: 预测图像的保存路径
  • 应下载预训练模型。
  • 使用Gradio集成到Huggingface Spaces 🤗中。体验单张图像修复的网页演示
• 立体图像推理示例：
  • 立体图像超分辨率：

  python basicsr/demo_ssr.py -opt options/test/NAFSSR/NAFSSR-L_4x.yml \
  --input_l_path ./demo/lr_img_l.png --input_r_path ./demo/lr_img_r.png \
  --output_l_path ./demo/sr_img_l.png --output_r_path ./demo/sr_img_r.png
  

  • --input_l_path: 退化左图的路径
  • --input_r_path: 退化右图的路径
  • --output_l_path: 预测左图的保存路径
  • --output_r_path: 预测右图的保存路径
  • 应下载预训练模型。
  • 使用Gradio集成到Huggingface Spaces 🤗中。体验立体图像超分辨率的网页演示
• 在这里尝试包含所有三项任务的网页演示：

结果与预训练模型

名称	数据集	PSNR	SSIM	预训练模型	配置文件
NAFNet-GoPro-width32	GoPro	32.8705	0.9606	gdrive | 百度网盘	train | test
NAFNet-GoPro-width64	GoPro	33.7103	0.9668	gdrive | 百度网盘	train | test
NAFNet-SIDD-width32	SIDD	39.9672	0.9599	gdrive | 百度网盘	train | test
NAFNet-SIDD-width64	SIDD	40.3045	0.9614	gdrive | 百度网盘	train | test
NAFNet-REDS-width64	REDS	29.0903	0.8671	gdrive | 百度网盘	train | test
NAFSSR-L_4x	Flickr1024	24.17	0.7589	gdrive | 百度网盘	train | test
NAFSSR-L_2x	Flickr1024	29.68	0.9221	gdrive | 百度网盘	train | test
Baseline-GoPro-width32	GoPro	32.4799	0.9575	gdrive | 百度网盘	train | test
Baseline-GoPro-width64	GoPro	33.3960	0.9649	gdrive | 百度网盘	train | test
Baseline-SIDD-width32	SIDD	39.8857	0.9596	gdrive | 百度网盘	train | test
Baseline-SIDD-width64	SIDD	40.2970	0.9617	gdrive | 百度网盘	train | test

图像恢复任务

任务	数据集	训练/测试说明	可视化结果
图像去模糊	GoPro	链接	谷歌云盘 | 百度网盘
图像去噪	SIDD	链接	谷歌云盘 | 百度网盘
带有JPEG伪影的图像去模糊	REDS	链接	谷歌云盘 | 百度网盘
立体图像超分辨率	Flickr1024+Middlebury	链接	谷歌云盘 | 百度网盘

引用

如果NAFNet对您的研究或工作有所帮助，请考虑引用NAFNet。

@article{chen2022simple,
  title={简单图像恢复基线},
  author={陈亮宇、褚晓杰、张翔宇、孙健},
  journal={arXiv预印本 arXiv:2204.04676},
  year={2022}
}

如果NAFSSR对您的研究或工作有所帮助，请考虑引用NAFSSR。

@InProceedings{chu2022nafssr,
    author    = {褚晓杰、陈亮宇、于文清},
    title     = {NAFSSR：基于NAFNet的立体图像超分辨率},
    booktitle = {IEEE/CVF计算机视觉与模式识别会议（CVPR）研讨会论文集},
    month     = {六月},
    year      = {2022},
    pages     = {1239-1248}
}

联系方式

如有任何问题，请联系 chenliangyu@megvii.com 或 chuxiaojie@megvii.com

---

统计信息

NAFNet 快速上手指南

NAFNet (Nonlinear Activation Free Network) 是一个用于图像复原（去噪、去模糊、立体超分）的高效深度学习模型。它在多个基准测试中超越了 SOTA 方法，且计算成本更低。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐) 或 Windows
• Python: 3.9.5
• PyTorch: 1.11.0
• CUDA: 11.3 (如需 GPU 加速)
• 依赖库: 基于 BasicSR 和 HINet 构建

2. 安装步骤

克隆项目仓库并安装依赖。国内用户建议使用镜像源加速安装。

# 克隆代码
git clone https://github.com/megvii-research/NAFNet
cd NAFNet

# 安装依赖 (推荐使用国内镜像源)
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装开发模式 (不编译 CUDA 扩展)
python setup.py develop --no_cuda_ext

注意：如果您需要完整的 CUDA 加速支持且环境配置正确，可尝试移除 --no_cuda_ext 参数，但上述命令能保证在大多数环境下快速运行 CPU/GPU 推理。

3. 基本使用

使用前请先从 预训练模型列表 下载对应的 .pth 权重文件，并根据示例中的配置文件路径放置好（通常需放入 experiments/pretrained_models 或在配置文件中指定路径）。

3.1 单张图像去噪 (Image Denoise)

将噪声图像还原为清晰图像（基于 SIDD 数据集模型）。

python basicsr/demo.py -opt options/test/SIDD/NAFNet-width64.yml --input_path ./demo/noisy.png --output_path ./demo/denoise_img.png

• --input_path: 输入噪声图片的路径。
• --output_path: 输出去噪后图片的保存路径。

3.2 单张图像去模糊 (Image Deblur)

将模糊图像还原为清晰图像（基于 GoPro/REDS 数据集模型）。

python basicsr/demo.py -opt options/test/REDS/NAFNet-width64.yml --input_path ./demo/blurry.jpg --output_path ./demo/deblur_img.png

• --input_path: 输入模糊图片的路径。
• --output_path: 输出去模糊后图片的保存路径。

3.3 立体图像超分辨率 (Stereo Image Super-Resolution)

对左右视角的低分辨率立体图像进行超分重建。

python basicsr/demo_ssr.py -opt options/test/NAFSSR/NAFSSR-L_4x.yml \
--input_l_path ./demo/lr_img_l.png --input_r_path ./demo/lr_img_r.png \
--output_l_path ./demo/sr_img_l.png --output_r_path ./demo/sr_img_r.png

• --input_l_path / --input_r_path: 左/右视角低分辨率图片的路径。
• --output_l_path / --output_r_path: 左/右视角超分后图片的保存路径。

---

提示：如果不想配置本地环境，可以直接使用官方提供的 Colab 演示或 Hugging Face Spaces 在线体验：

• 去噪在线演示
• 去模糊在线演示
• Web Demo (Hugging Face)