Noise2Noise

这是一个“Noise2Noise：无需干净数据即可学习图像修复”[1]的非官方且部分实现的Keras版本。

与原始论文相比，有几个不同之处 （但并不影响理解Noise2Noise训练框架的工作原理）：

• 训练数据集（原论文：ImageNet，本仓库：[2]）
• 模型（原论文：RED30 [3]，本仓库：SRResNet [4] 或 UNet [5]）

更新：

• [2018年9月21日] 添加了随机值脉冲噪声模型和L0损失
• [2018年8月25日] 可以使用UNet模型进行训练
• [2018年8月25日] 添加了已训练好的权重

依赖项

• Keras >= 2.1.2, TensorFlow, NumPy, OpenCV

训练Noise2Noise

下载数据集

mkdir dataset
cd dataset
wget https://cv.snu.ac.kr/research/VDSR/train_data.zip
wget https://cv.snu.ac.kr/research/VDSR/test_data.zip
unzip train_data.zip
unzip test_data.zip
cd ..

除了上述数据集外，任何数据集都可以用于训练和验证。

训练模型

请参阅 python3 train.py -h 以了解可选参数。

使用高斯噪声训练

# 使用（噪声，噪声）对进行训练（noise2noise）
python3 train.py --image_dir dataset/291 --test_dir dataset/Set14 --image_size 128 --batch_size 8 --lr 0.001 --output_path gaussian

# 使用（噪声，干净）对进行训练（标准训练）
python3 train.py --image_dir dataset/291 --test_dir dataset/Set14 --image_size 128 --batch_size 8 --lr 0.001 --target_noise_model clean --output_path clean

使用文本插入噪声训练

# 使用（噪声，噪声）对进行训练（noise2noise）
python3 train.py --image_dir dataset/291 --test_dir dataset/Set14 --image_size 128 --batch_size 8 --lr 0.001 --source_noise_model text,0,50 --target_noise_model text,0,50 --val_noise_model text,25,25 --loss mae --output_path text_noise

# 使用（噪声，干净）对进行训练（标准训练）
python3 train.py --image_dir dataset/291 --test_dir dataset/Set14 --image_size 128 --batch_size 8 --lr 0.001 --source_noise_model text,0,50 --target_noise_model clean --val_noise_model text,25,25 --loss mae --output_path text_clean

使用随机值脉冲噪声训练

# 使用（噪声，噪声）对进行训练（noise2noise）
python3 train.py --image_dir dataset/291 --test_dir dataset/Set14 --image_size 128 --batch_size 8 --lr 0.001 --source_noise_model impulse,0,95 --target_noise_model impulse,0,95 --val_noise_model impulse,70,70 --loss l0 --output_path impulse_noise

# 使用（噪声，干净）对进行训练（标准训练）
python3 train.py --image_dir dataset/291 --test_dir dataset/Set14 --image_size 128 --batch_size 8 --lr 0.001 --source_noise_model impulse,0,95 --target_noise_model clean --val_noise_model impulse,70,70 --loss l0 --output_path impulse_clean

模型架构

通过 --model unet 参数，可以使用UNet模型代替SRResNet进行训练。

继续训练

通过 --weight path/to/weight/file 参数，可以使用已训练好的权重继续训练。

噪声模型

使用 source_noise_model、target_noise_model 和 val_noise_model 参数， 可以分别为源图像、目标图像和验证图像设置任意噪声模型。 默认值取自[1]中的实验。

• 高斯噪声
  • gaussian,min_stddev,max_stddev（例如gaussian,0,50）
• 干净目标
  • clean
• 文本插入
  • text,min_occupancy,max_occupancy（例如text,0,50）
• 随机值脉冲噪声
  • impulse,min_occupancy,max_occupancy（例如impulse,0,50）

可以通过以下命令查看这些噪声模型的效果：

python3 noise_model.py --noise_model text,0,95

结果

绘制训练历史

python3 plot_history.py --input1 gaussian --input2 clean

高斯噪声

从上述结果可以看出，我们可以使用带噪声的目标图像来训练去噪模型， 但其效果无法与使用干净目标图像训练的模型相媲美。 如果使用UNet模型，结果为29.67（噪声目标） vs. 30.14（干净目标）。

文本插入

随机值脉冲噪声

检查去噪结果

python3 test_model.py --weight_file [trained_model_path] --image_dir dataset/Set14

详细选项如下：

可选参数：
  -h, --help            显示此帮助信息并退出
  --image_dir IMAGE_DIR
                        测试图像目录（默认：无）
  --model MODEL         模型架构（'srresnet' 或 'unet'）（默认：srresnet）
  --weight_file WEIGHT_FILE
                        已训练好的权重文件（默认：无）
  --test_noise_model TEST_NOISE_MODEL
                        测试图像的噪声模型（默认：gaussian,25,25）
  --output_dir OUTPUT_DIR
                        如果设置，则保存结果图像；否则使用imshow显示结果（默认：无）

该脚本会使用 test_noise_model 对 image_dir 中的每张图像添加噪声，并执行去噪处理。 如果要对已经带有噪声的图像进行去噪，请使用 --test_noise_model clean。

高斯噪声

由干净目标模型去噪的结果（从左到右：原图、退化图像、去噪图像）：

由噪声目标模型去噪的结果：

文本插入

由干净目标模型去噪的结果

由噪声目标模型去噪的结果：

随机值脉冲噪声

由干净目标模型去噪的结果

由噪声目标模型去噪的结果：

已训练好的权重

[高斯噪声，噪声目标]（https://github.com/yu4u/noise2noise/releases/download/v0.1/weights.040-87.447-29.13496_gauss_noise.hdf5）

[高斯噪声，干净目标]（https://github.com/yu4u/noise2noise/releases/download/v0.1/weights.056-66.803-30.57923_gauss_clean.hdf5）

[文本插入，噪声目标]（https://github.com/yu4u/noise2noise/releases/download/v0.1/weights.057-4.796-27.68533_text_noise.hdf5）

[文本插入，干净目标]（https://github.com/yu4u/noise2noise/releases/download/v0.1/weights.056-4.172-28.07752_text_clean.hdf5）

[随机值脉冲噪声，噪声目标]（https://github.com/yu4u/noise2noise/releases/download/v0.1/weights.047-2.317-24.30238_impulse_noise.hdf5）

[随机值脉冲噪声，干净目标]（https://github.com/yu4u/noise2noise/releases/download/v0.1/weights.038-4.547-24.81654_impulse_clean.hdf5）

待办事项

• 比较（噪声，干净）训练和（噪声，噪声）训练
• 添加不同的噪声模型
• 编写 README 文件

参考文献

[1] J. Lehtinen, J. Munkberg, J. Hasselgren, S. Laine, T. Karras, M. Aittala, T. Aila，“Noise2Noise：无需干净数据即可学习图像修复”，载于 ICML 会议论文集，2018 年。

[2] J. Kim, J. K. Lee 和 K. M. Lee，“利用非常深的卷积神经网络实现高精度图像超分辨率”，载于 CVPR 会议论文集，2016 年。

[3] X.-J. Mao, C. Shen 和 Y.-B. Yang，“使用具有对称跳跃连接的卷积自编码器进行图像修复”，载于 NIPS 会议论文集，2016 年。

[4] C. Ledig 等人，“基于生成对抗网络的逼真单张图像超分辨率”，载于 CVPR 会议论文集，2017 年。

[5] O. Ronneberger、P. Fischer 和 T. Brox，“U-Net：用于生物医学图像分割的卷积网络”，载于 MICCAI 会议论文集，2015 年。

Noise2Noise 快速上手指南

Noise2Noise 是一个基于 Keras 的开源项目，实现了“无需干净数据即可学习图像复原”的算法。本指南将帮助你快速搭建环境并运行训练与测试。

1. 环境准备

在开始之前，请确保你的系统满足以下要求：

• 操作系统: Linux / macOS / Windows (需配置好 Python 环境)
• Python: 推荐 Python 3.6+
• 核心依赖:
  • Keras >= 2.1.2
  • TensorFlow (后端)
  • NumPy
  • OpenCV (opencv-python)

安装依赖命令：

pip install keras tensorflow numpy opencv-python

提示：国内用户建议使用清华或阿里镜像源加速安装： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple keras tensorflow numpy opencv-python

2. 安装与数据准备

克隆或下载本项目代码后，首先需要准备训练数据集。本项目默认使用 291 图像集进行训练，Set14 进行测试。

下载数据集命令：

mkdir dataset
cd dataset
wget https://cv.snu.ac.kr/research/VDSR/train_data.zip
wget https://cv.snu.ac.kr/research/VDSR/test_data.zip
unzip train_data.zip
unzip test_data.zip
cd ..

注意：如果 wget 下载速度慢，可手动在浏览器下载上述 zip 文件并解压到 dataset 目录下，或使用国内图床替换链接。你也可以使用任何自定义数据集替代，只需调整后续命令中的路径。

3. 基本使用

3.1 模型训练

你可以选择使用 (噪声，噪声) 配对（Noise2Noise 核心模式）或 (噪声，干净) 配对（标准监督模式）进行训练。

场景 A：高斯噪声去噪 (Gaussian Noise)

方式一：Noise2Noise 模式 (无需干净标签)

python3 train.py --image_dir dataset/291 --test_dir dataset/Set14 --image_size 128 --batch_size 8 --lr 0.001 --output_path gaussian

方式二：标准监督模式 (需要干净标签作为对比)

python3 train.py --image_dir dataset/291 --test_dir dataset/Set14 --image_size 128 --batch_size 8 --lr 0.001 --target_noise_model clean --output_path clean

场景 B：文字遮挡修复 (Text Insertion)

python3 train.py --image_dir dataset/291 --test_dir dataset/Set14 --image_size 128 --batch_size 8 --lr 0.001 --source_noise_model text,0,50 --target_noise_model text,0,50 --val_noise_model text,25,25 --loss mae --output_path text_noise

场景 C：随机值脉冲噪声 (Impulse Noise)

python3 train.py --image_dir dataset/291 --test_dir dataset/Set14 --image_size 128 --batch_size 8 --lr 0.001 --source_noise_model impulse,0,95 --target_noise_model impulse,0,95 --val_noise_model impulse,70,70 --loss l0 --output_path impulse_noise

其他训练选项：

• 切换模型架构: 添加 --model unet 可使用 UNet 代替默认的 SRResNet。
• 断点续训: 添加 --weight path/to/weight/file 加载已训练的权重继续训练。

3.2 模型测试与推理

训练完成后，使用以下命令对测试集进行去噪处理并查看结果。

基本测试命令：

python3 test_model.py --weight_file [trained_model_path] --image_dir dataset/Set14

常用参数说明：

• --weight_file: 指定训练好的 .hdf5 权重文件路径。
• --image_dir: 测试图片目录。
• --model: 模型架构 (srresnet 或 unet)，默认为 srresnet。
• --test_noise_model: 测试时添加的噪声类型 (默认 gaussian,25,25)。
  • 如果你要直接对已经含有噪声的图片进行去噪，请设置为 clean，例如：--test_noise_model clean。
• --output_dir: 如果设置此参数，结果图片将保存到该目录；否则直接使用 imshow 弹窗显示。

示例：使用预训练权重测试高斯噪声去噪（直接处理已有噪声图）：

python3 test_model.py --weight_file weights.040-87.447-29.13496_gauss_noise.hdf5 --image_dir dataset/Set14 --test_noise_model clean --output_dir results

3.3 可视化训练历史

查看训练过程中的 Loss 和 PSNR 变化曲线：

python3 plot_history.py --input1 gaussian --input2 clean

3.4 预训练权重下载

如果不想从头训练，可以直接下载官方提供的预训练权重：

• 高斯噪声 (Noise Target): 下载链接
• 高斯噪声 (Clean Target): 下载链接
• 文字遮挡 (Noise Target): 下载链接
• 脉冲噪声 (Noise Target): 下载链接

(注：更多权重请访问项目 GitHub Release 页面)