深度学习HDR图像重建

概述

本仓库提供了用于运行我们Siggraph Asia论文中所描述的自编码卷积神经网络（CNN）推理的代码，以及该网络的训练代码。请仔细阅读以下信息，以便正确使用该方法。如果您在研究工作中使用了这些代码，请按照以下方式引用该论文：

@article{EKDMU17,
  author       = "Eilertsen, Gabriel and Kronander, Joel, and Denes, Gyorgy and Mantiuk, Rafał and Unger, Jonas",
  title        = "利用深度CNN从单次曝光重建HDR图像",
  journal      = "ACM Transactions on Graphics (TOG)",
  number       = "6",
  volume       = "36",
  articleno    = "178",
  year         = "2017"
}

该CNN经过训练，能够重建因传感器饱和而丢失信息的图像区域，例如高光和明亮的图像特征。这意味着可以将一张标准的8位单次曝光图像输入到网络中，网络会重建缺失的信息，从而生成一张高动态范围（HDR）图像。有关该方法的更多信息，请参阅项目主页。

下文将介绍如何使用训练好的网络进行HDR图像重建。关于训练新权重的相关信息和代码则位于training_code文件夹中。

代码说明

模型和预测脚本使用Python编写，并依赖以下软件包：

• TensorFlow：用于模型定义和预测。
• TensorLayer：用于简化TensorFlow层的构建。
• OpenEXR：用于将重建的HDR图像写入磁盘。
• NumPy 和 SciPy：用于图像处理等操作。

所有依赖项均可通过Python的pip包管理器安装（若需GPU支持，请将tensorflow替换为tensorflow-gpu）：

$ pip install numpy scipy tensorflow tensorlayer OpenEXR

在使用pip安装之前，您可能需要先通过相应的包管理器安装OpenEXR（例如，在Ubuntu上执行sudo apt-get install openexr and libopenexr-dev）。

使用方法

1. 用于推理的已训练 CNN 权重可在 这里 找到。
2. 运行 python hdrcnn_predict.py -h 可显示可用的输入选项。
3. 下面是一个示例，演示如何进行 HDR 重建。

示例

我们提供了一些测试图像，可以按如下方式用于重建：

$ python hdrcnn_predict.py --params hdrcnn_params.npz --im_dir data --width 1024 --height 768

也可以对单个帧进行预测：

$ python hdrcnn_predict.py --params hdrcnn_params.npz --im_dir data/img_001.png --width 1024 --height 768

压缩伪影

我们还提供了在包含 JPEG 压缩伪影的图像上训练得到的参数，可从 这里 下载。如果用于重建的图像包含压缩伪影，使用这些参数相比之前的参数能显著提升重建质量。然而，如果输入图像没有压缩伪影，我们建议使用 原始参数，因为它们在重建细节方面略占优势。

视频重建

逐帧重建视频素材通常会导致闪烁伪影和局部时间不一致的问题。为缓解这一问题，我们提供了 这里 的参数，这些参数是基于我们 2019 年 CVPR 论文提出的正则化方法训练得到的（论文，项目主页)：

@inproceedings{EMU19,
  author       = "Eilertsen, Gabriel and 
                  Mantiuk, Rafa\l and 
                  Unger, Jonas",
  title        = "Single-frame Regularization for Temporally Stable CNNs",
  booktitle    = "The IEEE Conference on Computer Vision and Pattern Recognition (CVPR)",
  month        = "June",
  year         = "2019"
}

为提高时间一致性的参数同样使用了 JPEG 压缩图像，因此也可用于处理已应用压缩的视频。重建质量和时间一致性之间存在一定的权衡。如果不需要重建视频素材，则应优先使用 原始参数。

应用上述正则化方法进行训练的功能可在 training_code 中找到。

评估

正确评估单张图像 HDR 重建方法十分困难（参见例如 这里）。我们建议采用我们在 SIGGRAPH 2022 论文中提出的推荐评估协议（论文，项目主页)：

@inproceedings{hanji2022sihdr,
  author    = {Hanji, Param and Mantiuk, Rafa{\l} K. and Eilertsen, Gabriel and Hajisharif, Saghi and Unger, Jonas},
  title     = {单张图像 HDR 重建方法比较——质量评估的注意事项},
  booktitle = {Special Interest Group on Computer Graphics and Interactive Techniques Conference Proceedings (SIGGRAPH '22 Conference Proceedings)},
  year      = {2022},
  doi       = {10.1145/3528233.3530729},
  url       = {https://www.cl.cam.ac.uk/research/rainbow/projects/sihdr_benchmark/},
}

控制重建过程

使用 CNN 进行 HDR 重建是完全自动化的，无需任何参数校准。然而，在某些情况下，能够控制重建后像素的亮度可能会有所帮助。为此，有一个简单的技巧可用于实现这种控制。

给定输入图像 x，CNN 预测 y = f(x) 可以通过在输入图像上应用指数/伽马函数，并在重建后将其逆运算来一定程度上进行控制：

    y = f(x^1/g)^g。

本质上，这会修改图像的相机曲线，从而使重建基于不同的相机特性进行。对于 g > 1 的值，重建后的高光区域强度会被增强；而对于 g < 1，则相反。程序提供了一个 --gamma 输入选项来执行此操作：

$ python hdrcnn_predict.py [...] --gamma 1.2

一般来说，取 1.1–1.3 左右的值较为合适，因为这样可以避免对最亮像素的低估，而这种低估在其他情况下较为常见（例如由于训练数据的局限性）。

许可证

版权所有 © 2017，加布里埃尔·艾尔特森。 保留所有权利。

该代码以 BSD 许可证发布。有关信息请参阅 LICENSE 文件。

hdrcnn 快速上手指南

hdrcnn 是一个基于深度卷积神经网络（CNN）的工具，用于从单张标准曝光图像（如 8-bit PNG/JPG）重建高动态范围（HDR）图像。它特别擅长恢复因传感器饱和而丢失的高光细节。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu), macOS 或 Windows (需配置相应编译环境)。
• Python: 建议 Python 3.6+。
• 系统依赖:
  • 需要安装 OpenEXR 开发库以支持 HDR 图像写入。
  • Ubuntu/Debian: sudo apt-get install openexr libopenexr-dev
  • macOS (Homebrew): brew install open-exr
• 硬件加速 (可选): 如需使用 GPU 加速推理，请确保已安装 NVIDIA 驱动及 CUDA 工具包。

安装步骤

1. 安装 Python 依赖包 使用 pip 安装所需库。如果您有 GPU 支持，建议将 tensorflow 替换为 tensorflow-gpu。

   pip install numpy scipy tensorflow tensorlayer OpenEXR
   

   国内加速提示: 如果下载速度较慢，推荐使用清华或阿里镜像源：

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy scipy tensorflow tensorlayer OpenEXR
   

2. 下载预训练模型权重 从官方资源下载推断所需的权重文件 hdrcnn_params.npz：

   • 通用模型: hdrcnn_params.npz
   • (可选) 含压缩伪影优化模型: hdrcnn_params_compr.npz
   • (可选) 视频时序稳定模型: hdrcnn_params_compr_regularized.npz

   将下载的文件放置在项目根目录或指定路径下。

基本使用

1. 查看帮助信息

运行以下命令查看可用参数选项：

python hdrcnn_predict.py -h

2. 批量重建示例

对 data 目录下的所有测试图像进行 HDR 重建（指定输出分辨率为 1024x768）：

python hdrcnn_predict.py --params hdrcnn_params.npz --im_dir data --width 1024 --height 768

3. 单张图片重建

仅处理单张输入图片：

python hdrcnn_predict.py --params hdrcnn_params.npz --im_dir data/img_001.png --width 1024 --height 768

4. 进阶技巧：控制重建亮度

默认情况下重建是全自动的。如果发现最亮区域重建亮度不足，可以通过 --gamma 参数调整输入图像的伽马曲线来提升高光强度（推荐值 1.1 - 1.3）：

python hdrcnn_predict.py --params hdrcnn_params.npz --im_dir data/img_001.png --width 1024 --height 768 --gamma 1.2

注意:

• 若输入图像包含 JPEG 压缩伪影，请使用 hdrcnn_params_compr.npz 以获得更好效果。
• 若处理视频帧序列以避免闪烁，请使用 hdrcnn_params_compr_regularized.npz。