无领域标签的高分辨率白天场景转换

项目页面 | 视频讲解 | 论文 | 附录 | TwoMinutePapers

本文的官方 PyTorch 实现（仅包含推理部分），作者为 I. Anokhin, P. Solovev, D. Korzhenkov, A. Kharlamov, T. Khakhulin, A. Silvestrov, S. Nikolenko, V. Lempitsky 和 G. Sterkin。论文题目为《无领域标签的高分辨率白天场景转换》，发表于 2020 年 IEEE/CVF 计算机视觉与模式识别会议（CVPR）。

安装

请确保使用 Python >= 3.7。我们已在 conda 包管理器环境下进行了测试。如果您是 conda 新手，请参阅：https://docs.conda.io/projects/conda/en/latest/user-guide/install/index.html

conda create -n hidt python=3.7
conda activate hidt

克隆仓库

git clone https://github.com/advimman/HiDT.git

安装依赖

cd HiDT
pip install -r requirements.txt

推理

白天场景转换，使用 G_enh 进行上采样：

CUDA_VISIBLE_DEVICES=0 PYTHONPATH=$(pwd):${PYTHONPATH} \
python ./bin/infer_on_folders.py \
    --content-dir ./images/daytime/content/ \
    --style-dir ./images/daytime/styles/ \
    --cfg-path ./configs/daytime.yaml \
    --chk-path ./trained_models/generator/daytime.pt \
    --enh-path ./trained_models/enhancer/enhancer.pth \
    --enhancement generator

白天场景转换，生成器以全卷积模式运行，无需后处理：

CUDA_VISIBLE_DEVICES=0 PYTHONPATH=$(pwd):${PYTHONPATH} \
python ./bin/infer_on_folders.py \
    --content-dir ./images/daytime/content/ \
    --style-dir ./images/daytime/styles/ \
    --cfg-path ./configs/daytime.yaml \
    --chk-path ./trained_models/generator/daytime.pt \
    --enhancement fullconv

基于 WikiArt 数据集训练的模型，使用 G_enh 进行上采样：

CUDA_VISIBLE_DEVICES=0 PYTHONPATH=$(pwd):${PYTHONPATH} \
python ./bin/infer_on_folders.py \
    --content-dir ./images/wikiart/content/ \
    --style-dir ./images/wikiart/styles/ \
    --cfg-path ./configs/wikiart.yaml \
    --chk-path ./trained_models/generator/wikiart.pt \
    --enh-path ./trained_models/enhancer/enhancer.pth \
    --enhancement generator

基于 WikiArt 数据集训练的模型，生成器以全卷积模式运行，无需后处理：

CUDA_VISIBLE_DEVICES=0 PYTHONPATH=$(pwd):${PYTHONPATH} \
python ./bin/infer_on_folders.py \
    --content-dir ./images/wikiart/content/ \
    --style-dir ./images/wikiart/styles/ \
    --cfg-path ./configs/wikiart.yaml \
    --chk-path ./trained_models/generator/wikiart.pt \
    --enhancement fullconv

引用

如果您认为我们的工作对您有所帮助，请别忘了引用：

@inproceedings{Anokhin_2020_CVPR,
  author = {Anokhin, Ivan and
            Solovev, Pavel and
            Korzhenkov, Denis and
            Kharlamov, Alexey and
            Khakhulin, Taras and
            Silvestrov, Alexey and
            Nikolenko, Sergey and
            Lempitsky, Victor and
            Sterkin, Gleb
  },
  title = {High-Resolution Daytime Translation Without Domain Labels},
  booktitle = {The IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  month = {June},
  year = {2020},
}

HiDT 快速上手指南

HiDT (High-Resolution Daytime Translation) 是一个用于高分辨率日间图像风格迁移的开源项目，无需域标签即可实现从内容图到风格图的转换，并支持超分辨率增强。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐) 或 macOS
• Python 版本: >= 3.7
• 包管理器: 推荐使用 conda
• 硬件: 需要 NVIDIA GPU 以加速推理（命令中需设置 CUDA_VISIBLE_DEVICES）

安装步骤

1. 创建并激活 Conda 环境

conda create -n hidt python=3.7
conda activate hidt

2. 克隆代码仓库

git clone https://github.com/advimman/HiDT.git
cd HiDT

3. 安装依赖

建议使用国内镜像源（如清华源）加速安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：本项目仅提供推理部分的官方 PyTorch 实现。使用前请确保已从项目发布页或训练好的模型链接下载相应的 .pt 和 .pth 模型文件，并放置于 ./trained_models/ 对应目录下。

基本使用

以下是最基础的日间场景风格迁移示例（使用生成器 + 增强器进行超分）。

请准备好内容图片文件夹（content）和风格图片文件夹（styles），然后运行以下命令：

CUDA_VISIBLE_DEVICES=0 PYTHONPATH=$(pwd):${PYTHONPATH} \
python ./bin/infer_on_folders.py \
    --content-dir ./images/daytime/content/ \
    --style-dir ./images/daytime/styles/ \
    --cfg-path ./configs/daytime.yaml \
    --chk-path ./trained_models/generator/daytime.pt \
    --enh-path ./trained_models/enhancer/enhancer.pth \
    --enhancement generator

参数说明：

• --content-dir: 输入内容图像目录。
• --style-dir: 参考风格图像目录。
• --cfg-path: 配置文件路径（日间场景使用 daytime.yaml，艺术风格可使用 wikiart.yaml）。
• --chk-path: 预训练生成器模型路径。
• --enh-path: 预训练增强器模型路径（用于提升分辨率）。
• --enhancement: 设置为 generator 表示启用超分增强；若仅需全卷积模式推理且无后处理，可改为 fullconv 并省略 --enh-path 参数。

运行完成后，结果将保存在默认输出目录中。