AdaIN风格

本仓库包含论文的代码（基于 Torch）：

实时任意风格迁移：自适应实例归一化
Xun Huang， Serge Belongie
ICCV 2017 (口头报告)

本文提出了一种首个能够迁移任意新风格的实时风格迁移算法，不同于仅能迁移单一风格或32种风格的方法。我们的算法在 Pascal Titan X 显卡上处理 512×512 分辨率图像时，可达到 15 FPS 的速度。与 Gatys 等人的原始算法相比，这一速度提升了约 720 倍，且未牺牲任何灵活性。我们通过一种新颖的 自适应实例归一化 (AdaIN) 层实现了这一点，该层类似于实例归一化，但其仿射参数是根据任意风格图像的特征表示自适应计算得出的。

示例

依赖项

• torch7

可选：

• CUDA 和 cuDNN
• cunn
• torch.cudnn
• ffmpeg（用于视频）

下载

bash models/download_models.sh

此命令将下载一个预训练的解码器以及一个经过修改的 VGG-19 网络。我们的风格迁移网络由 VGG 的前几层、一个 AdaIN 层和提供的解码器组成。

使用方法

基本用法

使用 -content 和 -style 分别指定内容图像和风格图像的路径，例如：

th test.lua -content input/content/cornell.jpg -style input/style/woman_with_hat_matisse.jpg

你也可以使用 -contentDir 和 -styleDir 在内容和风格图像的目录上运行代码。它会将内容和风格的所有可能组合保存到输出目录中。

th test.lua -contentDir input/content -styleDir input/style

其他一些选项：

• -crop：预先对内容和风格图像进行中心裁剪。
• -contentSize：内容图像的新（最小）尺寸。若设置为 0，则保持原始尺寸。
• -styleSize：风格图像的新（最小）尺寸。若设置为 0，则保持原始尺寸。

要查看所有可用选项，请输入：

th test.lua -help

内容-风格权衡

使用 -alpha 调整风格化的程度。其值应在 0 到 1 之间（默认值）。示例用法：

th test.lua -content input/content/chicago.jpg -style input/style/asheville.jpg -alpha 0.5 -crop

通过调整 -alpha，你应该能够重现以下结果。

迁移风格但不迁移颜色

添加 -preserveColor 以保留内容图像的颜色。示例用法：

th test.lua -content https://oss.gittoolsai.com/images/xunhuang1995_AdaIN-style_readme_158e50ac7e8e.jpg -style https://oss.gittoolsai.com/images/xunhuang1995_AdaIN-style_readme_9b8fac55142e.jpg -contentSize 0 -styleSize 0 -preserveColor

风格插值

可以使用 -styleInterpWeights 在多个风格之间进行插值，该参数控制每个风格的相对权重。请注意，你也需要提供相同数量的风格图像，并用逗号分隔。示例用法：

th test.lua -content input/content/avril.jpg \
-style input/style/picasso_self_portrait.jpg,input/style/impronte_d_artista.jpg,input/style/trial.jpg,input/style/antimonocromatismo.jpg \
-styleInterpWeights 1,1,1,1 -crop

通过改变 -styleInterpWeights，你应该能够重现我们论文中展示的结果。

空间控制

使用 -mask 指定二值前景掩码的路径。你可以将内容图像的前景和背景分别迁移到不同的风格。请注意，你也需要提供两幅风格图像，并用逗号分隔，其中第一幅应用于前景，第二幅应用于背景。示例用法：

th test.lua -content input/content/blonde_girl.jpg -style input/style/woman_in_peasant_dress_cropped.jpg,input/style/mondrian_cropped.jpg \
-mask input/mask/mask.png -contentSize 0 -styleSize 0

视频风格化

使用 styVid.sh 处理视频，示例用法：

th testVid.lua -contentDir videoprocessing/${filename} -style ${styleimage} -outputDir videoprocessing/${filename}-${stylename}

这会为 style-dir-path 中的每张图像生成 1 个 mp4 文件。也支持其他视频格式。如需更改其他参数，如 alpha，可编辑 styVid.sh 的第 53 行。一个包含部分结果的示例视频可在 YouTube 上观看：这里。

训练

1. 下载 MSCOCO 图像 和 Wikiart 图像。
2. 使用 th train.lua -contentDir COCO_TRAIN_DIR -styleDir WIKIART_TRAIN_DIR 启动训练，采用默认超参数。将 COCO_TRAIN_DIR 替换为 COCO 训练图像的路径，WIKIART_TRAIN_DIR 替换为 Wikiart 训练图像的路径。默认超参数与用于训练 decoder-content-similar.t7 的超参数相同。若要重现 decoder.t7 的结果，可添加 -styleWeight 1e-1。

引用

如果您在研究中使用了此代码，请引用以下论文：

@inproceedings{huang2017adain,
  title={实时任意风格迁移：基于自适应实例归一化},
  author={Huang, Xun 和 Belongie, Serge},
  booktitle={ICCV},
  year={2017}
}

致谢

本项目受到众多现有风格迁移方法及其开源实现的启发，其中包括：

• 基于卷积神经网络的图像风格迁移，Gatys 等人 [代码（由 Johnson 提供）]
• 用于实时风格迁移和超分辨率的感知损失，Johnson 等人 [代码]
• 改进的纹理网络：在前馈式风格化与纹理合成中最大化质量和多样性，Ulyanov 等人 [代码]
• 艺术风格的可学习表征，Dumoulin 等人 [代码]
• 任意风格的快速基于块的风格迁移，Chen 和 Schmidt [代码]
• 神经风格迁移中感知因素的控制，Gatys 等人 [代码]

联系方式

如您对本文有任何疑问或建议，欢迎随时联系我（xh258@cornell.edu）。

AdaIN-style 快速上手指南

AdaIN-style 是一种基于自适应实例归一化（Adaptive Instance Normalization）的实时任意风格迁移算法。它能够在不牺牲灵活性的前提下，以极快的速度将任意艺术风格迁移到内容图像上。

环境准备

本项目基于 Torch7 框架开发，建议在 Linux 或 macOS 环境下运行。若需加速推理，推荐配置 NVIDIA GPU 及相关 CUDA 环境。

系统要求

• 操作系统: Linux / macOS
• 核心框架: Torch7
• 可选加速: CUDA, cuDNN

依赖安装

请确保已安装 Torch7。若使用 GPU 加速，还需安装以下 Lua 包：

• cunn (CUDA support for Torch)
• torch.cudnn (cuDNN bindings)
• ffmpeg (如需处理视频风格迁移)

注意：由于 Torch7 社区维护状态及国内网络环境，安装过程可能较为复杂。建议参考国内开发者整理的 Torch7 安装教程或使用 Docker 镜像进行环境部署。

安装步骤

1. 克隆项目代码

git clone https://github.com/xunhuang1995/AdaIN-style.git
cd AdaIN-style

2. 下载预训练模型

运行官方提供的脚本下载预训练的解码器（decoder）和修改后的 VGG-19 网络。

bash models/download_models.sh

注：若下载速度慢，可手动访问项目 Release 页面或通过其他渠道获取 .t7 模型文件并放入 models/ 目录。

基本使用

单张图像风格迁移

使用 th test.lua 命令，通过 -content 指定内容图路径，-style 指定风格图路径。

示例命令：

th test.lua -content input/content/cornell.jpg -style input/style/woman_with_hat_matisse.jpg

执行后，生成的风格化图像将保存在输出目录中。

常用参数说明

• -alpha: 控制风格化程度（0 到 1 之间，默认为 1）。值越小，保留越多原始内容特征。

  th test.lua -content input/content/chicago.jpg -style input/style/asheville.jpg -alpha 0.5
  

• -preserveColor: 保留内容图像的原始颜色，仅迁移纹理风格。

  th test.lua -content input/content/newyork.jpg -style input/style/brushstrokes.jpg -preserveColor
  

• -contentSize / -styleSize: 调整输入图像的尺寸（设为 0 保持原尺寸）。
• -help: 查看所有可用选项。

  th test.lua -help
  

批量处理

支持对文件夹内的图片进行全组合风格迁移：

th test.lua -contentDir input/content -styleDir input/style