TensorFlow 中的快速风格迁移

只需短短几秒钟，就能将名画的风格应用到任何照片上！你甚至还可以为视频添加风格！

在 2015 年款 Titan X 显卡上，将 MIT Stata 中心（1024×680）的图像风格化为弗朗西斯·皮卡比亚的《Udnie》，仅需 100 毫秒。

我们的实现基于以下几种方法的结合：Gatys 的《艺术风格的神经算法》（https://arxiv.org/abs/1508.06576）、Johnson 的《用于实时风格迁移和超分辨率的感知损失》（http://cs.stanford.edu/people/jcjohns/eccv16/）以及 Ulyanov 的《实例归一化》（https://arxiv.org/abs/1607.08022）。

赞助

请考虑赞助我在该项目上的工作！

许可证

版权所有 © 2016 Logan Engstrom。如需商业用途（或任何非学术研究用途），请与我联系（邮箱：engstrom@my university's domain.edu）。本项目可供研究使用，但必须注明原作者，并保留此版权声明。

视频风格化

在这里，我们对视频中的每一帧进行了风格化处理，然后将结果合并成完整的视频。点击前往 YouTube 上的完整演示！ 此处使用的风格同样是上面提到的《Udnie》。

有关如何生成这些视频的详细信息，请参阅 这里！

图片风格化

我们将多幅名画的风格应用到了一张芝加哥的照片上。点击缩略图即可查看应用了相应风格的完整图片。

实现细节

我们的实现使用 TensorFlow 来训练一个快速风格迁移网络。我们采用了与 Johnson 文中描述的大致相同的转换网络，只是用 Ulyanov 的实例归一化替换了批归一化，并且对输出 tanh 层的缩放和偏移进行了细微调整。我们使用的损失函数接近 Gatys 的描述，但使用的是 VGG19 而不是 VGG16，并且通常会选择比 Johnson 实现中更“浅层”的卷积层（例如，我们使用 relu1_1 而不是 relu1_2）。从经验上看，这样做会使风格特征在转换结果中显得更加宏观。

虚拟环境设置（Anaconda）—— Windows/Linux

测试环境：

规格
操作系统	Windows 10 家庭版
GPU	Nvidia GTX 2080 TI
CUDA 版本	11.0
驱动程序版本	445.75

第一步：安装 Anaconda

https://docs.anaconda.com/anaconda/install/

第二步：创建虚拟环境

在 Anaconda Prompt 中依次运行以下命令：

conda create -n tf-gpu tensorflow-gpu=2.1.0
conda activate tf-gpu
conda install jupyterlab
jupyter lab

或者直接在笔记本中运行以下命令来安装相关包：

!pip install moviepy==1.0.2

按照以下步骤即可使用快速风格迁移功能。

文档

训练风格迁移网络

使用 style.py 可以训练新的风格迁移网络。运行 python style.py 即可查看所有可用参数。在 Maxwell Titan X 上，训练大约需要 4–6 小时。更详细的文档请见这里。在运行此脚本之前，请先运行 setup.sh。示例用法：

python style.py --style path/to/style/img.jpg \
  --checkpoint-dir checkpoint/path \
  --test path/to/test/img.jpg \
  --test-dir path/to/test/dir \
  --content-weight 1.5e1 \
  --checkpoint-iterations 1000 \
  --batch-size 20

评估风格迁移网络

使用 evaluate.py 可以评估风格迁移网络。运行 python evaluate.py 即可查看所有可用参数。在 Maxwell Titan X 上，每帧的评估耗时约 100 毫秒（当批次大小为 1 时）。更详细的文档请见这里。在 CPU 上，每帧则需要数秒时间。用于评估的模型可以在此处找到（https://drive.google.com/drive/folders/0B9jhaT37ydSyRk9UX0wwX3BpMzQ?resourcekey=0-Z9LcNHC-BTB4feKwm4loXw&usp=sharing）。示例用法：

python evaluate.py --checkpoint path/to/style/model.ckpt \
  --in-path dir/of/test/imgs/ \
  --out-path dir/for/results/

为视频添加风格

使用 transform_video.py 可以将风格应用到视频中。运行 python transform_video.py 即可查看所有可用参数。此功能需要 ffmpeg。更详细的文档请见这里。示例用法：

python transform_video.py --in-path path/to/input/vid.mp4 \
  --checkpoint path/to/style/model.ckpt \
  --out-path out/video.mp4 \
  --device /gpu:0 \
  --batch-size 4

系统要求

要运行上述内容，您需要：

• TensorFlow 0.11.0
• Python 2.7.9、Pillow 3.4.2、scipy 0.18.1、numpy 1.11.2
• 如果您想进行训练（并且不想等待 4 个月）：
  • 一块性能不错的 GPU
  • 运行 TensorFlow GPU 版本所需的所有 NVIDIA 软件（CUDA 等）
• 如果您想为视频添加风格，则还需要 ffmpeg 3.1.3

引用

  @misc{engstrom2016faststyletransfer,
    author = {Logan Engstrom},
    title = {快速风格迁移},
    year = {2016},
    howpublished = {\url{https://github.com/lengstrom/fast-style-transfer/}},
    note = {commit xxxxxxx}
  }

致谢

• 本项目离不开 Anish Athalye 提供的建议（以及 GPU 使用权限）。
  • 该项目还借鉴了 Anish 的 Neural Style 中的部分代码。
• 部分 README 和文档格式参考了 Justin Johnson 的 Fast Neural Style。
• README 开头的斯塔塔中心图片由 Juan Paulo 拍摄。

相关工作

• Michael Ramos 将该网络移植到 iOS 上，使用 CoreML 实现：自制 Prisma 快速风格迁移应用，结合 CoreML 和 TensorFlow

fast-style-transfer 快速上手指南

fast-style-transfer 是一个基于 TensorFlow 的高效风格迁移工具，能在毫秒级时间内将著名画作的艺术风格应用到照片或视频中。

环境准备

系统要求

• 操作系统: Windows 10 / Linux
• GPU: 推荐 NVIDIA GPU (如 GTX 2080 Ti 或更高)，需支持 CUDA
• CUDA 版本: 11.0 (根据具体显卡驱动调整)
• 驱动版本: 445.75 或更高

前置依赖

• Python 2.7.9 (原文要求，但建议在新环境中使用兼容的 Python 3 版本配合 TensorFlow 2.x)
• TensorFlow 2.1.0 (GPU 版本)
• 其他库：Pillow, scipy, numpy, moviepy, ffmpeg (视频处理必备)

注意：若需进行视频风格化，请确保系统已安装 ffmpeg。

安装步骤

推荐使用 Anaconda 构建隔离的虚拟环境。

1. 安装 Anaconda

访问 Anaconda 官网 下载并安装。 国内用户可考虑使用清华源或中科大源加速后续包下载。

2. 创建并激活虚拟环境

打开终端（Linux/Mac）或 Anaconda Prompt（Windows），依次执行以下命令：

# 创建名为 tf-gpu 的环境并安装 TensorFlow GPU 版
conda create -n tf-gpu tensorflow-gpu=2.1.0

# 激活环境
conda activate tf-gpu

# 安装 Jupyter Lab 用于交互开发
conda install jupyterlab

# 启动 Jupyter Lab
jupyter lab

3. 安装额外依赖

在 Jupyter Notebook 单元格中运行，或直接在终端运行：

pip install moviepy==1.0.2

(可选) 配置国内镜像源加速 pip 安装：

pip install moviepy==1.0.2 -i https://pypi.tuna.tsinghua.edu.cn/simple

4. 初始化项目

在使用训练脚本前，请先运行项目根目录下的设置脚本：

./setup.sh

(Windows 用户若无 bash 环境，请检查 setup.sh 内容手动执行相应操作，或直接跳过此步尝试运行主程序)

基本使用

场景一：评估/应用已有模型（推荐新手）

直接使用预训练模型将风格应用到图片。你需要先下载预训练模型（Google Drive 链接）。

python evaluate.py --checkpoint path/to/style/model.ckpt \
  --in-path dir/of/test/imgs/ \
  --out-path dir/for/results/

• --checkpoint: 预训练模型文件路径 (.ckpt)
• --in-path: 输入图片所在文件夹
• --out-path: 输出结果保存文件夹

注：在 Titan X GPU 上处理单张图片仅需约 100ms。

场景二：训练新的风格模型

如果你想用自己的图片作为风格来源，需要训练新网络。准备一张风格图（如 style.jpg）和一张测试图。

python style.py --style path/to/style/img.jpg \
  --checkpoint-dir checkpoint/path \
  --test path/to/test/img.jpg \
  --test-dir path/to/test/dir \
  --content-weight 1.5e1 \
  --checkpoint-iterations 1000 \
  --batch-size 20

• 训练耗时：在 Maxwell Titan X 上约需 4-6 小时。
• 生成模型后，可使用“场景一”的方法进行推理。

场景三：视频风格化

将风格迁移应用到视频文件（需安装 ffmpeg）。

python transform_video.py --in-path path/to/input/vid.mp4 \
  --checkpoint path/to/style/model.ckpt \
  --out-path out/video.mp4 \
  --device /gpu:0 \
  --batch-size 4