TensorFlow 中的“神经艺术”

这是 《艺术风格的神经算法》 在 TensorFlow 中的实现，用于：

• 作为 TensorFlow 的入门级、可 hack 的示例；
• 展示如何在 TensorFlow 中导入多种 Caffe CNN 模型（VGG 和 illustration2vec）。

在这项工作中，我尽量使代码尽可能简单，以便作为 TensorFlow 的良好入门示例。因此，我还实现了 TensorBoard（可视化工具）的非常基础用法。此外，我的目标是演示如何将各种 Caffe 模型从 *.caffemodel 文件导入 TensorFlow，尤其是那些据我所知尚未被任何人成功导入到 TensorFlow 中的模型。基于 https://github.com/ethereon/caffe-tensorflow，我对导入器进行了修改，使其能够导入 illustration2vec（http://illustration2vec.net/），这是一种同样以 Caffe 模型形式提供的 CNN。使用不同的 CNN 会产生不同的结果，这反映了各个模型的特点。

在神经艺术问题的设定中，CNN 的权重是固定的，只有输入图像才是“可训练”的变量，这使得代码易于理解（优化后的图像即为输出图像）。我希望这个示例既能作为 TensorFlow 的良好入门，也能带来娱乐效果。

（VGG，默认设置，70 次迭代）

（illustration2vec，宽度=500，beta=10000，100 次迭代）

使用方法

步骤 0：准备 Caffe 模型

首先，下载 VGG 模型或 illustration2vec 模型（.caffemodel），以及对应的 prototxt 文件（.prototxt）：

• VGG：https://gist.github.com/ksimonyan/211839e770f7b538e2d8#file-readme-md
• illustration2vec：http://illustration2vec.net/ （用于标签预测的预训练模型，版本 2.0）

然后，将模型转换为 TensorFlow 可识别的二进制格式：

python ./kaffe/kaffe.py [path.prototxt] [path.caffemodel] [output-path]

请注意，转换过程并不需要安装 Caffe。

本仓库中包含的转换工具（位于 ./kaffe 目录下的所有代码）是对 https://github.com/ethereon/caffe-tensorflow 的一个旧版本进行修改后的产物。该工具经过改进，能够处理 illustration2vec 神经网络。由于较新版本的转换工具在处理旧格式的 Caffe 模型时需要先使用 Caffe 框架进行预处理（截至撰写本文时的情况），因此我保留了基于旧代码的转换工具，它可以直接处理旧格式的 Caffe 模型。

步骤 1：神经艺术

python neural-art-tf.py

直接运行 neural-art-tf.py 不带任何参数时，将使用默认设置和输入图像。可用的命令行选项如下：

• -m, --model：模型类型——使用 vgg 或 i2v
• -mp, --modelpath：模型文件路径——步骤 0 中转换后的 Caffe 模型路径
• -c, --content：内容图像路径
• -s, --style：风格图像路径
• -w, --width：输出图像宽度
• -i, --iters：迭代次数
• -a, --alpha：alpha（内容权重）
• -b, --beta：beta（风格权重）

例如：

python neural-art-tf.py -m vgg -mp ./vgg -c ./images/sd.jpg -s ./images/style.jpg -w 800

可以通过运行以下命令在 TensorBoard 上查看进度：

tensorboard --logdir=/tmp/na-logs

参考文献

• L. A. Gatys 等人，《艺术风格的神经算法》，2015 年，http://arxiv.org/abs/1508.06576

• https://github.com/ethereon/caffe-tensorflow：Caffe 模型转换工具

• https://github.com/mattya/chainer-gogh：Chainer 中的实现，参考了其参数解析器

• https://github.com/anishathalye/neural-style：TensorFlow 中的另一种实现，参考了其中的学习率设置

• ./kaffe/caffepb.py 参考自 https://github.com/ethereon/caffe-tensorflow。

• ./kaffe/kaffe.py、./network.py、./models.py 均为对 https://github.com/ethereon/caffe-tensorflow 原始代码的修改版本。（./models.py 原本名为 vgg.py）

neural-art-tf 快速上手指南

neural-art-tf 是一个基于 TensorFlow 实现的神经风格迁移（Neural Art）工具。它支持导入 Caffe 模型（如 VGG 和 illustration2vec），代码结构简洁，非常适合用于学习 TensorFlow 基础及体验艺术风格生成。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python：建议 Python 3.x
• 核心依赖：
  • TensorFlow (需安装与代码兼容的版本，通常为 TF 1.x，若使用新版 TF 可能需要调整代码)
  • NumPy
  • SciPy
  • Pillow (PIL)
• 可选工具：TensorBoard (通常随 TensorFlow 一起安装，用于可视化训练过程)

提示：国内用户建议使用清华源或阿里源加速 Python 包安装： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow numpy scipy pillow

安装步骤

本项目无需复杂的安装脚本，主要通过克隆仓库和准备模型文件来完成设置。

1. 克隆项目代码

git clone https://github.com/yasuhiko/neural-art-tf.git
cd neural-art-tf

2. 下载并转换 Caffe 模型

工具本身不包含预训练模型，需要手动下载 Caffe 格式的模型（.caffemodel 和 .prototxt），并将其转换为 TensorFlow 可读的二进制格式。

选项 A：VGG 模型 (推荐)

1. 从 VGG Gist 下载 VGG_ILSVRC_19_layers.caffemodel 和对应的 deploy.prototxt。
2. 执行转换命令：

   python ./kaffe/kaffe.py [path/to/deploy.prototxt] [path/to/VGG_ILSVRC_19_layers.caffemodel] ./vgg
   

选项 B：illustration2vec 模型

1. 从 illustration2vec 官网 下载预训练模型（Tag prediction, v2.0）。
2. 执行转换命令：

   python ./kaffe/kaffe.py [path/to/prototxt] [path/to/caffemodel] ./i2v
   

注意：转换过程不需要安装 Caffe 框架，仅需运行项目自带的 kaffe 转换器即可。

基本使用

完成模型准备后，即可运行风格迁移脚本。

最简单的运行示例

使用默认设置（默认使用 VGG 模型及内置的示例图片）直接运行：

python neural-art-tf.py

自定义参数运行

您可以指定内容图、风格图、模型类型及超参数。以下是一个使用 VGG 模型生成 800 宽度输出图的示例：

python neural-art-tf.py -m vgg -mp ./vgg -c ./images/sd.jpg -s ./images/style.jpg -w 800

常用参数说明：

• -m, --model: 模型类型，选择 vgg 或 i2v
• -mp, --modelpath: 步骤 2 中生成的转换后模型路径
• -c, --content: 内容图片路径
• -s, --style: 风格图片路径
• -w, --width: 输出图片宽度
• -i, --iters: 迭代次数 (默认较少，增加可提高质量但耗时更长)
• -a, --alpha: 内容权重
• -b, --beta: 风格权重

查看训练进度

如果需要实时监控损失函数变化或生成过程，可启动 TensorBoard：

tensorboard --logdir=/tmp/na-logs

然后在浏览器中访问显示的地址（通常为 http://localhost:6006）。