深度照片风格迁移-tf

这是一个纯 TensorFlow 实现的 深度照片风格迁移，其 PyTorch 实现可参见 这里。

该实现支持 L-BFGS-B（即原作者所使用的优化器）和 Adam，以应对 TensorFlow 升级到更高版本时 ScipyOptimizerInterface 可能出现的兼容性问题。

得益于 TensorFlow 的 自动微分，此实现显得更为简洁。

此外，由于另一个 仓库 已经计算好了 Matting Laplacian 稀疏矩阵，因此本项目不再依赖 MATLAB。以下是将一张照片的风格迁移到另一张照片的示例：

免责声明

本软件仅用于学术研究和非商业用途。

安装

依赖项

• TensorFlow
• NumPy
• Pillow
• SciPy
• PyCUDA（用于平滑局部仿射变换，已在 CUDA 8.0 上测试过）

建议使用 Anaconda Python，因为只需手动安装 TensorFlow 和 PyCUDA 即可完成配置。CUDA 并非必需，但强烈推荐使用

下载 VGG-19 模型权重

本项目采用的 TensorFlow 版 VGG-19 模型源自 VGG Tensorflow，并对类接口做了一些小修改。VGG-19 模型权重以 .npy 文件形式存储，可从 Google Drive 或 百度网盘 下载。下载后，请将权重文件复制到 ./project/vgg19 目录下。

使用方法

基本用法

您需要指定内容图像路径、风格图像路径、内容图像分割掩码路径、风格图像分割掩码路径，然后运行以下命令：

python deep_photostyle.py --content_image_path <内容图像路径 > --style_image_path < 风格图像路径 > --content_seg_path < 内容分割掩码路径 > --style_seg_path < 风格分割掩码路径 > --style_option 2

示例：

python deep_photostyle.py --content_image_path ./https://oss.gittoolsai.com/images/LouieYang_deep-photo-styletransfer-tf_readme_6ee3806c3f8e.png --style_image_path ./https://oss.gittoolsai.com/images/LouieYang_deep-photo-styletransfer-tf_readme_9a3587d9bbf5.png --content_seg_path ./examples/segmentation/in11.png --style_seg_path ./examples/segmentation/tar11.png --style_option 2

其他选项

--style_option 指定三种不同的风格迁移方式。--style_option 0 会生成类似于 PyTorch 文件 neuralstyle_seg.lua 的分割中间结果；--style_option 1 则利用该中间结果生成最终结果，类似 PyTorch 文件 deepmatting_seg.lua；而 --style_option 2 将这两个步骤合并为一条命令，直接生成最终结果。

--content_weight 指定内容损失的权重（默认值为 5），--style_weight 指定风格损失的权重（默认值为 100），--tv_weight 指定变分损失的权重（默认值为 1e-3），--affine_weight 指定仿射损失的权重（默认值为 1e4）。您可以调整这些权重的值，尝试不同的组合以创作出独特的作品。

--serial 指定用于存储临时结果 out_iter_XXX.png 的文件夹。默认值为 ./。您可以简单地创建一个 result 文件夹，并设置 --serial ./result 来保存这些临时结果。需要注意的是，这些临时结果只是将图像像素值截断到 [0, 255] 范围内，未进行平滑处理。目前，平滑操作需要使用 PyCUDA，而 PyCUDA 在单 GPU 环境下与 TensorFlow 存在冲突。

运行 python deep_photostyle.py --help 可查看所有选项列表。

图像分割

本项目并未提供图像分割脚本，而是直接使用来自 PyTorch 版本 的分割图像。所使用的掩码颜色也与 PyTorch 版本一致。您也可以指定自己的分割模型和掩码颜色，以定制个性化的风格迁移效果。

示例

以下是 TensorFlow 算法生成的更多结果（从左至右依次为输入图像、风格图像、PyTorch 结果和 TensorFlow 结果）：

致谢

• 本工作完成于刘洋在阿里巴巴-浙江大学前沿技术联合研究中心担任研究实习生期间，在宋明利教授和景永成的指导下进行。

• 我们的TensorFlow实现基本遵循了PyTorch代码。

• 我们使用martinbenson的Python代码来计算抠图拉普拉斯算子。

引用

如果您发现此代码对您的研究有所帮助，请引用：

@misc{YangPhotoStyle2017,
  author = {刘洋},
  title = {deep-photo-style-transfer-tf},
  publisher = {GitHub},
  organization={阿里巴巴-浙江大学前沿技术联合研究中心},
  year = {2017},
  howpublished = {\url{https://github.com/LouieYang/deep-photo-styletransfer-tf}}
}

联系方式

如有任何问题，欢迎随时与我联系（刘洋 lyng_95@zju.edu.cn）。

deep-photo-styletransfer-tf 快速上手指南

环境准备

系统要求

• 操作系统：Linux / macOS (Windows 需自行配置 CUDA 环境)
• Python：推荐 Python 3.6+
• GPU：可选，但强烈建议配备 NVIDIA GPU 以加速计算（需安装 CUDA，测试版本为 CUDA 8.0）

前置依赖

本项目依赖以下核心库：

• TensorFlow
• NumPy
• Pillow
• SciPy
• PyCUDA (用于平滑局部仿射变换，若无需此功能或遇到冲突可忽略，但会影响最终平滑效果)

推荐方案：使用 Anaconda 管理环境。国内用户可使用清华源加速安装：

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/

安装步骤

1. 创建并激活虚拟环境（可选但推荐）

   conda create -n photo_style python=3.6
   conda activate photo_style
   

2. 安装基础依赖

   pip install numpy pillow scipy
   # 如果使用国内镜像
   # pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy pillow scipy
   

3. 安装 TensorFlow 根据是否有 GPU 选择安装版本：

   # CPU 版本
   pip install tensorflow==1.x
   # GPU 版本 (需确保已安装对应版本的 CUDA 和 cuDNN)
   pip install tensorflow-gpu==1.x
   

   注：本项目基于 TensorFlow 1.x 开发，建议使用 1.12-1.15 版本以保证 tf.contrib 模块可用。

4. 安装 PyCUDA (可选，用于最佳平滑效果)

   pip install pycuda
   

5. 下载预训练模型权重 下载 VGG-19 模型权重文件 (imagenet-vgg-verydeep-19.npy)。

   • 下载地址：
     • Google Drive
     • 百度网盘 (提取码请参考原项目页面)

   下载完成后，将文件放入项目目录：

   mkdir -p ./project/vgg19
   cp imagenet-vgg-verydeep-19.npy ./project/vgg19/
   

基本使用

使用前请准备好四张图片：

1. 内容图像 (Content Image)
2. 风格图像 (Style Image)
3. 内容图像分割掩码 (Content Segmentation)
4. 风格图像分割掩码 (Style Segmentation) (分割掩码可从原 Torch 项目获取或使用自定义分割模型生成)

运行以下命令进行风格迁移：

python deep_photostyle.py --content_image_path ./examples/input/in11.png --style_image_path ./examples/style/tar11.png --content_seg_path ./examples/segmentation/in11.png --style_seg_path ./examples/segmentation/tar11.png --style_option 2

参数说明

• --style_option 2：一键完成所有步骤并直接生成最终结果（推荐）。
  • 0: 仅生成分割中间结果。
  • 1: 使用中间结果生成最终结果。
• --serial ./result：(可选) 指定临时结果保存文件夹。

生成的最终图片将默认保存在当前目录下。