PyTorch-风格迁移

本仓库提供了 MSG-Net（我们的方法） 和 神经风格迁移（Gatys 等人，CVPR 2016） 的 PyTorch 实现，这些实现已被 ModelDepot 收录。我们还提供了 Torch 实现 和 MXNet 实现。

目录

• 使用 MSG-Net 进行实时风格迁移
  • 使用预训练模型对图像进行风格化
  • 训练您自己的 MSG-Net 模型
• 慢速神经风格迁移

MSG-Net

用于实时迁移的多风格生成网络 [arXiv] [项目] 张航, 克里斯汀·达纳 @article{zhang2017multistyle, title={Multi-style Generative Network for Real-time Transfer}, author={Zhang, Hang and Dana, Kristin}, journal={arXiv preprint arXiv:1703.06953}, year={2017} }

使用预训练的 MSG-Net 对图像进行风格化

0. 下载预训练模型

   git clone git@github.com:zhanghang1989/PyTorch-Style-Transfer.git
   cd PyTorch-Style-Transfer/experiments
   bash models/download_model.sh
   

1. 相机演示

   python camera_demo.py demo --model models/21styles.model
   

   
2. 测试模型

   python main.py eval --content-image images/content/venice-boat.jpg --style-image images/21styles/candy.jpg --model models/21styles.model --content-size 1024
   

• 如果您没有 GPU，只需将 --cuda 设置为 0。对于不同的风格，设置 --style-image path/to/style。如果您想对自己的照片进行风格化，请更改 --content-image path/to/your/photo。更多选项：

  • --content-image: 您想要风格化的内容图像路径。
  • --style-image: 风格图像路径（通常在训练过程中使用）。
  • --model: 用于风格化图像的预训练模型路径。
  • --output-image: 保存输出图像的路径。
  • --content-size: 用于测试的内容图像尺寸。
  • --cuda: 设置为 1 表示在 GPU 上运行，0 表示在 CPU 上运行。

训练您自己的 MSG-Net 模型

0. 下载 COCO 数据集

   bash dataset/download_dataset.sh
   

1. 训练模型

   python main.py train --epochs 4
   

• 如果您想自定义风格，可以设置 --style-folder path/to/your/styles。更多选项：
  • --style-folder: 风格图像文件夹的路径。
  • --vgg-model-dir: VGG 模型将被下载到的文件夹路径。
  • --save-model-dir: 训练好的模型将被保存到的文件夹路径。
  • --cuda: 设置为 1 表示在 GPU 上运行，0 表示在 CPU 上运行。

神经风格迁移

使用卷积神经网络进行图像风格迁移 由 Leon A. Gatys、Alexander S. Ecker 和 Matthias Bethge 撰写。

python main.py optim --content-image images/content/venice-boat.jpg --style-image images/21styles/candy.jpg

• --content-image: 内容图像的路径。
• --style-image: 风格图像的路径。
• --output-image: 保存输出图像的路径。
• --content-size: 用于测试的内容图像尺寸。
• --style-size: 用于测试的风格图像尺寸。
• --cuda: 设置为 1 表示在 GPU 上运行，0 表示在 CPU 上运行。

致谢

该代码受益于许多杰出的先前工作及其实现，包括：

• 纹理网络：纹理和风格化图像的前馈合成 由 Ulyanov 等人在 ICML 2016 上提出。（代码）
• 用于实时风格迁移和超分辨率的感知损失 由 Johnson 等人在 ECCV 2016 上提出（代码），以及其 PyTorch 实现 代码 由 Abhishek 提供。
• 使用卷积神经网络进行图像风格迁移 由 Gatys 等人在 CVPR 2016 上提出，以及其 Torch 实现 代码 由 Johnson 提供。

PyTorch-Multi-Style-Transfer 快速上手指南

本指南基于 PyTorch-Style-Transfer 仓库，帮助您快速体验实时多风格迁移（MSG-Net）及经典神经风格迁移（Neural Style）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux 或 macOS（Windows 用户建议使用 WSL2 或 Docker）
• Python：Python 3.6+
• 深度学习框架：PyTorch (建议安装支持 CUDA 的版本以加速推理)
• 依赖库：

  pip install torch torchvision numpy pillow scipy
  

• 硬件建议：虽然支持 CPU 运行，但为了获得实时的风格迁移效果，强烈建议使用 NVIDIA GPU。

安装步骤

1. 克隆项目代码

   git clone git@github.com:zhanghang1989/PyTorch-Style-Transfer.git
   cd PyTorch-Style-Transfer
   

2. 下载预训练模型 进入实验目录并执行下载脚本，获取包含 21 种风格的预训练 MSG-Net 模型：

   cd experiments
   bash models/download_model.sh
   

   提示：如果下载速度较慢，可手动访问仓库释放页下载 21styles.model 文件并放入 models/ 目录。

3. 准备数据集（仅训练时需要） 如果您打算从头训练模型，需先下载 COCO 数据集：

   bash dataset/download_dataset.sh
   

基本使用

本项目提供两种主要模式：实时风格迁移 (MSG-Net) 和 慢速神经风格优化 (Neural Style)。

1. 实时风格迁移 (MSG-Net)

这是推荐的使用方式，速度快，适合处理图片或视频流。

• 测试单张图片 将内容图片 venice-boat.jpg 转换为 candy 风格：

  python main.py eval --content-image images/content/venice-boat.jpg --style-image images/21styles/candy.jpg --model models/21styles.model --content-size 1024
  

  • 若无 GPU，添加参数 --cuda 0。
  • 更换风格：修改 --style-image 路径指向 images/21styles/ 下的其他图片。
  • 处理自己的照片：修改 --content-image 路径。

• 摄像头实时演示 调用摄像头进行实时风格化（需要 webcam 权限）：

  python camera_demo.py demo --model models/21styles.model
  

2. 训练自定义模型

如果您想使用特定的艺术风格训练自己的模型：

python main.py train --epochs 4 --style-folder path/to/your/styles

• --style-folder: 存放您自定义风格图片的文件夹路径。
• --epochs: 训练轮数，默认示例为 4 轮。
• 生成的模型将保存在 --save-model-dir 指定的目录中。

3. 经典神经风格迁移 (Neural Style)

基于 Gatys et al. (CVPR 2016) 的方法，通过迭代优化生成高质量但速度较慢的风格图：

python main.py optim --content-image images/content/venice-boat.jpg --style-image images/21styles/candy.jpg

• 该方法无需预训练模型，直接通过优化像素生成结果。
• 可通过 --content-size 和 --style-size 分别调整内容和风格图的分辨率。