TensorFlow.js 中的任意风格迁移

此仓库包含一个完全在浏览器中使用 TensorFlow.js 运行的任意风格迁移实现。

演示网站：https://reiinakano.github.io/arbitrary-image-stylization-tfjs

更多详情的博客文章：https://magenta.tensorflow.org/blog/2018/12/20/style-transfer-js/

对图像进行风格化

组合风格

常见问题解答

这是什么？

这是一个纯浏览器端、基于 TensorFlow.js 的任意风格迁移算法实现。与所有神经风格迁移算法一样，该算法利用神经网络尝试以一张图片（通常是绘画作品）的风格来“绘制”另一张图片（通常是照片），即内容图。

尽管已经存在其他浏览器端的风格迁移实现（例如 reiinakano/fast-style-transfer-deeplearnjs），但这些实现通常仅限于少数预选的风格，因为每种风格都需要单独训练一个对应的神经网络模型。

而任意风格迁移则通过引入一个独立的“风格网络”，它可以将任意图像分解为一个表示其风格的 100 维向量，从而绕过了这一限制。随后，这个风格向量会与内容图像一起输入到另一个称为“转换网络”的模型中，最终生成风格化的输出图像。

我撰写了一篇博客文章，详细介绍了该项目的原理和实现细节。

我的数据安全吗？你们能看到我的图片吗？

您的数据和图片在此过程中始终不会离开您的设备！事实上，这正是在浏览器中运行神经网络的主要优势之一。我们不会接收您的数据，而是将模型和运行代码直接发送给您，由您的浏览器本地执行。

这些不同的模型分别是什么？

原始论文使用 Inception-v3 模型作为风格网络，将其移植到浏览器中后，作为一个 FrozenModel 大约占用 36.3MB 的存储空间。

为了减小模型体积，我们采用了 MobileNet-v2 模型对预训练的 Inception-v3 风格网络进行知识蒸馏。这样做的结果是模型大小减少了近四倍，从约 36.3MB 降至约 9.6MB，不过也牺牲了一部分质量。

对于转换网络，原始论文使用的是基于普通卷积层的模型。将其移植到浏览器后，该模型占用 7.9MB，并且在风格化过程中承担了大部分计算任务。

为了提高转换网络的效率，我们将大部分普通卷积层替换为深度可分离卷积。这使得模型大小进一步缩减至 2.4MB，同时显著提升了风格化的速度。

本演示允许您自由组合不同类型的模型，默认使用 MobileNet-v2 风格网络和基于深度可分离卷积的转换网络。

我下载的模型有多大？

经过蒸馏后的风格网络大约为 9.6MB，而基于深度可分离卷积的转换网络约为 2.4MB，两者合计约 12MB。由于这些模型适用于任何风格，您只需下载一次即可！

风格组合是如何工作的？

由于每个风格都可以被风格网络映射为一个 100 维的风格向量，因此我们只需对两个风格向量取加权平均，即可得到一个新的风格向量，用于输入到转换网络中。

这也是我们能够控制风格化强度的方式：通过对内容图像和风格图像的风格向量进行加权平均，然后将结果作为转换网络的输入。

本地开发运行

该项目使用 Yarn 管理依赖。

要本地运行该项目，您需要先安装 Yarn，然后在仓库根目录下运行以下命令以安装所有依赖：

yarn run prep

接着，您可以运行：

yarn run start

之后，您可以通过访问 localhost:9966 来查看应用程序。

致谢

本演示的实现离不开以下各方的支持：

• 任意风格迁移 论文的作者团队。
• Magenta 项目组提供的任意风格迁移实现。
• MobileNet-v2 论文的作者团队。
• 描述神经网络知识蒸馏的论文作者团队。
• TensorFlow.js 库。
• Google Colaboratory，借助它我得以免费使用 GPU 完成所有必要的训练。

最后，如果有人对开发一套用于艺术化图像处理的工具感兴趣——类似于 Magenta Studio，但专门针对图像——欢迎与我联系！无论您是计划构建还是正在构建这样的工具，我都非常期待与您交流！

arbitrary-image-stylization-tfjs 快速上手指南

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Windows、macOS 或 Linux。
• Node.js：建议安装 LTS 版本（长期支持版）。
• 包管理器：本项目强制依赖 Yarn。如果尚未安装，请先通过 npm 全局安装：

  npm install -g yarn
  

  国内加速提示：若下载依赖缓慢，可配置 Yarn 使用淘宝镜像源：

  yarn config set registry https://registry.npmmirror.com
  

安装步骤

克隆项目仓库并安装依赖：

1. 克隆代码库到本地：

   git clone https://github.com/reiinakano/arbitrary-image-stylization-tfjs.git
   cd arbitrary-image-stylization-tfjs
   

2. 安装项目所需依赖：

   yarn run prep
   

基本使用

完成依赖安装后，即可启动本地开发服务器进行体验：

1. 启动服务：

   yarn run start
   

2. 在浏览器中访问： 打开浏览器并导航至 http://localhost:9966。

3. 功能操作：

   • 风格迁移：上传一张内容图片（Content，如照片）和一张风格图片（Style，如画作），系统将自动在浏览器端生成融合风格的图像。
   • 风格混合：您可以同时选择多张风格图片，系统会通过计算风格向量的加权平均值来创造全新的混合风格。
   • 强度调节：界面提供滑块以调整风格化的强度。

注意：所有图像处理均在您的浏览器本地完成，图片数据不会上传至任何服务器。首次加载时会自动下载模型文件（总计约 12MB），后续无需重复下载。