“单图生成说话动漫头像”演示代码

您可能想查看同一软件的更强大版本 2：http://github.com/pkhungurn/talking-head-anime-2-demo

此仓库包含两个应用程序的代码，它们使用了 Talking Head Anime from a Single Image 项目中的神经网络系统：

• 手动姿势调整器 (Manual Poser) 允许用户通过手动操作滑块来摆出动漫角色的姿势。
• 木偶控制器 (Puppeteer) 使动漫角色模仿网络摄像头捕捉的人类头部运动。

在 Google Colab 上尝试手动姿势调整器

如果您没有所需的硬件（下文讨论）或不想下载代码并设置环境来运行它，请点击 以在 Google Colab 上尝试运行手动姿势调整器。

硬件要求

与许多使用 PyTorch 编写的现代机器学习项目一样，这段代码需要较新的且强大的 Nvidia GPU (图形处理器) 才能运行。我本人曾在 Geforce GTX 1080 Ti 和 Titan RTX 上运行过该代码。

此外，puppeteer (木偶控制器) 工具需要一个网络摄像头。

依赖项

• Python >= 3.6
• PyTorch >= 1.4.0
• dlib >= 19.19
• opencv-python >= 4.1.0.30
• pillow >= 7.0.0
• numpy >= 1.17.2

如果您安装了这些包，就应该没问题了。

使用 Anaconda 重建 Python 环境

如果您使用 Anaconda，您还可以选择重建可用于运行演示的 Python 环境。打开 Shell 并将目录更改为项目的根目录。然后，运行以下命令：

conda env create -f environment.yml

这将下载并安装所有依赖项。不过请注意，这需要占用几个 GB 的存储空间。安装完成后，您可以使用以下命令激活新环境：

conda activate talking-head-anime

完成环境使用后，您可以使用以下命令将其停用：

conda deactivate

准备数据

将本仓库克隆到您的机器存储后，您需要下载模型：

• 从 此链接 下载主模型。将文件解压到项目根目录下的 data 目录中。这些模型是单独发布的，遵循 Creative Commons Attribution 4.0 International License。
• 下载 shape_predictor_68_face_landmarks.dat 并将其保存到 data 目录中。您可以从 此处 下载 bzip 归档文件。别忘了解压缩。

下载完成后，数据目录应如下所示：

+ data
  + illust
    - placeholder.txt
    - waifu_00_256.png
    - waifu_01_256.png
    - waifu_02_256.png
    - waifu_03_256.png
    - waifu_04_256.png
  - combiner.pt
  - face_morpher.pt
  - placeholder.txt
  - shape_predictor_68_face_landmarks.dat
  - two_algo_face_rotator.pt

要玩这个演示，您可以使用我包含在 data/illust 中的 5 张图片。或者，您也可以自己准备一些角色图片。可以动画化的图像必须满足以下要求：

• 必须是 PNG 格式。
• 尺寸必须为 256 x 256。
• 角色的头部必须包含在中心 128 x 128 的方框内。
• 必须具有 4 个通道 (RGBA)。
• 不属于角色身体的像素值必须为 (0,0,0,0)。换句话说，背景必须是透明的。

更多详细信息，请参阅项目撰写网页的第 4 节 https://pkhungurn.github.io/talking-head-anime/。您应该将所有图像保存在 data/illust 目录中。获取角色图片的一个好方法是使用 Waifu Labs 生成一张，然后编辑图像以符合上述要求。

运行程序

将目录更改为项目的根目录。要运行手动姿势调整器，请在您的 Shell 中发出以下命令：

python app/manual_poser.py

要运行木偶控制器，请在您的 Shell 中发出以下命令：

python app/puppeteer.py

引用

如果您的学术工作受益于本仓库中的代码，请按以下方式引用项目的网页：

Pramook Khungurn. Talking Head Anime from a Single Image. http://pkhungurn.github.io/talking-head-anime/, 2019. Accessed: YYYY-MM-DD.

您也可以使用以下 BibTeX 条目：

@misc{Khungurn:2019,
    author = {Pramook Khungurn},
    title = {Talking Head Anime from a Single Image},
    howpublished = {\url{http://pkhungurn.github.io/talking-head-anime/}},
    year = 2019,
    note = {Accessed: YYYY-MM-DD},
}

免责声明

虽然作者是日本谷歌的员工，但该软件不是谷歌的产品，也不受谷歌支持。

本软件的版权属于我，因为我是使用 IARC 流程 请求发布的。但是，发布此源代码的条件之一是“单图生成说话动漫头像”的发表需经内部出版审批流程批准。我于 2019/11/17 申请了批准。它已由一名研究人员审查，但尚未在我的产品领域（Google Maps）由经理正式批准。我决定发布此代码，并承担其可能产生的所有风险。

我使用了 KwanHua Lee 实现的面部追踪代码 来实现 puppeteer (木偶控制器) 工具。

talking-head-anime-demo 快速上手指南

本项目用于根据单张图像生成动漫人物的说话或头部运动动画，支持手动摆姿（Manual Poser）和摄像头驱动（Puppeteer）两种模式。

环境准备

硬件要求

• GPU: 需要较新的强力 NVIDIA GPU（如 GeForce GTX 1080 Ti 或 Titan RTX）。
• 摄像头: 若使用 Puppeteer 模式，需连接网络摄像头。
• 替代方案: 若无本地硬件，可通过 Google Colab 在线运行手动摆姿功能。

软件依赖

• Python >= 3.6
• PyTorch >= 1.4.0
• dlib >= 19.19
• opencv-python >= 4.1.0.30
• pillow >= 7.0.0
• numpy >= 1.17.l2

安装步骤

1. 克隆仓库

git clone <repository_url>
cd <project_directory>

2. 创建 Python 环境

推荐使用 Anaconda 管理环境：

conda env create -f environment.yml
conda activate talking-head-anime

3. 下载模型文件

将以下模型文件解压至项目根目录下的 data 文件夹中：

• 主模型: Google Drive 链接
• 人脸关键点模型: dlib 模型链接 (下载 shape_predictor_68_face_landmarks.dat.bz2 并解压)

确保 data 目录结构如下：

+ data
  + illust
    - waifu_*.png (示例图片)
  - combiner.pt
  - face_morpher.pt
  - shape_predictor_68_face_landmarks.dat
  - two_algo_face_rotator.pt

4. 准备角色图片

如需自定义图片，请放入 data/illust 目录，并满足以下要求：

• 格式：PNG
• 尺寸：256 x 256 像素
• 通道：RGBA (4 通道)
• 背景：透明 (非身体区域像素值为 0,0,0,0)
• 构图：角色头部必须位于中心 128 x 128 区域内

基本使用

在激活 talking-head-anime 环境后，进入项目根目录运行以下命令：

启动手动摆姿器

允许通过滑块手动调整动漫角色的姿态：

python app/manual_poser.py

启动 Puppeteer (木偶师)

利用网络摄像头捕捉人脸动作，驱动动漫角色模仿：

python app/puppeteer.py