“说话头（？）——单张图像动漫：现在连身体也动起来”演示代码

本仓库包含【说话头（？）——单张图像动漫：现在连身体也动起来】项目的演示程序。顾名思义，该项目可让您为动漫角色制作动画效果，而您只需一张该角色的单张图像即可完成这一任务。项目中提供了两个演示程序：

• “manual_poser” 可以通过图形用户界面，对角色的面部表情、头部旋转、身体旋转以及因呼吸而产生的胸部扩张进行操控。
• “ifacialmocap_puppeteer” 则可将您的面部动作实时传输至动漫角色。

在 Google Colab 上试用 Manual Poser

如果您没有所需的硬件（详见下文），或者不想下载代码并搭建环境来运行它，请点击【](https://colab.research.google.com/github/pkhungurn/talking-head-anime-3-demo/blob/master/colab.ipynb) ，在 Google Colab 上尝试运行 Manual Poser。

硬件要求

两个程序均需配备最新且性能强劲的 NVIDIA GPU 才能正常运行。我个人曾使用 NVIDIA Titan RTX 以较快的速度完成了这两项任务。不过，我认为诸如 RTX 2080、RTX 3080 或更高规格的高端游戏 GPU 也同样能够胜任。

“ifacialmocap_puppeteer” 需要一台能够基于视频流计算【混合形状参数】（Blend Shapes）的 iOS 设备。这意味着该设备必须支持 iOS 11.0 或更高版本，并且配备 TrueDepth 前置摄像头。（更多详情请参见【此页面】（https://developer.apple.com/documentation/arkit/content_anchors/tracking_and_visualizing_faces）。换句话说，如果您拥有 iPhone X 或更高级别的机型，那么一切就都准备就绪了。我个人曾使用过 iPhone 12 mini。）

软件要求

GPU 相关软件

请更新您的 GPU 设备驱动程序，并安装与您的 GPU 兼容且版本高于下一小节所介绍版本的【CUDA 工具包】。

Python 环境

“manual_poser” 和 “ifacialmocap_puppeteer” 都可以作为桌面应用程序运行。要运行这两个程序，您需要为使用 Python 语言编写的程序搭建一个运行环境。该环境需包含以下软件包：

• Python >= 3.8
• PyTorch >= 1.11.0，支持 CUDA
• SciPy >= 1.7.3
• wxPython >= 4.1.1
• Matplotlib >= 3.5.1

您可以选择通过安装 Anaconda 并在 Shell 中执行以下命令来完成这一操作：

> conda create -n talking-head-anime-3-demo python=3.8
> conda activate talking-head-anime-3-demo
> conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch
> conda install scipy
> pip install wxpython
> conda install matplotlib

注意事项 1：切勿在 Windows 上使用 Python 3.10

截至 2006 年 6 月，您无法在 Windows 上使用 wxPython 与 Python 3.10 一起运行。因此，在【此问题】（https://github.com/wxWidgets/Phoenix/issues/2024）得到修复之前，请勿使用 Python 3.10。也就是说，您不应在上述第一个 conda 命令中指定 python=3.10。

注意事项 2：根据实际需求调整 Python 和 CUDA 工具包的版本

上述命令所创建的环境将为您提供 Python 3.8 版本，并安装了经过 CUDA 工具包 11.3 编译的 PyTorch。然而，由于未来您可能会发现，特定的 PyTorch 包可能无法与您的新电脑兼容，因此这种配置未必能长期稳定运行。解决办法是：

1. 将第一个命令中的 Python 版本更改为适合您操作系统的新版本。（也就是说，如果您使用的是 Windows，请勿使用 3.10。）
2. 将第三个命令中的 CUDA 工具包版本更改为 PyTorch 官方网站上所列的可用版本。具体而言，滚动到“安装 PyTorch”部分，利用页面上的选择器，为您的电脑选择合适的安装命令。请使用该命令来安装 PyTorch，而非上述第三个命令。

Jupyter 环境

“manual_poser” 也可作为 Jupyter Notebook 运行。要在本地机器上运行它，您还需要安装：

• Jupyter Notebook >= 7.3.4
• IPywidgets >= 7.7.0

在某些情况下，您还需启用“widgetsnbextension”。因此，请运行：

> jupyter nbextension enable --py widgetsnbextension

在安装完上述两个软件包后，我使用 Anaconda 通过以下命令完成了上述操作：

> conda install -c conda-forge notebook
> conda install -c conda-forge ipywidgets
> jupyter nbextension enable --py widgetsnbextension

使用 Anaconda 自动构建环境

您也可以通过 Anaconda 一次性下载并安装所有 Python 包。打开您的 Shell，将工作目录切换至您克隆仓库的路径，然后运行：

> conda env create -f environment.yml

这将创建一个名为 “talking-head-anime-3-demo”的环境，其中包含所有必需的 Python 包。

iFacialMocap

如果您想使用 “ifacialmocap_puppeteer”，则还需要一款名为 iFacialMocap 的 iOS 软件（在 App Store 中购买价格为 980 日元）。本次无需下载配套的应用程序。您的 iOS 设备与您的电脑必须使用相同的网络，例如，您可以将它们连接到同一个无线路由器。

下载模型

在运行程序之前，您需要从以下 Dropbox 链接 下载模型文件，并将其解压至仓库根目录下的 data/models 文件夹中。最终，数据文件夹应如下所示：

+ data
  + images
    - crypko_00.png
    - crypko_01.png
        :
    - crypko_07.png
    - lambda_00.png
    - lambda_01.png
  + models
    + separable_float
      - editor.pt
      - eyebrow_decomposer.pt
      - eyebrow_morphing_combiner.pt
      - face_morpher.pt
      - two_algo_face_body_rotator.pt
    + separable_half
      - editor.pt
          :
      - two_algo_face_body_rotator.pt
    + standard_float
      - editor.pt
          :
      - two_algo_face_body_rotator.pt
    + standard_half
      - editor.pt
          :
      - two_algo_face_body_rotator.pt

这些模型文件采用 知识共享署名 4.0 国际许可协议 进行分发，这意味着您可以将这些模型用于商业目的。不过，在进行分发时，您必须在其他条款中明确指出：我才是这些模型的创作者。

运行 manual_poser 桌面应用程序

打开一个终端窗口，将工作目录切换至仓库的根目录。然后，运行以下命令：

> python tha3/app/manual_poser.py

请注意，在执行上述命令之前，您可能需要先激活包含所需软件包的 Python 环境。如果您使用了如上文所述的 Anaconda 创建了环境，则需运行：

> conda activate talking-head-anime-3-demo

如果尚未激活该环境，请务必执行此操作。

选择要使用的系统变体

正如 项目说明文档 中所提到的，我开发了四种神经网络系统的变体，分别命名为“standard_float”、“separable_float”、“standard_half”和“separable_half”。这四种变体功能完全相同，但在大小、内存占用、速度以及精度等方面存在差异。您可以通过命令行选项 --model 来指定 manual_poser 程序应使用哪种变体。

> python tha3/app/manual_poser --model <variant_name>

其中 <variant_name> 必须是上述四种变体之一。若未指定变体，系统将默认使用“standard_float”变体（该变体体积最大、速度最慢且精度最高）。

运行 manual_poser Jupyter Notebook

打开一个终端窗口，激活所需的 Python 环境，并将工作目录切换至仓库的根目录。然后，运行以下命令：

> jupyter notebook

浏览器窗口将会打开。在浏览器中，打开 manual_poser.ipynb 文件。完成操作后，您会发现该文件包含两个单元格。请按顺序运行这两个单元格。随后，向下滚动至文档末尾，您便可在其中看到图形用户界面。

您可以通过修改第一个单元格中的 MODEL_NAME 变量来选择要使用的系统变体。若已更改变量值，您需要重新运行这两个单元格，以便正确加载新变体并更新 GUI 以使用该变体。

运行 ifacialmocap_poser

首先，在您的 iOS 设备上运行 iFacialMocap。该应用会显示设备的 IP 地址，请将其记录下来，并保持应用处于开启状态。

打开一个终端窗口，激活 Python 环境，并将工作目录切换至仓库的根目录。然后，运行以下命令：

> python tha3/app/ifacialmocap_puppeteer.py

您将看到一个标签为“Capture Device IP”的文本框。请在此处输入您先前记录下来的 iOS 设备 IP 地址。

点击右侧的“START CAPTURE!”按钮。

如果程序连接正常，当您移动头部时，窗口底部的数字会随之变化。

现在，您可以加载一张角色的图像，它将跟随您的面部动作进行动态调整。

输入图像的限制条件

为了确保系统能够良好运行，输入图像必须满足以下要求：

• 图像分辨率应为 512 x 512。（如果演示程序接收任何其他尺寸的输入图像，它们会将图像缩放至此分辨率，并同样以该分辨率输出。）
• 图像必须包含 Alpha 通道。
• 图像中只能出现一个人形角色。
• 角色应站立直立，面向前方。
• 角色的手部应位于头部下方且远离头部。
• 角色的头部应大致位于图像上半部分中间的 128 x 128 区域内。
• 所有不属于角色的像素（即背景像素）的 Alpha 通道必须为 0。

有关输入图像的更多详细信息，请参阅项目的 说明文档。

引用

若您的学术研究受益于本仓库中的代码，请按照以下方式引用该项目的网页：

Pramook Khungurn. 《单张图像生成的“说话头”？动漫 3：现在连身体也来了》 http://pkhungurn.github.io/talking-head-anime-3/，2022年。访问日期：YYYY-MM-DD。

您也可以使用以下 BibTeX 条目：

@misc{Khungurn:2022,
    author = {Pramook Khungurn},
    title = {《单张图像生成的“说话头”？动漫 3：现在连身体也来了》},
    howpublished = {\url{http://pkhungurn.github.io/talking-head-anime-3/}},
    year = 2022,
    note = {访问日期：YYYY-MM-DD},
}

免责声明

尽管作者是 [Google 日本]（https://careers.google.com/locations/tokyo/）的员工，但本软件并非 Google 的产品，也不受 Google 的支持。

本软件的版权归我所有，因为我已通过 IARC 流程 提出了该软件的申请。然而，Google 或许仍可能主张对这项发明的知识产权拥有权利。

本代码采用 MIT 许可证 发布。模型则依据 知识共享署名 4.0 国际许可协议 进行发布。有关图片的许可信息，请参阅 data/images 目录下的 README.md 文件。

talking-head-anime-3-demo 快速上手指南

本项目允许用户仅通过单张动漫角色图片，即可生成包含面部表情、头部转动及身体呼吸动作的动画。提供两种演示模式：手动控制器 (manual_poser) 和 面部捕捉驱动 (ifacialmocap_puppeteer)。

1. 环境准备

硬件要求

• GPU: 需要高性能 NVIDIA 显卡（推荐 RTX 2080, RTX 3080 或更高版本）。
• iOS 设备 (仅面部捕捉模式需要): 支持 iOS 11.0+ 且配备原深感摄像头 (TrueDepth) 的设备（如 iPhone X 及以上），用于运行 iFacialMocap 应用。

软件依赖

• 操作系统: Windows / Linux / macOS
• Python: >= 3.8 (注意: Windows 用户请勿使用 Python 3.10，因 wxPython 兼容性问题)
• CUDA Toolkit: 需与显卡驱动及 PyTorch 版本匹配
• 核心库: PyTorch (>=1.11.0), SciPy, wxPython, Matplotlib
• Jupyter 环境 (可选): 若使用 Notebook 模式，需安装 Jupyter Notebook 和 IPywidgets

2. 安装步骤

第一步：创建 Conda 环境

推荐使用 Anaconda 或 Miniconda 管理环境。以下命令将创建名为 talking-head-anime-3-demo 的环境并安装基础依赖（已适配国内网络情况的通用安装命令）：

conda create -n talking-head-anime-3-demo python=3.8
conda activate talking-head-anime-3-demo

第二步：安装 PyTorch 及其他依赖

请根据官方指引选择适合你 CUDA 版本的安装命令。以下为基于 CUDA 11.3 的示例（国内用户若下载缓慢，可配置清华源或中科大源）：

# 安装 PyTorch (示例为 CUDA 11.3，请根据实际情况调整)
conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch

# 安装其他必要库
conda install scipy
pip install wxpython
conda install matplotlib

提示: 若需一键安装所有依赖，可在项目根目录运行：

conda env create -f environment.yml

第三步：下载模型文件

从 Dropbox 链接 下载模型压缩包，解压后将文件夹置于项目根目录的 data/models 下。

最终目录结构应如下所示：

+ data
  + images
    - crypko_00.png
    ...
  + models
    + separable_float
      - editor.pt
      ...
    + standard_float
      - editor.pt
      ...
    (其他变体文件夹)

第四步：配置面部捕捉 (可选)

若使用 ifacialmocap_puppeteer 功能：

1. 在 iOS 设备上购买并安装 iFacialMocap App。
2. 确保手机与电脑连接至同一局域网。
3. 打开 App 并保持运行，记录显示的 IP 地址。

3. 基本使用

模式一：手动控制器 (Desktop GUI)

通过图形界面手动调整角色的表情、头部角度和呼吸幅度。

1. 激活环境：

   conda activate talking-head-anime-3-demo
   

2. 启动程序（默认使用精度最高但速度较慢的 standard_float 模型）：

   python tha3/app/manual_poser.py
   

3. 指定模型变体（可选）： 若需提升速度，可选择其他变体（separable_float, standard_half, separable_half）：

   python tha3/app/manual_poser.py --model separable_half
   

模式二：Jupyter Notebook 交互

偏好浏览器操作的用户可使用 Notebook 模式：

1. 启动 Jupyter：

   jupyter notebook
   

2. 在浏览器中打开 manual_poser.ipynb。
3. 依次运行单元格，界面底部将出现控制 GUI。
4. 如需切换模型，修改第一个单元格中的 MODEL_NAME 变量并重新运行所有单元格。

模式三：面部捕捉驱动 (需 iOS 设备)

将真实面部动作实时映射到动漫角色上。

1. 启动程序：

   python tha3/app/ifacialmocap_puppeteer.py
   

2. 在弹出的窗口中，于 "Capture Device IP" 输入框填入 iOS 设备的 IP 地址。
3. 点击 "START CAPTURE!" 按钮。
4. 观察窗口下方数值是否随头部移动而变化，确认连接成功后加载角色图片即可开始驱动。

---

输入图片规范

为确保最佳效果，输入图片需满足以下条件：

• 分辨率: 512 x 512 (非此尺寸会自动缩放)。
• 格式: 必须包含 Alpha 通道 (透明背景)。
• 内容: 仅包含一个正面站立的人形角色。
• 姿态: 手部需位于头部下方且远离头部；头部应大致位于图像上半部分中央的 128x128 区域内。
• 背景: 非角色像素的 Alpha 值必须为 0。