LIA：潜在图像动画器

王耀辉、杨迪、弗朗索瓦·布雷蒙、安蒂察·丹切娃

项目页面 | 论文

这是 ICLR 2022 论文“潜在图像动画器：通过潜在空间导航学习图像动画”和 TPAMI 2024 论文“LIA：潜在图像动画器”的官方 PyTorch 实现。

摘要：得益于深度生成模型的显著进步，图像动画变得越来越高效，生成结果也愈发逼真。当前的动画方法通常利用从驱动视频中提取的结构表示来实现这一目标。这种结构表示在将运动从驱动视频迁移到静态图像方面起到了关键作用。然而，当源图像与驱动视频之间存在较大的外观差异时，这些方法往往失效。此外，结构信息的提取还需要额外的模块，这进一步增加了模型的复杂性。与此不同，我们提出了潜在图像动画器（LIA），这是一种自监督的自编码器，无需依赖结构表示。LIA 通过在潜在空间中进行线性导航来实现图像动画。具体而言，生成视频中的运动是通过潜在空间中编码的线性位移构建的。为此，我们同时学习一组正交的运动方向，并利用它们的线性组合来表示潜在空间中的任意位移。大量的定量和定性分析表明，在 VoxCeleb、Taichi 和 TED-talk 数据集上，我们的模型在生成质量方面系统性地显著优于现有最先进方法。

环境要求

• Python 3.7
• PyTorch 1.5+
• tensorboard
• moviepy
• av
• tqdm
• lpips

1. 动画演示

从 这里 下载预训练检查点，并将模型文件放入 ./checkpoints 目录下。我们在 ./data 中提供了若干示例源图像和驱动视频。运行以下命令即可生成演示结果，结果将保存在 ./res 目录下：

python run_demo.py --model vox --source_path ./data/vox/macron.png --driving_path ./data/vox/driving1.mp4 # 使用 vox 模型
python run_demo.py --model taichi --source_path ./data/taichi/subject1.png --driving_path ./data/taichi/driving1.mp4 # 使用 taichi 模型
python run_demo.py --model ted --source_path ./data/ted/subject1.png --driving_path ./data/ted/driving1.mp4 # 使用 ted 模型

如果您想使用自己的图像和视频，请指定 <SOURCE_PATH>（源图像）、<DRIVING_PATH>（驱动视频）以及 <DATASET>，然后运行：

python run_demo.py --model <DATASET> --source_path <SOURCE_PATH> --driving_path <DRIVING_PATH>

2. 评估

要获得重建效果和 LPIPS 结果，请将检查点放入 ./checkpoints 目录下，然后运行：

python evaluation.py --dataset <DATASET> --save_path <SAVE_PATH>

生成的视频将保存在 <SAVE_PATH> 目录下。对于其他评估指标，我们使用了 此处 的代码。

3. 线性操控

要对单张图像进行线性操控并生成结果，请运行：

python linear_manipulation.py --model <DATASET> --img_path <IMAGE_PATH> --save_folder <RESULTS_PATH>

默认情况下，结果将保存在 ./res_manipulation 目录下。

致谢

部分代码改编自 FOMM 和 MRAA。感谢作者们为社区所做的贡献。

BibTex

@inproceedings{
wang2022latent,
title={Latent Image Animator: Learning to Animate Images via Latent Space Navigation},
author={Yaohui Wang and Di Yang and Francois Bremond and Antitza Dantcheva},
booktitle={International Conference on Learning Representations},
year={2022}
}

@ARTICLE{10645735,
  author={Wang, Yaohui and Yang, Di and Bremond, Francois and Dantcheva, Antitza},
  journal={IEEE Transactions on Pattern Analysis and Machine Intelligence}, 
  title={LIA: Latent Image Animator}, 
  year={2024},
  pages={1-16},
}

LIA (Latent Image Animator) 快速上手指南

LIA 是一个基于自监督自编码器的图像动画工具，无需提取结构表示，仅通过潜在空间的线性导航即可让静态图像动起来。该项目支持 VoxCeleb、Taichi 和 TED-talk 等数据集模型。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux / macOS / Windows (推荐 Linux)
• Python: 3.7+
• PyTorch: 1.5+ (建议安装与 CUDA 版本匹配的 GPU 版本)
• 其他依赖:
  • tensorboard
  • moviepy
  • av
  • tqdm
  • lpips

国内加速建议： 推荐使用清华或阿里镜像源安装 Python 依赖，以加快下载速度：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库

   git clone https://github.com/wyhsirius/LIA-project.git
   cd LIA-project
   

2. 安装依赖 创建 requirements.txt 文件（如果项目中未直接提供），内容如下：

   torch>=1.5
   tensorboard
   moviepy
   av
   tqdm
   lpips
   

   然后执行安装命令：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 下载预训练模型 从 Google Drive 下载预训练检查点，并将其放入项目根目录下的 ./checkpoints 文件夹中。

   注：若无法访问 Google Drive，需自行寻找国内网盘搬运资源或联系作者获取。

4. 准备数据 项目已包含部分演示用的源图片和驱动视频，位于 ./data 目录下。如需使用自定义素材，请准备好源图片（.png/.jpg）和驱动视频（.mp4）。

基本使用

以下是最简单的动画生成示例，将使用预训练模型让一张静态图片根据驱动视频的动作进行动画化。

运行演示 Demo

使用项目自带的测试数据运行（以 VoxCeleb 模型为例）：

python run_demo.py --model vox --source_path ./data/vox/macron.png --driving_path ./data/vox/driving1.mp4

生成的结果视频将保存在 ./res 目录下。

使用自定义图片与视频

如果您想使用自己的素材，请替换路径参数并指定对应的数据集模型类型（vox, taichi, 或 ted）：

python run_demo.py --model <DATASET> --source_path <SOURCE_PATH> --driving_path <DRIVING_PATH>

示例：

python run_demo.py --model taichi --source_path ./my_images/person.png --driving_path ./my_videos/dance.mp4

单图线性操控（可选）

如果您只想对单张图片进行潜在空间的线性变换（如改变表情、姿态等），可运行：

python linear_manipulation.py --model <DATASET> --img_path <IMAGE_PATH> --save_folder <RESULTS_PATH>

默认结果保存于 ./res_manipulation。