新闻

欢迎各位贡献者！请随时提交拉取请求！

• [2024/10] 欢迎在 Hugging Face Space 上试用我们的 [TANGO](<(https://huggingface.co/spaces/H-Liu1997/TANGO)!)！
• [2024/10] 手势图生成代码现已可用。
• [2024/10] 视频数据下载链接 Google Drive（show-oliver 和 harward business）

结果视频

演示视频（在 YouTube 上）

📝 发布计划

• AuMoClip 的训练代码
• 处理后的 YouTube 商业视频数据（非常小，约 15 分钟）
• 手势图生成脚本
• 带有 AuMoClip 和预训练权重的推理代码

⚒️ 安装

克隆仓库

git clone https://github.com/CyberAgentAILab/TANGO.git
cd TANGO

构建环境

对于推理和 CLIP 部分的训练，我们推荐使用 Python 版本 ==3.10.16 和 CUDA 版本 ==11.8。目前 Hugging Face Space 版本为 py310 版本：

# [可选] 创建虚拟环境
conda create -n tango_py310 python==3.10.16
conda activate tango_py310
# 使用 pip 安装：
python -m pip install -r ./pre-requirements.txt
python -m pip install -r ./requirements.txt

🚀 训练与推理

推理

以下是运行 <your root>/TANGO/ 路径下推理脚本的命令，大约需要 3 分钟生成两个 8 秒的视频。您可以通过直接查看视频或使用我们在 EMAGE 中提供的 Blender 插件，通过 Blender 查看 .npz 格式的输出结果。

必要的检查点和预计算图将在首次运行时自动下载。请确保至少有 10GB 的磁盘空间可用。

# 推理 
python inference.py --audio_path ./datasets/cached_audio/example_male_voice_9_seconds.wav --character_name ./datasets/cached_audio/speaker9_o7Ik1OB4TaE_00-00-38.15_00-00-42.33.mp4

# 启动类似于 Hugging Face Space 的 Gradio 应用程序
python app.py

训练 JointEmbedding (CLIP)

# 从 https://drive.google.com/file/d/11ZQI8mB7mP8OtlIdcjtxKvg7OxVZ4t7d/view?usp=drive_link 下载训练数据

torchrun --nproc_per_node=1 train_high_env0.py --config ./configs/baseline_high_env0.yaml

为自定义角色创建图

为了构建运动图，我们建议使用 Python 版本 ==3.9.20 和 CUDA 版本 ==11.8，以支持 mmcv 和 mmpose。

# [可选] 创建虚拟环境
conda create -n tango_py39 python==3.9.20
conda activate tango_py39
# 使用 pip 安装：
python -m pip install -r ./pre-requirements_py39.txt
python -m pip install -r ./requirements_py39.txt

# 设置 py39 环境
python create_graph.py

版权信息

我们感谢开源项目 Wav2Lip、FiLM 和 SMPLerX。

请查看我们之前关于共言语 3D 运动生成的工作：DisCo、BEAT、EMAGE。

本项目仅用于研究或教育目的，不得用于商业用途或重新分发。该脚本仅根据 署名-非商业性使用 4.0 国际（CC BY-NC 4.0）许可协议提供。

TANGO 快速上手指南

TANGO 是一个基于分层音频 - 运动嵌入和扩散插值的共语音手势视频重演工具。本指南将帮助你快速在本地部署并运行推理。

1. 环境准备

在开始之前，请确保你的系统满足以下要求：

• 操作系统: Linux (推荐)
• Python 版本: 3.10.16 (用于推理和训练 CLIP 部分)
• CUDA 版本: 11.8
• 磁盘空间: 至少预留 10GB 空间（首次运行时会自动下载检查点和预计算图）
• 硬件: 支持 CUDA 的 NVIDIA GPU

注意：如果你需要为自定义角色构建运动图（Motion Graph），则需要单独创建一个 Python 3.9.20 的环境以支持 mmcv 和 mmpose。本指南主要聚焦于核心的推理功能。

2. 安装步骤

2.1 克隆仓库

git clone https://github.com/CyberAgentAILab/TANGO.git
cd TANGO

2.2 创建虚拟环境并安装依赖

推荐使用 Conda 创建隔离环境，以确保依赖版本一致。

# 创建名为 tango_py310 的虚拟环境，指定 Python 版本
conda create -n tango_py310 python==3.10.16
conda activate tango_py310

# 安装前置依赖
python -m pip install -r ./pre-requirements.txt

# 安装项目依赖
# 提示：国内用户可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 加速下载
python -m pip install -r ./requirements.txt

3. 基本使用

安装完成后，你可以直接运行推理脚本或启动 Web 界面。首次运行时，程序会自动下载必要的模型权重和预计算数据。

3.1 命令行推理

以下命令将使用示例音频和角色视频生成两个时长约 8 秒的手势视频（耗时约 3 分钟）。

python inference.py --audio_path ./datasets/cached_audio/example_male_voice_9_seconds.wav --character_name ./datasets/cached_audio/speaker9_o7Ik1OB4TaE_00-00-38.15_00-00-42.33.mp4

• 输出结果：生成的视频文件可直接播放，或通过在 EMAGE 项目中提供的 Blender 插件查看 .npz 结果文件。

3.2 启动 Web 界面 (Gradio)

如果你更喜欢图形化界面操作，可以启动类似 Hugging Face Space 的本地应用：

python app.py

启动后，终端会显示本地访问地址（通常为 http://127.0.0.1:7860），在浏览器中打开即可上传音频和视频进行生成。

---

注：本项目仅用于研究或教育目的，遵循 CC BY-NC 4.0 许可协议，禁止商业用途。