驾驭多模态联合训练以实现高质量的视频转音频合成

Ho Kei Cheng、Masato Ishii、Akio Hayakawa、Takashi Shibuya、Alexander Schwing、Yuki Mitsufuji

伊利诺伊大学厄巴纳-香槟分校、索尼 AI 以及索尼集团公司

CVPR 2025

亮点

MMAudio 可以根据视频和/或文本输入生成同步的音频。我们的关键创新在于多模态联合训练，这使得我们能够在广泛的视听和音文数据集上进行训练。此外，一个同步模块会将生成的音频与视频帧对齐。

请观看这段有趣的视频：

[你的声音和脸匹配吗？ https://youtu.be/SLz3NWLyHxg]

结果

（所有音频均由我们的算法 MMAudio 生成）

来自 Sora 的视频：

https://github.com/user-attachments/assets/82afd192-0cee-48a1-86ca-bd39b8c8f330

来自 Veo 2 的视频：

https://github.com/user-attachments/assets/8a11419e-fee2-46e0-9e67-dfb03c48d00e

来自 MovieGen/Hunyuan Video/VGGSound 的视频：

https://github.com/user-attachments/assets/29230d4e-21c1-4cf8-a221-c28f2af6d0ca

更多结果请访问 https://hkchengrex.com/MMAudio/video_main.html。

安装

我们仅在 Ubuntu 上进行了测试。

前提条件

我们建议使用 miniforge 环境。

• Python 3.9+
• PyTorch 2.5.1+ 和相应的 torchvision/torchaudio（请根据你的 CUDA 版本选择，推荐使用 pip 安装）

1. 如果尚未满足前提条件，请先安装：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 --upgrade

（或者任何其他你的 GPU/驱动支持的 CUDA 版本）

2. 克隆我们的仓库：

git clone https://github.com/hkchengrex/MMAudio.git

3. 使用 pip 安装（请先安装 PyTorch 再尝试此步骤！）：

cd MMAudio
pip install -e .

（如果你遇到“setup.py 文件未找到”的错误，请使用 pip install --upgrade pip 升级你的 pip）

预训练模型：

当你运行演示脚本时，模型会自动下载。MD5 校验和已在 mmaudio/utils/download_utils.py 中提供。这些模型也可在 https://huggingface.co/hkchengrex/MMAudio/tree/main 上找到。更多详情请参阅 MODELS.md。

演示

默认情况下，这些脚本使用 large_44k_v2 模型。在我们的实验中，推理仅需约 6GB 的 GPU 内存（以 16 位模式运行），这应该足以在大多数现代 GPU 上运行。

命令行界面

使用 demo.py：

python demo.py --duration=8 --video=<视频路径> --prompt "你的提示"

输出（音频为 .flac 格式，视频为 .mp4 格式）将保存在 ./output 目录中。更多选项请参阅该文件。如果只进行文本到音频的合成，只需省略 --video 选项即可。默认的输出（也是训练）时长为 8 秒。更长或更短的时长也可能适用，但若与训练时长相差过大，可能会导致较低的质量。

Gradio 界面

支持视频到音频和文本到音频的合成。你还可以尝试实验性的图像到音频合成，它会将输入图像复制成视频进行处理。这对某些人来说可能很有趣，但这并不是 MMAudio 经过训练的任务。 如有必要，可以使用 端口转发（例如 ssh -L 7860:localhost:7860 server）。默认端口为 7860，你可以通过 --port 参数指定。

python gradio_demo.py

常见问题解答

1. 视频处理
   • 处理更高分辨率的视频需要更长时间，因为编码和解码占据了超过 95% 的处理时间，但这并不会提高结果的质量。
   • CLIP 编码器会将输入帧调整为 384×384 像素。
   • Synchformer 会将较短的边调整为 224 像素，并进行中心裁剪，只关注每帧的中央正方形区域。
2. 帧率
   • CLIP 模型以 8 FPS 运行，而 Synchformer 以 25 FPS 工作。
   • 帧率转换会在视频读取器中实时完成。
   • 对于帧率低于 25 FPS 的输入视频，帧会被重复以达到所需的帧率。
3. 失败情况 与其他同类模型一样，MMAudio 有时也会出现失败的情况，原因并不总是明确。以下是一些已知的失败模式。如果你发现了新的失败模式或认为存在 bug，请随时在仓库中提交 issue。
4. 性能差异 我们注意到，在不同的硬件和软件环境中，性能可能会有细微的差异。造成这种差异的原因包括是否使用 torch.compile、视频读取库/后端、推理精度、批量大小、随机种子等。我们将会提供标准基准上的预计算结果作为参考。从本代码库获得的结果应该相似，但未必完全相同。

已知局限性

1. 该模型有时会生成难以理解的人类语音类似的声音。
2. 该模型有时会生成背景音乐（尽管没有专门训练过，其质量并不高）。
3. 该模型在处理不熟悉的概念时表现不佳，例如它可以生成“枪声”，但无法生成“RPG 发射”的声音。

我们认为，通过提供更多高质量的训练数据，这三项局限性都可以得到解决。

训练

请参阅 TRAINING.md。

评估

请参阅 EVAL.md。

训练数据集

MMAudio 在多个数据集上进行了训练，包括 AudioSet、Freesound、VGGSound、AudioCaps 和 WavCaps。这些数据集受特定许可证约束，相关许可证信息可在其各自官网查阅。我们不保证预训练模型适用于商业用途，请用户自行承担使用风险。

更新日志

• 2025-03-09：上传了修正后的 tsv 文件。详情请参阅 TRAINING.md。
• 2025-02-27：为提高训练稳定性，默认禁用了 GradScaler。详情请参阅 #49。
• 2024-12-23：新增了训练脚本和批量评估脚本。
• 2024-12-14：通过将 torio.io.StreamingMediaDecoder 替换为 pyav 来读取帧率，从而移除了演示中对 ffmpeg<7 的依赖。同时对读取的帧进行缓存，避免在重建过程中重复读取同一帧，这应能提升速度并简化安装流程。
• 2024-12-13：在 CLIP/Sync 特征提取中引入批大小倍增器，优化了 for 循环处理。在不增加内存占用的情况下，可将近似使用 40 倍的批大小，从而加快处理速度。此外，在推理过程中移除了 VAE 编码器——我们并不需要它。
• 2024-12-11：在重构输入视频时，将用于读取帧率的 torio.io.StreamingMediaDecoder 替换为 pyav。torio.io.StreamingMediaDecoder 在 huggingface ZeroGPU 环境中无法稳定工作，且我怀疑它在其他某些环境中也可能存在问题。

引用

@inproceedings{cheng2025taming,
  title={{MMAudio}: Taming Multimodal Joint Training for High-Quality Video-to-Audio Synthesis},
  author={Cheng, Ho Kei and Ishii, Masato and Hayakawa, Akio and Shibuya, Takashi and Schwing, Alexander and Mitsufuji, Yuki},
  booktitle={CVPR},
  year={2025}
}

相关仓库

• av-benchmark，用于基准测试结果。

许可证

• 本仓库中的代码采用 MIT 许可证发布，具体见 LICENSE 文件。
• 检查点文件在 Hugging Face 上以 CC-BY-NC 4.0 许可证发布，详情请参阅 https://creativecommons.org/licenses/by-nc/4.0/。

免责声明

我们与 “mmaudio.net” 域名背后的主体没有任何关联，也对其一无所知。

致谢

特别感谢以下项目：

• Make-An-Audio 2，提供了 16kHz 的 BigVGAN 预训练模型及 VAE 架构。
• BigVGAN。
• Synchformer。
• EDM2，提供了保幅式的 VAE 网络架构。

MMAudio 快速上手指南

MMAudio 是一个用于高质量视频转音频（Video-to-Audio）和文本转音频（Text-to-Audio）合成的开源模型。它通过多模态联合训练，能够根据视频画面或文本描述生成同步的高质量音频。

环境准备

本项目主要在 Ubuntu 系统上测试通过。请确保满足以下前置条件：

• 操作系统: Linux (推荐 Ubuntu)
• Python: 3.9 或更高版本
• PyTorch: 2.5.1 或更高版本（需匹配对应的 torchvision/torchaudio 及 CUDA 版本）
• GPU: 建议显存至少 6GB（在 16-bit 模式下推理）

注意：安装前请确认您的显卡驱动支持的 CUDA 版本。国内用户若访问 PyTorch 官方源较慢，可使用清华或中科大镜像源。

安装步骤

1. 安装 PyTorch 及相关依赖

推荐使用 pip 安装与您的 CUDA 版本匹配的 PyTorch。以下以 CUDA 11.8 为例（请根据实际情况调整 cu118）：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 --upgrade

国内加速方案（可选）：

pip install torch torchvision torchaudio --index-url https://pypi.tuna.tsinghua.edu.cn/simple
# 注意：PyTorch 的 whl 文件通常仍需从官方源下载，上述命令主要加速其他依赖包。
# 若需完整镜像加速，请配置 pip 全局镜像或使用 conda 环境。

2. 克隆项目代码

git clone https://github.com/hkchengrex/MMAudio.git
cd MMAudio

3. 安装项目依赖

确保已安装 PyTorch 后，执行以下命令安装其余依赖：

pip install -e .

若遇到 setup.py not found 错误，请先升级 pip：pip install --upgrade pip。

4. 模型下载

预训练模型会在首次运行演示脚本时自动下载。模型文件托管在 Hugging Face 上，国内用户若下载缓慢，可手动从镜像站下载并放置到对应目录，或配置 HF_ENDPOINT 环境变量。

基本使用

安装完成后，您可以使用命令行接口进行音频生成。默认使用 large_44k_v2 模型。

视频转音频 (Video-to-Audio)

根据输入视频和文本提示生成同步音频：

python demo.py --duration=8 --video=<path to video> --prompt "your prompt"

• --duration: 生成音频的时长（秒），默认为 8 秒。
• --video: 输入视频文件的路径。
• --prompt: 描述音频内容的文本提示词。

生成的音频 (.flac) 和视频 (.mp4) 将保存在 ./output 目录中。

文本转音频 (Text-to-Audio)

仅根据文本提示生成音频（省略 --video 参数）：

python demo.py --duration=8 --prompt "rain falling on a tin roof"

启动 Web 界面 (可选)

MMAudio 提供了基于 Gradio 的交互式网页界面，支持上传视频或输入文本进行操作：

python gradio_demo.py

启动后，在浏览器访问 http://localhost:7860 即可使用。若在远程服务器运行，请使用 SSH 端口转发（如 ssh -L 7860:localhost:7860 user@server）。