MOVA：迈向可扩展且同步的视频-音频生成

我们推出了MOVA（MOSS Video and Audio），这是一款旨在打破开源视频生成“无声时代”的基础模型。与将声音作为事后处理的级联式流程不同，MOVA能够同时合成视频和音频，实现完美对齐。

🌟核心亮点

• 原生双模态生成：超越繁琐的级联式流程。MOVA在一次推理中即可生成高保真视频及同步音频，避免误差累积。
• 精准唇形同步与音效：在多语言唇形同步及环境感知音效方面达到业界领先水平。
• 完全开源：在以闭源模型为主导的领域（如Sora 2、Veo 3、Kling），我们公开了模型权重、推理代码、训练流程以及LoRA微调脚本。
• 非对称双塔架构：利用预训练的视频和音频双塔，并通过双向交叉注意力机制进行融合，实现丰富的模态交互。

🔥最新消息！！！

• 2026年4月1日：🎉我们更新了MOVA Arena基准测试集，其中包含由不同MOVA变体生成的视频，用于基于Arena的评估。
• 2026年3月14日：🎉我们在🤗 Hugging Face上发布了MOVA Arena基准测试集（共732个样本），供复现性评估使用。
• 2026年3月9日：🎉MOVA API现已上线！请访问studio.mosi.cn申请API密钥，开始以编程方式生成视频。
• 2026年3月9日：🎉ComfyUI支持来了！感谢@richservo，现在您可以通过comfyui-mova以低成本在ComfyUI中使用MOVA。
• 2026年2月10日：🎉我们发布了MOVA的技术报告（arXiv:2602.08794）及更新后的推理流程（GitHub PR #29）。
• 2026年1月29日：🎉我们正式发布MOVA，一款用于高保真同步视频-音频生成的开源基础模型！！！

🎬演示

单人演讲：

点击展开

多人演讲：

点击展开

更多演示请访问我们的官网。

🚀快速入门

环境搭建

conda create -n mova python=3.13 -y
conda activate mova
pip install -e .

模型下载

模型	下载链接	备注
MOVA-360p	🤗 Hugging Face	支持TI2VA
MOVA-720p	🤗 Hugging Face	支持TI2VA

hf download OpenMOSS-Team/MOVA-360p --local-dir /path/to/MOVA-360p
hf download OpenMOSS-Team/MOVA-720p --local-dir /path/to/MOVA-720p

推理

生成单人演讲视频：

export CP_SIZE=1
export CKPT_PATH=/path/to/MOVA-360p/

torchrun \
    --nproc_per_node=$CP_SIZE \
    scripts/inference_single.py \
    --ckpt_path $CKPT_PATH \
    --cp_size $CP_SIZE \
    --height 352 \
    --width 640 \
    --prompt "一位身穿蓝色西装、戴眼镜的男士在正式的室内场景中讲话，周围是木质家具和摆满书籍的书架。安静的房间声学效果衬托出他沉稳的语调，娓娓道来。他提到：‘我也想说，德国这次选举并不令人意外。’" \
    --ref_path "./assets/single_person.jpg" \
    --output_path "./data/samples/single_person.mp4" \
    --seed 42 \
    --offload cpu

生成多人演讲视频：

export CP_SIZE=1
export CKPT_PATH=/path/to/MOVA-360p/

torchrun \
    --nproc_per_node=$CP_SIZE \
    scripts/inference_single.py \
    --ckpt_path $CKPT_PATH \
    --cp_size $CP_SIZE \
    --height 352 \
    --width 640 \
    --prompt "画面中，一位男士与一名儿童并肩漫步于公园内，四周绿意盎然，氛围宁静而日常。两人边走边聊，男士侧头看向孩子，用略带好奇的语气问道：‘你长大以后想做什么呢？’男孩则自信地回答：‘我想当债券交易员。唐叔叔就是做这个的，他还带我去他的办公室呢。’男士轻笑一声，随后温和地回应：‘那是个不错的职业啊。’随着步伐缓缓前行，两人的对话渐渐转入一段静谧而深思的时刻。' \
    --ref_path "./assets/multi_person.png" \
    --output_path "./data/samples/multi_person.mp4" \
    --seed 42 \
    --offload cpu

更多参数用法请参考推理脚本。

关键可选参数（scripts/inference_single.py）

--offload cpu：按组件卸载至CPU，以降低显存占用，通常速度较慢且会增加主机内存消耗。
--offload group：更细粒度的分层/分组卸载，往往能进一步降低显存占用，但通常速度更慢，并可能增加主机内存压力（详见下方的基准测试表）。
--remove_video_dit：切换到低噪声的video_dit_2后，释放阶段1的video_dit引用，可在启用卸载时减少约28GB的主机内存占用。

推理性能参考

我们提供了在不同卸载策略下生成一段8秒的360p视频的推理基准测试结果。请注意，实际性能可能会因硬件配置、驱动版本以及PyTorch/CUDA构建的不同而有所差异。

卸载策略	显存（GB）	主机内存（GB）	硬件	步骤时间（s）
组件级卸载	48	66.7	RTX 4090	37.5
组件级卸载	48	66.7	H100	9.0
层级（分组）卸载	12	76.7	RTX 4090	42.3
层级（分组）卸载	12	76.7	H100	22.8

Ascend NPU支持

我们也支持NPU。有关NPU训练/推理的更多详细信息，请参阅**本文档**。

评估

我们通过客观基准测试和主观人类评估来对模型进行评估。

Verse-Bench上的评估

我们在Verse-Bench上提供了音视频生成性能的定量对比。音频和AV-Align指标在所有子集上进行了评估；唇形同步和语音指标则在Verse-Bench Set3上进行评估；而ASR准确率则在我们团队提出的一个多说话人子集上进行评估。加粗和下划线数字分别表示最佳和次佳结果。

在表现差距最大的唇形同步任务中，MOVA展现了明显的优势。根据Lip Sync Error指标，在启用Dual CFG的情况下，MOVA-720p的LSE-D得分为7.094，LSE-C得分为7.452。此外，MOVA还在cpCER指标上取得了最佳成绩，该指标反映了语音识别准确性和说话人切换的准确性。

人类评估

以下是MOVA与现有开源模型相比的Elo评分和胜率。

MOVA Arena基准测试

我们在Hugging Face上发布了MOVA Arena基准测试，用于可重复的主观评估。该基准测试包含732个样本，分为两个子集：

子集	样本数	描述
MOVA-Bench	132	现实场景，涵盖7个类别：多说话人（27）、电影（12）、体育（20）、游戏（20）、镜头效果（30）、动漫（20）以及其他（3）
VerseBench（双语）	600	基于VerseBench改编的英中双语语音数据，分为set1（205）、set2（295）和set3（100）

每个样本都包含一张首帧图像和一个提示词（由论文中介绍的工作流改写），用于联合图文到音视频的生成。

🤗 下载：zhiyuzhang-0212/MOVA_benchmark_for_arena

SGLang集成

SGLang为MOVA提供了Day0支持。您可以使用最新的SGLang版本和以下示例进行高吞吐量推理。

CLI生成（sglang generate）

sglang generate \
  --model-path OpenMOSS-Team/MOVA-720p \
  --prompt "一位身穿蓝色西装外套、戴眼镜的男士在正式的室内环境中讲话，背景是木质家具和摆满书籍的书架。安静的房间声学环境衬托出他沉稳的语气，娓娓道来。他提到：‘我也认为最近人工智能的进步并不令人意外。’" \
  --image-path "./assets/single_person.jpg" \
  --adjust-frames false \
  --num-gpus 8 \
  --ring-degree 2 \
  --ulysses-degree 4 \
  --num-frames 193 \
  --fps 24 \
  --seed 67 \
  --num-inference-steps 25 \
  --enable-torch-compile \
  --save-output

在线服务（sglang serve）

export SG_OUTPUT_DIR=/root/output_mova
mkdir -p "$SG_OUTPUT_DIR"

sglang serve \
  --model-path OpenMOSS-Team/MOVA-720p \
  --host 0.0.0.0 \
  --port 30002 \
  --adjust-frames false \
  --num-gpus 8 \
  --ring-degree 2 \
  --ulysses-degree 4 \
  --tp 1 \
  --enable-torch-compile \
  --save-output \
  --output-dir "$SG_OUTPUT_DIR"

API请求示例（/v1/videos）

curl -X POST "http://0.0.0.0:30002/v1/videos" \
  -F "prompt=一位身穿蓝色西装外套、戴眼镜的男士在正式的室内环境中讲话，背景是木质家具和摆满书籍的书架。安静的房间声学环境衬托出他沉稳的语气，娓娓道来。他提到：‘我也认为最近人工智能的进步并不令人意外。’" \
  -F "input_reference=@./assets/single_person.jpg" \
  -F "size=640x352" \
  -F "num_frames=193" \
  -F "fps=24" \
  -F "seed=67" \
  -F "guidance_scale=5.0" \
  -F "num_inference_steps=25" \
  -o create_video.json

生成工作流

我们提供了一个**AI辅助视频生成工作流**，可通过Streamlit Web UI实现端到端的视频制作。它支持：

• 完整工作流模式：用文字描述场景（可选上传首帧）→ 如有需要，AI生成首帧 → 提取视觉元素 → 改写为视频描述 → MOVA生成视频
• 简易模式：直接提供提示词+首帧图像 → MOVA生成视频

请参阅工作流README，了解设置、配置（SGLang服务器、API密钥）以及使用方法。

API访问

MOVA作为托管API已在我们的平台上上线。您无需管理任何基础设施，即可申请API密钥并开始生成同步的音视频内容。

申请地址：studio.mosi.cn/docs/models/mova

ComfyUI集成

MOVA已通过社区插件comfyui-mova由@richservo在ComfyUI中得到支持。该插件提供了两个节点——MOVA模型加载器和MOVA生成——适用于图像转视频音频（I2VA）和文本转视频音频（T2VA）两种工作流。

安装

cd ComfyUI/custom_nodes
git clone --recursive https://github.com/richservo/comfyui-mova.git
cd comfyui-mova
pip install -r requirements.txt

首次使用时，模型会自动从Hugging Face下载。完整的使用说明、显存指南和工作流示例，请参阅comfyui-mova README。

训练

LoRA 微调

以下命令展示了如何在不同模式下启动 LoRA 训练；有关详细的显存和性能数据，请参阅下方的 LoRA 资源与性能参考 部分。

训练准备

• 模型检查点: 将 MOVA 权重下载到本地路径，并更新相应配置文件中的 diffusion_pipeline 部分。
• 数据集: 在相应配置文件的 data 部分配置视频+音频数据集及其变换（例如 mova_train_low_resource.py）；所需字段请参见 mova/datasets/video_audio_dataset.py。
• 环境: 使用与推理相同的环境，然后安装仅用于训练的额外依赖：pip install -e ".[train]"（包含 torchcodec 和 bitsandbytes）。
• 配置文件: 选择以下任一训练配置文件，并根据需要编辑 LoRA、优化器和调度器的设置。

低资源 LoRA（单 GPU，内存效率最高）

• 配置文件: configs/training/mova_train_low_resource.py
• 脚本:

bash scripts/training_scripts/example/low_resource_train.sh

Accelerate LoRA（1 GPU）

• 配置文件: configs/training/mova_train_accelerate.py
• 脚本:

bash scripts/training_scripts/example/accelerate_train.sh

Accelerate + FSDP LoRA（8 GPU）

• 配置文件: configs/training/mova_train_accelerate_8gpu.py
• Accelerate 配置文件: configs/training/accelerate/fsdp_8gpu.yaml
• 脚本:

bash scripts/training_scripts/example/accelerate_train_8gpu.sh

所有超参数（LoRA 的 rank/alpha、目标模块、优化器、卸载策略等）均在相应的配置文件中定义；示例脚本仅将配置文件路径作为输入。

LoRA 资源与性能参考

以下所有峰值使用数据均是在 360p、8 秒 视频训练设置下测量的，会因分辨率、时长和批次大小的不同而有所变化。

模式	显存（GB/GPU）	主机内存（GB）	硬件	步骤时间（秒）
低资源 LoRA（单 GPU）	≈18GB	≈80GB	RTX 4090	600
Accelerate LoRA（1 GPU）	≈100GB	≥128GB	H100	N/A
Accelerate + FSDP LoRA（8 GPU）	≈50GB	≥128GB	H100	22.2

注意: 由于资源需求高且训练速度慢，不建议在 RTX 4090 上训练 8 秒的 360p 视频。我们强烈建议降低视频分辨率（例如 240p）或总帧数，以加快训练速度并减少资源消耗。

📑待办事项列表

• 检查点
• 多 GPU 推理
• Lora 微调
• Ascend NPU 微调
• Ascend NPU 推理
• SGLang 集成
• 生成工作流
• 技术报告
• API 访问
• ComfyUI 集成
• Arena 基准测试
• Diffusers 集成

引用

如果您觉得我们的工作有所帮助，请引用我们。

@misc{openmoss_mova_2026,
  title         = {MOVA: 向可扩展且同步的视频-音频生成迈进},
  author        = {{SII-OpenMOSS 团队} 以及 Donghua Yu、Mingshu Chen、Qi Chen、Qi Luo、Qianyi Wu、Qinyuan Cheng、Ruixiao Li、Tianyi Liang、Wenbo Zhang、Wenming Tu、Xiangyu Peng、Yang Gao、Yanru Huo、Ying Zhu、Yinze Luo、Yiyang Zhang、Yuerong Song、Zhe Xu、Zhiyu Zhang、Chenchen Yang、Cheng Chang、Chushu Zhou、Hanfu Chen、Hongnan Ma、Jiaxi Li、Jingqi Tong、Junxi Liu、Ke Chen、Shimin Li、Songlin Wang、Wei Jiang、Zhaoye Fei、Zhiyuan Ning、Chunguo Li、Chenhui Li、Ziwei He、Zengfeng Huang、Xie Chen、Xipeng Qiu},
  year          = {2026},
  month         = feb,
  eprint        = {2602.08794},
  archivePrefix = {arXiv},
  primaryClass  = {cs.CV},
  doi           = {10.48550/arXiv.2602.08794},
  url           = {https://arxiv.org/abs/2602.08794},
  note          = {技术报告。通讯作者：Xie Chen 和 Xipeng Qiu。项目负责人：Qinyuan Cheng 和 Tianyi Liang。}
}

致谢

我们衷心感谢 Wan、SGLang、diffusers、HuggingFace、DiffSynth-Studio 以及 HunyuanVideo-Foley 的贡献者们，感谢他们出色的开源工作，这些都对本项目大有裨益。

星标历史

MOVA 快速上手指南

MOVA (MOSS Video and Audio) 是一个开源的基础模型，旨在打破开源视频生成的“无声时代”。它能够在单次推理中同步生成高保真视频和音频，支持精准的口型同步和环境音效。

1. 环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python: 3.13
• GPU: 推荐 NVIDIA GPU (显存需求见下文性能参考)，支持 Ascend NPU
• 依赖管理: Conda

前置依赖

确保已安装 conda 和 git。若需从 Hugging Face 下载模型，建议配置好网络环境或使用国内镜像加速。

2. 安装步骤

创建虚拟环境并安装

conda create -n mova python=3.13 -y
conda activate mova
pip install -e .

下载模型权重

MOVA 提供 360p 和 720p 两种版本，均支持文本/图像到视频音频生成 (TI2VA)。

模型	说明	下载命令示例
MOVA-360p	适合显存受限或快速测试	hf download OpenMOSS-Team/MOVA-360p --local-dir /path/to/MOVA-360p
MOVA-720p	高清晰度生成	hf download OpenMOSS-Team/MOVA-720p --local-dir /path/to/MOVA-720p

提示: 请替换 /path/to/MOVA-xxx 为你本地的实际存储路径。

3. 基本使用

以下示例展示如何生成一段单人说话的视频（包含同步音频）。

单人语音生成示例

设置环境变量并运行推理脚本：

export CP_SIZE=1
export CKPT_PATH=/path/to/MOVA-360p/

torchrun \
    --nproc_per_node=$CP_SIZE \
    scripts/inference_single.py \
    --ckpt_path $CKPT_PATH \
    --cp_size $CP_SIZE \
    --height 352 \
    --width 640 \
    --prompt "A man in a blue blazer and glasses speaks in a formal indoor setting, framed by wooden furniture and a filled bookshelf. Quiet room acoustics underscore his measured tone as he delivers his remarks. At one point, he says, \"I would also say that this election in Germany wasn't surprising.\"" \
    --ref_path "./assets/single_person.jpg" \
    --output_path "./data/samples/single_person.mp4" \
    --seed 42 \
    --offload cpu

关键参数说明

• --ckpt_path: 模型权重存放路径。
• --prompt: 生成内容的文本描述（支持中英文）。
• --ref_path: 参考图像路径（用于确定人物形象）。
• --offload cpu: 启用组件级 CPU 卸载，显著降低显存占用（适合消费级显卡），但会增加主机内存压力并略微降低速度。
• --offload group: 更细粒度的层/组卸载，显存占用更低，但速度更慢。

性能参考 (生成 8 秒 360p 视频)

策略	显存 (VRAM)	主机内存 (Host RAM)	硬件 (RTX 4090)	单步耗时
Component-wise offload	48 GB	66.7 GB	RTX 4090	37.5s
Layerwise (group)	12 GB	76.7 GB	RTX 4090	42.3s

注意: 实际性能受硬件配置、驱动版本及 PyTorch/CUDA 版本影响。若使用 Ascend NPU，请参考官方仓库中的 ASCEND_SUPPORTS.md 文档。