SynCamMaster：从不同视角同步多摄像头视频生成

重要提示: 本开源仓库旨在提供参考实现。由于底层T2V模型性能的差异，开源版本可能无法达到论文中模型的性能水平。

🔥 更新

• [2025.04.15]: 欢迎探索我们的后续工作，ReCamMaster。
• [2025.04.15]: 更新了新版的SynCamVideo数据集。
• [2025.04.15]: 发布了训练与推理代码，以及模型检查点。
• [2024.12.10]: 发布了项目页面和SynCamVideo数据集。

📖 引言

简而言之: 我们提出了SynCamMaster，一种高效的方法，用于将预训练的文本到视频模型扩展到开放域的多摄像头视频生成任务中，并支持从不同视角进行生成。我们还发布了一个使用虚幻引擎5渲染的多摄像头同步视频数据集。

https://github.com/user-attachments/assets/1ecfaea8-5d87-4bb5-94fc-062f84bd67a1

⚙️ 代码：SynCamMaster + Wan2.1（推理与训练）

我们在论文中使用的模型是内部开发的T2V模型，而非Wan2.1。由于公司政策限制，我们无法开源论文中所使用的模型。因此，我们将SynCamMaster迁移至Wan2.1，以验证我们方法的有效性。由于底层T2V模型的差异，您可能无法获得与演示中相同的效果。

推理

步骤1：设置环境

DiffSynth-Studio需要Rust和Cargo来编译扩展。您可以使用以下命令安装它们：

curl --proto '=https' --tlsv1.2 -sSf [https://sh.rustup.rs](https://sh.rustup.rs/) | sh
. "$HOME/.cargo/env"

安装DiffSynth-Studio:

git clone https://github.com/KwaiVGI/SynCamMaster.git
cd SynCamMaster
pip install -e .

步骤2：下载预训练检查点

1. 下载预训练的Wan2.1模型

cd SynCamMaster
python download_wan2.1.py

2. 下载预训练的SynCamMaster检查点

请从Hugging Face下载，并将其放置在models/SynCamMaster/checkpoints目录下。

步骤3：测试示例视频

python inference_syncammaster.py --cam_type "az"

我们提供了几种预设的相机类型。此外，您也可以生成新的相机位姿进行测试。

训练

步骤1：设置环境

pip install lightning pandas websockets

步骤2：准备训练数据集

1. 下载SynCamVideo数据集。

2. 提取VAE特征

CUDA_VISIBLE_DEVICES="0,1,2,3,4,5,6,7" python train_syncammaster.py   --task data_process   --dataset_path path/to/the/SynCamVideo/Dataset   --output_path ./models   --text_encoder_path "models/Wan-AI/Wan2.1-T2V-1.3B/models_t5_umt5-xxl-enc-bf16.pth"   --vae_path "models/Wan-AI/Wan2.1-T2V-1.3B/Wan2.1_VAE.pth"   --tiled   --num_frames 81   --height 480   --width 832 --dataloader_num_workers 2

3. 为每段视频生成字幕

您可以使用如LLaVA之类的视频字幕工具为每段视频生成字幕，并将其存储在metadata.csv文件中。

4. 计算可用样本列表

python generate_sample_list.py

步骤3：训练

CUDA_VISIBLE_DEVICES="0,1,2,3,4,5,6,7" python train_syncammaster.py   --task train   --output_path ./models/train   --dit_path "models/Wan-AI/Wan2.1-T2V-1.3B/diffusion_pytorch_model.safetensors"   --steps_per_epoch 8000   --max_epochs 100   --learning_rate 1e-4   --accumulate_grad_batches 1   --use_gradient_checkpointing  --dataloader_num_workers 4

我们并未探索最优超参数组合，且在每个GPU上以1个批次进行训练。通过调整学习率等超参数并增加批次大小，您可能会获得更好的模型性能。

步骤4：测试模型

python inference_syncammaster.py --cam_type "az" --ckpt_path path/to/the/checkpoint

📷 数据集：SynCamVideo数据集

1. 数据集介绍

简而言之： SynCamVideo 数据集是一个使用 Unreal Engine 5 渲染的多摄像机同步视频数据集。它包含同步的多摄像机视频及其对应的相机位姿。SynCamVideo 数据集在相机控制视频生成、同步视频制作以及 3D/4D 重建等领域具有重要价值。在 SynCamVideo 数据集中，相机是静止的。如果您需要的是带有移动相机而非静止相机的素材，请查看我们的 MultiCamVideo 数据集。

https://github.com/user-attachments/assets/b49fc632-d1df-49fd-93d2-8513fbdb9377

SynCamVideo 数据集是一个使用 Unreal Engine 5 渲染的多摄像机同步视频数据集。它包括同步的多摄像机视频及其对应的相机位姿。 该数据集由 3,400 个不同的动态场景组成，每个场景由 10 台摄像机拍摄，总共生成 34,000 条视频。每个动态场景由四个元素构成：{3D 环境、角色、动画、相机}。具体来说，我们利用动画驱动角色， 并将动画角色放置在 3D 环境中。随后，设置时间同步的摄像机来渲染多摄像机视频数据。

3D 环境： 我们从 Fab 收集了 37 个高质量的 3D 环境资源。为了尽量缩小渲染数据与真实世界视频之间的领域差距，我们主要选择视觉上逼真的 3D 场景，同时辅以少量风格化或超现实的 3D 场景。为确保数据多样性，所选场景涵盖了多种室内外环境，如城市街道、购物中心、咖啡馆、办公室和乡村等。

角色： 我们从 Fab 和 Mixamo 收集了 66 种不同的人类 3D 模型作为角色。

动画： 我们从 Fab 和 Mixamo 收集了 93 种不同的动画，包括挥手、跳舞、欢呼等常见动作。我们利用这些动画驱动收集到的角色，并通过各种组合创建多样化的数据集。

相机： 为了增强数据集的多样性，每台相机都被随机采样于以角色为中心的半球面上。

2. 统计与配置

数据集统计：

动态场景数量	每场景摄像机数	总视频数
3400	10	34,000

视频配置：

分辨率	帧数	FPS
1280x1280	81	15

注意：您可以使用“居中裁剪”来调整视频的宽高比，以适应您的视频生成模型，例如 16:9、9:16、4:3 或 3:4。

相机配置：

焦距	光圈	传感器高度	传感器宽度
24mm	5.0	23.76mm	23.76mm

3. 文件结构

SynCamVideo-Dataset
├── train
│   └── f24_aperture5
│       ├── scene1    # 一个动态场景
│       │   ├── videos
│       │   │   ├── cam01.mp4    # 1280x1280 分辨率下的 81 帧同步视频
│       │   │   ├── cam02.mp4
│       │   │   ├── ...
│       │   │   └── cam10.mp4
│       │   └── cameras
│       │       └── camera_extrinsics.json    # 10 台摄像机的 81 帧相机外参
│       ├── ...
│       └── scene3400
└── val
    └── basic
        ├── videos
        │   ├── cam01.mp4    # 验证用摄像机对应示例视频
        │   ├── cam02.mp4
        │   ├── ...
        │   └── cam10.mp4
        └── cameras
            └── camera_extrinsics.json    # 10 台用于验证的摄像机

3. 有用的脚本

• 数据解压

tar -xzvf SynCamVideo-Dataset.tar.gz

• 相机可视化

python vis_cam.py

该可视化脚本改编自 CameraCtrl，感谢他们的启发性工作。

🤗 优秀相关工作

欢迎探索这些杰出的相关工作，包括但不限于：

GCD：从单目视频中合成 4D 动态场景的大视角新视图。

CVD：基于多摄像机轨迹的多视角视频生成。

SV4D：多视角一致的动态 3D 内容生成。

此外，也请关注我们的“MasterFamily”项目：

ReCamMaster：以新颖的摄像机轨迹重新捕捉野外视频。

3DTrajMaster：控制 3D 空间中的多个实体运动（6DoF），用于文本到视频的生成。

StyleMaster：借助参考风格图像实现艺术化视频生成与转换。

致谢

我们感谢快手科技的曹锦文、郭一松、季浩文、王继超和王毅在构建 SynCamVideo 数据集过程中提供的宝贵帮助。同时，我们也感谢 吴冠军 和叶江南在运行 4DGS 方面的支持。

🌟 引用

如果您觉得我们的工作有所帮助，请为我们点亮一颗星 🌟，并引用我们的论文。

@article{bai2024syncammaster,
  title={SynCamMaster: 从多样化视角同步生成多摄像机视频},
  author={白建宏、夏孟涵、王新涛、袁子洋、傅晓、刘作柱、胡浩基、万鹏飞、张迪},
  journal={arXiv 预印本 arXiv:2412.07760},
  year={2024}
}

SynCamMaster 快速上手指南

SynCamMaster 是一个用于从不同视角生成同步多相机视频的高效工具。它基于预训练的文本到视频（T2V）模型（本开源版本适配 Wan2.1），能够生成开放域的多视角同步视频。

环境准备

系统要求

• 操作系统: Linux (推荐)
• GPU: 支持 CUDA 的 NVIDIA 显卡（训练建议多卡，推理单卡即可）
• Python: 3.8+

前置依赖

本项目依赖 DiffSynth-Studio，编译其扩展需要 Rust 和 Cargo。

1. 安装 Rust 和 Cargo

   curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
   . "$HOME/.cargo/env"
   

   注：国内用户若下载缓慢，可尝试使用 rustup 镜像源。

2. 其他 Python 依赖 后续安装步骤中将自动处理主要依赖，训练时还需额外安装：

   pip install lightning pandas websockets
   

安装步骤

1. 克隆项目代码

   git clone https://github.com/KwaiVGI/SynCamMaster.git
   cd SynCamMaster
   

2. 安装项目依赖

   pip install -e .
   

3. 下载预训练模型权重

   步骤 A: 下载基础 Wan2.1 模型 运行以下脚本自动下载：

   python download_wan2.1.py
   

   步骤 B: 下载 SynCamMaster 微调权重 从 HuggingFace 下载 step20000.ckpt 文件。

   将下载的文件放置于以下目录（若目录不存在请手动创建）：

   models/SynCamMaster/checkpoints/step20000.ckpt
   

   注：若 HuggingFace 下载受阻，请自行寻找国内镜像源或代理加速。

基本使用（推理）

完成上述安装和模型下载后，即可运行示例代码生成多视角同步视频。

运行命令：

python inference_syncammaster.py --cam_type "az"

说明：

• --cam_type: 指定相机运动类型，"az" 为预设的方位角变化模式。
• 生成的视频将展示同一场景下不同角度的同步画面。
• 如需使用自定义检查点或相机轨迹，可添加 --ckpt_path 等参数（参考训练章节或源码帮助）。

---

注意：由于底层 T2V 模型差异（论文使用内部模型，开源版迁移至 Wan2.1），生成效果可能与论文演示存在细微差别。