Cambrian-S:
迈向视频空间超感知 (Spatial Supersensing)

Shusheng Yang*, Jihan Yang*, Pinzhi Huang†, Ellis Brown†, Zihao Yang,
Yue Yu, Shengbang Tong, Zihan Zheng, Yifan Xu, Muhan Wang, Daohan Lu,
Rob Fergus, Yann LeCun, Li Fei-Fei, Saining Xie

*同等贡献    †核心贡献者

发布

• [2025 年 12 月 21 日] 🚀 Cambrian-S-3M（我们收集的 300 万开源视频指令微调 (Video Instruction Tuning) 数据）现已可用！请查看！
• [2025 年 11 月 6 日] 🔥 我们发布了 Cambrian-S 模型权重、训练代码和评估套件。
• [2025 年 11 月 6 日] 🔥 我们发布了 VSI-SUPER，一个专为空间超感知 (Spatial Supersensing) 设计的基准测试 (Benchmark)。
• [2025 年 11 月 6 日] 🔥 我们发布了 VSI-590K，一个专为空间感知 (Spatial Sensing) 策划的数据集。

目录

• Cambrian-S：迈向视频空间超感知 (Spatial Supersensing)
  • 发布
  • 目录
  • Cambrian-S 模型权重
    • 通用模型性能
    • VSI-SUPER 性能
    • 模型卡片
      • 使用预测感知 (Predictive Sensing) 训练的模型
      • 标准多模态大语言模型 (MLLM)
  • VSI-590K 数据集
  • 训练
  • 评估
  • 引用
  • 相关项目

Cambrian-S 模型权重

以下是我们的 Cambrian-S 检查点 (Checkpoints) 以及如何使用权重的说明。我们的模型擅长视频理解 (Video Understanding) 中的空间推理 (Spatial Reasoning)，在空间理解基准测试上显示出比先前最先进 (State-of-the-Art) 方法的显著改进，同时在通用视频理解任务上保持了具有竞争力的性能。

通用模型性能

Cambrian-S 与其他领先的多模态大语言模型 (Multimodal Large Language Model, MLLM) 在通用视频理解基准测试上的对比。

结果：Cambrian-S 在标准视频基准测试（Perception Test 和 EgoSchema）上保持了具有竞争力的性能，同时在空间推理任务上表现出色。

VSI-SUPER 性能

VSI-SUPER 性能在 Cambrian-S-7B-LFP 上进行评估。

模型卡片

使用预测感知 (Predictive Sensing) 训练的模型

标准多模态大语言模型 (Multimodal Large Language Model, MLLM)

VSI-590K 数据集

VSI-590K 是一个专注于空间理解的 video instruction-tuning（视频指令微调）数据集。

VSI-590K 数据集统计信息。

问答（QAs）按以下方式分组：问题类型（左）和任务组（右）。

Hugging Face: nyu-visionx/VSI-590K

训练

环境准备

目前，我们支持使用 TorchXLA 在 TPU（张量处理单元）上进行训练。请通过以下命令安装 TorchXLA 2.6.0：

pip install torch==2.6.0 torchvision==0.21.0 torch_xla==2.6.0
pip install 'torch_xla[tpu]' -f https://storage.googleapis.com/libtpu-releases/index.html
pip install 'torch_xla[pallas]' -f https://storage.googleapis.com/jax-releases/jax_nightly_releases.html -f https://storage.googleapis.com/jax-releases/jaxlib_nightly_releases.html
pip install --upgrade pip
pip install -e '.[tpu]'

数据准备

Cambrian-S 模型是在 Cambrian-Alignment、Cambrian-7M、Cambrian-S-3M 和 VSI-590K 数据集的基础上训练的。请按照相应的指南准备这些数据集。

训练脚本

正如我们论文中所述，Cambrian-S 模型分 4 个阶段训练：从 vision-language alignment（视觉 - 语言对齐），到通用图像指令微调，再到通用视频指令微调，最后是空间视频微调。对于 Cambrian-S-LFP 模型，我们修改了第 4 阶段，引入了 latent frame prediction（潜在帧预测）目标。我们在下方提供了示例训练脚本：

• cambrian/scripts/cambrians_7b_s1.sh
• cambrian/scripts/cambrians_7b_s2.sh
• cambrian/scripts/cambrians_7b_s3.sh
• cambrian/scripts/cambrians_7b_s4.sh
• cambrian/scripts/cambrians_7b_lfp_s4.sh

评估

我们已在 lmms-eval/ 子文件夹中发布了评估代码。详情请参见那里的 README 文档。

详细的 benchmark（基准测试）结果，请参考上方的 通用模型性能 和 VSI-SUPER 性能 部分。

引用

如果您发现我们的工作对您的研究有用，请考虑引用我们的工作：

@article{yang2025cambrians,
  title={Cambrian-S: Towards Spatial Supersensing in Video},
  author={Yang, Shusheng and Yang, Jihan and Huang, Pinzhi and Brown, Ellis and Yang, Zihao and Yu, Yue and Tong, Shengbang and Zheng, Zihan and Xu, Yifan and Wang, Muhan and Lu, Daohan and Fergus, Rob and LeCun, Yann and Fei-Fei, Li and Xie, Saining},
  journal={arXiv preprint arXiv:2511.04670},
  year={2025}
}

@article{brown2025shortcuts,
  author = {Brown, Ellis and Yang, Jihan and Yang, Shusheng and Fergus, Rob and Xie, Saining},
  title = {Benchmark Designers Should ``Train on the Test Set'' to Expose Exploitable Non-Visual Shortcuts},
  journal = {arXiv preprint arXiv:2511.04655},
  year = {2025}
}

@article{brown2025simsv,
  title   =  { {SIMS-V}: Simulated Instruction-Tuning for Spatial Video Understanding },
  author  =  { Brown, Ellis and Ray, Arijit and Krishna, Ranjay and Girshick, Ross and Fergus, Rob and Xie, Saining },
  journal =  { arXiv preprint arXiv:2511.04668 },
  year    =  { 2025 }
}

@article{yang2024think,
    title={{Thinking in Space: How Multimodal Large Language Models See, Remember and Recall Spaces}},
    author={Yang, Jihan and Yang, Shusheng and Gupta, Anjali W. and Han, Rilyn and Fei-Fei, Li and Xie, Saining},
    year={2024},
    journal={arXiv preprint arXiv:2412.14171},
}

@article{tong2024cambrian,
  title={{Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs}},
  author={Tong, Shengbang and Brown, Ellis and Wu, Penghao and Woo, Sanghyun and Middepogu, Manoj and Akula, Sai Charitha and Yang, Jihan and Yang, Shusheng, and Iyer, Adithya and Pan, Xichen and Wang, Austin and Fergus, Rob and LeCun, Yann and Xie, Saining},
  journal={arXiv preprint arXiv:2406.16860},
  year={2024}
}

相关项目

• Cambrian-1: 一个完全开放、以视觉为中心的多模态 LLMs（大语言模型）探索
• Thinking in Space: 多模态大语言模型如何查看、记忆和回忆空间 - 引入 VSI-Bench 用于评估 visual-spatial intelligence（视觉空间智能）
• SIMS-V: 用于空间视频理解的模拟指令微调
• Test-Set Stress-Test: 基准测试设计者应该“在测试集上训练”以暴露可利用的非视觉捷径

Cambrian-S 快速上手指南

Cambrian-S 是一个专注于视频空间超感知（Spatial Supersensing）的多模态大语言模型工具包。本指南将帮助您快速配置环境、安装依赖并运行模型。

环境准备

本项目主要支持在 TPU 上使用 TorchXLA 进行训练。请确保您的开发环境满足以下要求：

• 硬件: 支持 TPU 的环境（或使用兼容的 GPU 环境进行推理）
• Python: 建议 Python 3.10+
• 核心依赖:
  • torch==2.6.0
  • torchvision==0.21.0
  • torch_xla==2.6.0

安装步骤

1. 克隆仓库 首先克隆项目代码到本地：

   git clone https://github.com/cambrian-mllm/cambrian-s.git
   cd cambrian-s
   

2. 安装依赖 按照以下顺序安装 TorchXLA 及相关依赖（基于 TPU 环境）：

   pip install torch==2.6.0 torchvision==0.21.0 torch_xla==2.6.0
   pip install 'torch_xla[tpu]' -f https://storage.googleapis.com/libtpu-releases/index.html
   pip install 'torch_xla[pallas]' -f https://storage.googleapis.com/jax-releases/jax_nightly_releases.html -f https://storage.googleapis.com/jax-releases/jaxlib_nightly_releases.html
   pip install --upgrade pip
   pip install -e '.[tpu]'
   

3. 准备数据集 模型训练依赖于以下数据集，请根据官方指南准备：

   • Cambrian-Alignment
   • Cambrian-7M
   • Cambrian-S-3M
   • VSI-590K

基本使用

1. 加载预训练模型

您可以直接从 Hugging Face 加载预训练权重。推荐模型如下：

2. 运行训练脚本

项目提供了分阶段训练脚本。以下是启动第一阶段训练的示例命令：

bash cambrian/scripts/cambrians_7b_s1.sh

其他阶段脚本参考：

• 第二阶段：cambrian/scripts/cambrians_7b_s2.sh
• 第三阶段：cambrian/scripts/cambrians_7b_s3.sh
• 第四阶段：cambrian/scripts/cambrians_7b_s4.sh
• LFP 模型第四阶段：cambrian/scripts/cambrians_7b_lfp_s4.sh

3. 模型评估

评估代码位于 lmms-eval/ 子文件夹中。请参考该目录下的 README 进行 VSI-SUPER 基准测试或通用视频理解评估。

cd lmms-eval/
# 具体评估命令请参考该目录下的说明文档