产品官网  | 🤗 Hugging Face  | 论文  | 论文官网 | Cosmos Cookbook

NVIDIA Cosmos™ 是一个专为物理 AI（Physical AI）打造的平台，包含业界领先的生成式世界基础模型（World Foundation Models, WFMs）、强大的安全护栏（guardrails），以及加速的数据处理与整理流水线。Cosmos 专为现实世界系统设计，使开发者能够快速推进物理 AI 应用，例如自动驾驶汽车（AVs）、机器人和视频分析 AI 智能体。

Cosmos 世界基础模型包含三种模型类型，均可在训练后进行定制：cosmos-predict、cosmos-transfer 和 cosmos-reason。

最新动态！

• [2026 年 2 月 23 日] 发布 Predict2.5 /Robot/Action-Cond 蒸馏 指南，以及 Predict2.5 /Robot/Policy 模型（RoboCasa、Libero），并在 cosmos-cookbook 中提供推理与训练后 方案。
• [2025 年 12 月 19 日] 通过 Hugging Face 发布 Cosmos-Predict2.5-2B 对 Diffusers 的支持，并在 Hugging Face 上发布 Cosmos-Predict2.5-2B Text2World 蒸馏检查点及蒸馏 指南。
• [2025 年 12 月 5 日] 发布 Cosmos-Predict2.5-14B 基础模型、推理 及 DreamGen 的 训练后方案。同时新增 Cosmos-Predict2.5B robot/multiview-agibot 模型 及 推理。
• [2025 年 11 月 25 日] 新增 Blackwell + ARM 推理支持，并修复帮助菜单和 CLI 覆盖问题，改进安全护栏卸载机制，并为大型资产启用 LFS。
• [2025 年 11 月 11 日] 重构 Cosmos-Predict2.5-2B Auto/Multiview 代码，更新 Hugging Face 上的 Auto/Multiview 检查点，并在 examples/notebook/ 下新增推理示例 Notebook，以简化测试和入门流程。
• [2025 年 11 月 8 日] 在 docs/ 目录下新增一篇教学型 README，详细介绍 Rectified Flow 公式及其与 UniPC 求解器的集成方式。
• [2025 年 11 月 7 日] 新增对 DMD2 蒸馏（用于模型压缩）的支持、自回归滑动窗口生成模式（用于生成更长视频）以及新的多视角交叉注意力模块。同时改进了推理示例和文档，升级依赖项以增强对 Blackwell 的支持，并进行了多项基础设施优化。
• [2025 年 10 月 28 日] 新增 Cosmos Cookbook，这是一套逐步操作指南和训练后脚本集合，可快速构建、定制并部署 NVIDIA 的 Cosmos 世界基础模型，用于机器人和自主系统。
• [2025 年 10 月 28 日] 修复动作条件推理（action-conditioned inference）的 bug，改进 LoRA 训练后流程并统一应用于 text2world、image2world 和 video2world，通过 CP + torch.compile 加速 Transfer2 的分词过程，更新安全护栏，新增多存储支持，并引入 cosmos-oss 包。
• [2025 年 10 月 21 日] 为 Video2World 和 Text2World 新增 LoRA（低秩适配，Low-Rank Adaptation）训练后支持，并提供用于训练后的 gr00t-dreams 数据集。同时更新 Docker 基础镜像版本及相关 Gradio 文档。
• [2025 年 10 月 14 日] 发布 Cosmos-Predict2.5 robot/action-cond 的 推理指南 和 训练后指南，并发布 Auto Multiview 训练后方案。
• [2025 年 10 月 6 日] 正式发布 Cosmos-Predict2.5 和 Cosmos-Transfer2.5 —— 我们世界模拟模型的下一代版本！

Cosmos-Predict2.5

我们推出 Cosmos-Predict2.5，这是 Cosmos 世界基础模型（WFMs）系列的最新版本，专门用于以视频形式模拟和预测世界的未来状态。Cosmos-Predict2.5 是一种基于流（flow-based）的模型，将 Text2World、Image2World 和 Video2World 统一到单一模型中，并采用 Cosmos-Reason1（一种物理 AI 推理视觉语言模型，VLM）作为文本编码器。Cosmos-Predict2.5 在生成质量和提示对齐方面相比 Cosmos-Predict1 有显著提升。

Image2World

输入提示

一个夜间城市公交总站逐渐从静止状态过渡到细微的动态。起初，多辆双层巴士停靠在顶灯的光晕下，其中一辆标有“87D”的中央巴士正对前方且静止不动。随着视频推进，中间的巴士缓慢前行，其前照灯照亮周围区域，并在邻近车辆上投射出反光。这一动作在车队中腾出空间，暗示这个原本安静的车站开始活跃起来。随后，该巴士平稳停下，重新回到队列中的位置。上方的中文标识牌持续亮起，增强了充满活力的城市夜景氛围。

输入图像	输出视频

Video2World

输入提示（Input prompt）

一个以白色为主、带有黑色关节和线缆的机械臂，出现在干净现代的室内环境中，桌面为白色。该机械臂配备了一个夹爪，夹爪抓着一个浅绿色的小水壶，正位于一个装有红棕色液体和一把勺子的透明玻璃杯上方。机械臂正在将一种透明液体倒入玻璃杯中。在水壶左侧，有一个打开的罐子，透过其透明罐体可见类似的红棕色物质。背景中部分可见一个插有白色花朵的花瓶和一张棕色沙发，增添了当代氛围。光线明亮，在桌面上投下柔和的阴影。机械臂的动作流畅且受控，展现出任务执行中的精准性。随着视频推进，机械臂完成倾倒动作，玻璃杯被红棕色液体填充至半满。在整个过程中，罐子始终未被触碰，玻璃杯内的勺子也保持静止。右侧的另一只机械臂在整个视频中同样保持不动。最后一帧捕捉到机械臂完成倾倒的瞬间：玻璃杯液位升高，水壶略微倾斜但仍被夹爪牢固抓持。

输入视频	输出视频

Cosmos-Predict2.5 模型系列

我们的世界模拟模型 Cosmos-Predict 的核心能力是以视频形式预测未来的世界状态，并支持多模态输入（multimodal inputs）。我们已开源了预训练的基础模型（foundation models）以及针对多个领域进行后训练（post-trained）的模型。我们将持续向 Predict 系列添加更多专用模型和功能，请持续关注！

Cosmos-Predict2.5：专为物理 AI（Physical AI）和机器人学从头训练的 2B 检查点 和 14B 检查点。

Cosmos-Predict2.5/auto/multiview：专为自动驾驶（Autonomous Vehicle）应用后训练的 检查点。

模型名称	能力	输入
Cosmos-Predict2.5 base
Cosmos-Predict2.5-2B/pre-trained	预训练基础模型	文本 + 图像或视频
Cosmos-Predict2.5-2B/post-trained	后训练基础模型	文本 + 图像或视频
Cosmos-Predict2.5-2B/distilled	蒸馏基础模型	文本
Cosmos-Predict2.5-14B/pre-trained	预训练基础模型	文本 + 图像或视频
Cosmos-Predict2.5-14B/post-trained	后训练基础模型	文本 + 图像或视频
Cosmos-Predict2.5 auto
Cosmos-Predict2.5-2B/auto/multiview	自动驾驶，7 相机视角	文本 + 图像或视频
Cosmos-Predict2.5-2B robot
Cosmos-Predict2.5-2B/robot/action-cond	机器人，动作条件（action-conditioned）	动作（action）
Cosmos-Predict2.5-2B/robot/multiview-agibot	机器人，AgiBot 数据，3 相机视角	文本 + 图像
Cosmos-Predict2.5-2B/robot/policy	在 Libero 和 RoboCasa 上后训练	动作 + 图像

用户指南

• 安装指南
• 故障排除
• 推理（Inference）
  • 自动多视角（Auto Multiview）
  • 机器人动作条件（Robot Action-Conditioned）
  • 机器人多视角-Agibot（Robot Multiview-Agibot）
  • 机器人策略（Robot Policy）
• Diffusers 推理指南
• 后训练（Post-Training）
  • Video2World Cosmos-NeMo-Assets
  • Video2World DreamGen Bench
  • 自动多视角（Auto Multiview）
  • 机器人动作条件（Robot Action-Conditioned）
  • 机器人策略（Robot Policy）
• 蒸馏（Distillation）
  • 机器人动作条件（Robot Action-Conditioned）

贡献

我们非常欢迎社区协作！如果没有像您这样的开发者的贡献，NVIDIA-Cosmos 就不会有今天的成就。请查阅我们的 贡献指南 开始参与，并通过 issue 提交您的反馈。

衷心感谢 🙏 所有帮助我们推动开源物理 AI 边界的人！

许可与联系

本项目将下载并安装额外的第三方开源软件项目。使用前请仔细阅读这些开源项目的许可条款。

NVIDIA Cosmos 源代码采用 Apache 2.0 许可证 发布。

NVIDIA Cosmos 模型采用 NVIDIA 开源模型许可证（NVIDIA Open Model License） 发布。如需定制许可，请联系 cosmos-license@nvidia.com。

cosmos-predict2.5 快速上手指南

环境准备

• 操作系统：Linux（推荐 Ubuntu 20.04/22.04）
• GPU：NVIDIA GPU（建议 H100/A100/L4 或更新架构，支持 Blackwell）
• 驱动与 CUDA：
  • NVIDIA 驱动 ≥ 550
  • CUDA ≥ 12.3
• Python：≥ 3.10
• 其他依赖：
  • Git LFS（用于下载大模型文件）
  • Docker（可选，用于容器化部署）

💡 国内用户建议配置 Hugging Face 镜像加速模型下载（如使用 hf-mirror.com）。

安装步骤

1. 克隆仓库并初始化子模块：

git clone https://github.com/nvidia-cosmos/cosmos-predict2.5.git
cd cosmos-predict2.5
git lfs install

2. 创建并激活 Python 虚拟环境：

python -m venv venv
source venv/bin/activate

3. 安装依赖（推荐使用国内 PyPI 镜像加速）：

pip install --upgrade pip
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

4. （可选）安装 Diffusers 支持（用于 Hugging Face Pipeline）：

pip install diffusers>=0.30.0

基本使用

以下示例展示如何使用 Cosmos-Predict2.5-2B base 模型 进行 Text-to-World 视频生成（基于 distilled checkpoint，仅需文本输入）：

from diffusers import Cosmos2_5_PredictBasePipeline
import torch

# 加载模型（首次运行会自动从 Hugging Face 下载）
pipe = Cosmos2_5_PredictBasePipeline.from_pretrained(
    "nvidia/Cosmos-Predict2.5-2B",
    subfolder="base/distilled",
    torch_dtype=torch.float16,
).to("cuda")

# 生成视频
prompt = "A robotic arm pouring liquid into a glass on a white table."
video = pipe(prompt, num_frames=16, height=256, width=256).frames[0]

# 保存为 GIF（需安装 imageio 和 imageio[ffmpeg]）
import imageio
imageio.mimsave("output.gif", video, fps=8)

📌 提示：

• 首次运行会下载约数 GB 的模型权重，请确保网络畅通。国内用户可通过设置 HF_ENDPOINT=https://hf-mirror.com 加速。
• 更多用法（如 Image2World、Video2World、机器人策略推理等）请参考官方文档：Inference Guide 和 Cosmos Cookbook。