---

我们很高兴推出 LingBot-World，这是一个源自视频生成的开源世界模拟器 (World Simulator)。作为顶级世界模型 (World Model)，LingBot-World 提供以下功能。

• 高保真与多样化环境：它在广泛的环境（包括写实、科学场景、卡通风格等）中保持高保真度和稳健的动态效果。
• 长期记忆与一致性：它实现了分钟级的时间跨度，同时保持上下文随时间的一致性，这也被称为长期记忆 (Long-Term Memory)。
• 实时交互与开放访问：它支持实时交互，在生成每秒 16 帧 (Frames Per Second) 时延迟低于 1 秒。我们公开提供了代码和模型的访问权限，旨在缩小开源 (Open-Source) 与闭源技术之间的差距。我们相信我们的发布将为社区赋能，使其在内容创作、游戏和机器人学习 (Robot Learning) 等领域获得实际应用。

🎬 视频演示

🔥 新闻

• 2026 年 3 月 2 日：🎉 我们发布了 LingBot-World-Base (Act) 模型权重。
• 2026 年 1 月 29 日：🎉 我们发布了 LingBot-World 的技术报告、代码和模型。

⚙️ 快速开始

此代码库基于 Wan2.2 构建。安装说明请参阅其文档。

安装

克隆仓库：

git clone https://github.com/robbyant/lingbot-world.git
cd lingbot-world

安装依赖：

# Ensure torch >= 2.4.0
pip install -r requirements.txt

安装 flash_attn：

pip install flash-attn --no-build-isolation

模型下载

模型	控制信号	分辨率	下载链接
LingBot-World-Base (Cam)	相机位姿	480P & 720P	🤗 HuggingFace 🤖 ModelScope
LingBot-World-Base (Act)	动作	480P & 720P	🤗 HuggingFace
LingBot-World-Fast	-	-	即将发布

使用 huggingface-cli 下载模型：

pip install "huggingface_hub[cli]"
huggingface-cli download robbyant/lingbot-world-base-cam --local-dir ./lingbot-world-base-cam

使用 modelscope-cli 下载模型：

pip install modelscope
modelscope download robbyant/lingbot-world-base-cam --local_dir ./lingbot-world-base-cam

推理

在运行推理之前，您需要准备：

• 输入图像
• 文本提示
• 控制信号（可选，可使用 ViPE 从视频生成）
  • intrinsics.npy（内参）：形状 [num_frames, 4]，其中 4 个值代表 [fx, fy, cx, cy]
  • poses.npy（位姿）：形状 [num_frames, 4, 4]，其中每个 [4, 4] 代表 OpenCV 坐标系下的变换矩阵

我们提供以下参考推理脚本：

• LingBot-World-Base (Cam)：
  • 480P：

  torchrun --nproc_per_node=8 generate.py --task i2v-A14B --size 480*832 --ckpt_dir lingbot-world-base-cam --image examples/00/image.jpg --action_path examples/00 --dit_fsdp --t5_fsdp --ulysses_size 8 --frame_num 161 --prompt "The video presents a soaring journey through a fantasy jungle. The wind whips past the rider's blue hands gripping the reins, causing the leather straps to vibrate. The ancient gothic castle approaches steadily, its stone details becoming clearer against the backdrop of floating islands and distant waterfalls."
  

  • 720P：

  torchrun --nproc_per_node=8 generate.py --task i2v-A14B --size 720*1280 --ckpt_dir lingbot-world-base-cam --image examples/00/image.jpg --action_path examples/00 --dit_fsdp --t5_fsdp --ulysses_size 8 --frame_num 161 --prompt "The video presents a soaring journey through a fantasy jungle. The wind whips past the rider's blue hands gripping the reins, causing the leather straps to vibrate. The ancient gothic castle approaches steadily, its stone details becoming clearer against the backdrop of floating islands and distant waterfalls."
  

  或者，您也可以在不使用控制信号的情况下运行推理：

  torchrun --nproc_per_node=8 generate.py --task i2v-A14B --size 480*832 --ckpt_dir lingbot-world-base-cam --image examples/00/image.jpg --dit_fsdp --t5_fsdp --ulysses_size 8 --frame_num 161 --prompt "The video presents a soaring journey through a fantasy jungle. The wind whips past the rider's blue hands gripping the reins, causing the leather straps to vibrate. The ancient gothic castle approaches steadily, its stone details becoming clearer against the backdrop of floating islands and distant waterfalls."
  

• LingBot-World-Base (Act)：
  • 480P：

  torchrun --nproc_per_node=8 generate.py --task i2v-A14B --size 480*832 --ckpt_dir lingbot-world-base-act --image examples/00/image.jpg --action_path examples/00 --dit_fsdp --t5_fsdp --ulysses_size 8 --frame_num 161 --prompt "The video presents a soaring journey through a fantasy jungle. The wind whips past the rider's blue hands gripping the reins, causing the leather straps to vibrate. The ancient gothic castle approaches steadily, its stone details becoming clearer against the backdrop of floating islands and distant waterfalls."
  

  • 720P：

  torchrun --nproc_per_node=8 generate.py --task i2v-A14B --size 720*1280 --ckpt_dir lingbot-world-base-act --image examples/00/image.jpg --action_path examples/00 --dit_fsdp --t5_fsdp --ulysses_size 8 --frame_num 161 --prompt "The video presents a soaring journey through a fantasy jungle. The wind whips past the rider's blue hands gripping the reins, causing the leather straps to vibrate. The ancient gothic castle approaches steadily, its stone details becoming clearer against the backdrop of floating islands and distant waterfalls."
  

提示： 如果您有足够的 CUDA 显存，可以将 frame_num 参数增加到 961 等数值，以生成 16 FPS 的一分钟视频。否则，如果 CUDA 显存不足，您可以使用 --t5_cpu 来降低显存占用。

针对有限 GPU 资源的量化模型

我们要衷心感谢社区对 LingBot-World 的宝贵支持和贡献。对于 GPU 显存有限的用户，我们推荐使用 LingBot-World-Base (Cam) 的 4-bit 量化版本，这能显著降低 GPU 显存消耗，同时在推理时保持具有竞争力的视觉质量。

👉 下载链接：https://huggingface.co/cahlen/lingbot-world-base-cam-nf4

⚠️ 注意：此量化模型仅用于推理。与全精度模型相比，可能会出现轻微的视觉保真度和时间一致性下降。

演示结果

我们提供了对比演示，其中相机参数由 ViPE 从从 Genie3 下载的原始视频中估计得出：

📚 相关项目

• HoloCine
• Ditto
• WorldCanvas
• RewardForcing
• CoDeF

📜 许可证

本项目采用 Apache 2.0 许可证授权。请参阅 LICENSE 文件 获取完整文本，包括权利和限制的详细信息。

✨ 致谢

我们要向 Wan Team 开源其代码和模型表示诚挚的感谢。他们的贡献对本项目的开发至关重要。

📖 引用

如果您发现这项工作对您的研究有用，请引用我们的论文：

@article{lingbot-world,
      title={Advancing Open-source World Models}, 
      author={Robbyant Team and Zelin Gao and Qiuyu Wang and Yanhong Zeng and Jiapeng Zhu and Ka Leong Cheng and Yixuan Li and Hanlin Wang and Yinghao Xu and Shuailei Ma and Yihang Chen and Jie Liu and Yansong Cheng and Yao Yao and Jiayi Zhu and Yihao Meng and Kecheng Zheng and Qingyan Bai and Jingye Chen and Zehong Shen and Yue Yu and Xing Zhu and Yujun Shen and Hao Ouyang},
      journal={arXiv preprint arXiv:2601.20540},
      year={2026}
}

LingBot-World 快速上手指南

LingBot-World 是一个开源的世界模拟器，基于视频生成技术构建。它支持高保真环境、长时序记忆以及实时交互，适用于内容创作、游戏及机器人学习等领域。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 系统: Linux / Windows (推荐 Linux)
• Python: 3.10+
• CUDA: 兼容的 NVIDIA 显卡驱动
• PyTorch: 版本需 >= 2.4.0
• 依赖: 本项目基于 Wan2.2，部分依赖可参考其文档。

安装步骤

1. 克隆代码库

git clone https://github.com/robbyant/lingbot-world.git
cd lingbot-world

2. 安装依赖

# 确保 torch >= 2.4.0
pip install -r requirements.txt

3. 安装 Flash Attention

pip install flash-attn --no-build-isolation

4. 下载模型权重

推荐使用国内镜像源（ModelScope）以加速下载。

下载 Base (Cam) 模型：

pip install modelscope
modelscope download robbyant/lingbot-world-base-cam --local_dir ./lingbot-world-base-cam

(注：如需下载 Act 模型，请将链接替换为 robbyant/lingbot-world-base-act)

基本使用

运行推理前，请准备好输入图片（如 examples/00/image.jpg）。

基础推理命令

以下示例展示了无控制信号的基础图像转视频生成（480P 分辨率）：

torchrun --nproc_per_node=8 generate.py --task i2v-A14B --size 480*832 --ckpt_dir lingbot-world-base-cam --image examples/00/image.jpg --dit_fsdp --t5_fsdp --ulysses_size 8 --frame_num 161 --prompt "The video presents a soaring journey through a fantasy jungle. The wind whips past the rider's blue hands gripping the reins, causing the leather straps to vibrate. The ancient gothic castle approaches steadily, its stone details becoming clearer against the backdrop of floating islands and distant waterfalls."

显存优化建议

• 低显存用户：如果 CUDA 显存不足，可添加 --t5_cpu 参数以降低内存占用。
• 长视频生成：若显存充足，可将 frame_num 调整为更大值（如 961）以生成约 1 分钟的视频（16 FPS）。
• 量化模型：对于资源有限的用户，推荐使用 4-bit 量化版本（HuggingFace 链接），但仅用于推理，画质可能略有下降。