ManiSkill 3 (测试版)

使用光线追踪渲染的环境/机器人示例。场景数据集来源于AI2THOR和ReplicaCAD

ManiSkill是一个功能强大的统一机器人仿真与训练框架，基于SAPIEN构建，专注于操作技能。整个技术栈尽可能开源，目前ManiSkill v3处于测试版发布阶段。其主要特性包括：

• GPU并行化的视觉数据采集系统。在高端配置下，使用4090显卡可实现超过30,000 FPS的RGBD + 分割数据采集！
• GPU并行化仿真，支持高吞吐量的状态驱动合成数据采集。
• GPU并行化的异构仿真，每个并行环境都拥有完全不同的场景/物体集合。
• 示例任务覆盖多种机器人形态（人形机器人、移动操作臂、单臂机器人）以及多种任务类型（桌面操作、绘画/清洁、灵巧操作）。
• 灵活且简洁的任务构建API，通过面向对象的设计抽象掉了复杂的GPU内存管理代码。
• Real2sim环境，可通过GPU仿真以100倍速度高效评估真实世界策略。
• Sim2real支持，可将仿真中训练好的策略部署到真实世界。
• 许多经过调优的机器人学习基准模型，涵盖强化学习（如PPO、SAC、TD-MPC2）、模仿学习（如行为克隆、Diffusion Policy）以及大型视觉语言行动（VLA）模型（如Octo、RDT-1B、RT-x)。

欲了解更多详情，请参阅我们在RSS 2025上发表的论文。

请查阅我们的文档，其中包含从任务构建到Sim2Real再到运行基准模型的教程。

注意： 本项目目前处于测试版阶段，因此并非所有功能均已完善，可能存在一些Bug。如果您发现任何问题或有功能需求，请提交至我们的GitHub Issues或在GitHub Discussions中讨论。我们还有一个Discord服务器，用于发布公告及讨论ManiSkill相关事宜。

希望使用原始ManiSkill2的用户，可在v0.5.3标签中找到该版本的代码。

安装

ManiSkill的安装非常简单，只需执行几条pip命令并设置Vulkan进行渲染即可。

# 安装软件包
pip install --upgrade mani_skill
# 安装与您的系统兼容的torch版本
pip install torch

最后，您还需要按照此处的说明设置Vulkan。

有关安装的更多详细信息（例如从源码安装或故障排除），请参阅文档。

入门指南

要开始使用，请查看快速入门文档：https://maniskill.readthedocs.io/en/latest/user_guide/getting_started/quickstart.html

我们还提供了一个快速入门的Colab笔记本，让您无需自己的硬件即可体验GPU并行化仿真。所有内容均可在Colab免费层级上运行。

完整的示例脚本列表，请参阅文档。

系统支持

我们目前最支持Linux系统。Windows和MacOS的支持相对有限。我们正在努力增加对其他系统的支持，但这可能需要一些时间。大多数限制源于SAPIEN包所能支持的功能。

系统 / 显卡	CPU仿真	GPU仿真	渲染
Linux / NVIDIA显卡	✅	✅	✅
Windows / NVIDIA显卡	✅	❌	✅
Windows / AMD显卡	✅	❌	✅
WSL / 任何显卡	✅	❌	❌
MacOS / 任何显卡	✅	❌	✅

引用

如果您在工作中使用了ManiSkill3（mani_skill>=3.0.0版本），请引用我们的ManiSkill3论文，格式如下：

@article{taomaniskill3,
  title={ManiSkill3: GPU并行化机器人仿真与渲染，用于可泛化的具身AI},
  author={Stone Tao和Fanbo Xiang、Arth Shukla、Yuzhe Qin、Xander Hinrichsen、Xiaodi Yuan、Chen Bao、Xinsong Lin、Yulin Liu、Tse-kai Chan、Yuan Gao、Xuanlin Li、Tongzhou Mu、Nan Xiao、Arnav Gurha、Viswesh Nagaswamy Rajesh、Yong Woo Choi、Yen-Ru Chen、Zhiao Huang、Roberto Calandra、Rui Chen、Shan Luo、Hao Su},
  journal = {Robotics: Science and Systems},
  year={2025},
} 

如果您在工作中使用了ManiSkill2（mani_skill==0.5.3或更低版本），请引用ManiSkill2论文，格式如下：

@inproceedings{gu2023maniskill2,
  title={ManiSkill2：一个用于可泛化操作技能的统一基准},
  author={Gu, Jiayuan、Xiang, Fanbo、Li, Xuanlin、Ling, Zhan、Liu, Xiqiang、Mu, Tongzhou、Tang, Yihe、Tao, Stone、Wei, Xinyue、Yao, Yunchao、Yuan, Xiaodi、Xie, Pengwei、Huang, Zhiao、Chen, Rui、Su, Hao},
  booktitle={国际表示学习会议},
  year={2023}
}

请注意，ManiSkill中的部分资产、算法等来自其他来源或研究。我们在介绍ManiSkill提供的各个组件时，会尽力包含正确的引用BibTeX。

许可证

ManiSkill 中的所有刚体环境均采用完全宽松的许可证（例如 Apache-2.0）进行授权。

这些资产采用 CC BY-NC 4.0 许可证授权。

ManiSkill 3 快速上手指南

ManiSkill 是一个基于 SAPIEN 构建的强大机器人仿真与训练统一框架，专注于操作技能（Manipulation Skills）。ManiSkill v3 目前处于 Beta 版本，支持大规模 GPU 并行仿真、异构环境模拟以及从强化学习到视觉语言动作模型（VLA）的多种基线算法。

环境准备

系统要求

目前 ManiSkill 对 Linux 系统的支持最为完善。Windows 和 macOS 仅支持部分功能（如 CPU 仿真和渲染，但不支持 GPU 并行仿真）。

系统 / GPU	CPU 仿真	GPU 并行仿真	渲染
Linux / NVIDIA GPU	✅	✅	✅
Windows / NVIDIA GPU	✅	❌	✅
Windows / AMD GPU	✅	❌	✅
WSL / 任意 GPU	✅	❌	❌
MacOS / 任意 GPU	✅	❌	✅

注意：要体验完整的 GPU 并行加速能力（如 30,000+ FPS 数据采集），推荐使用 Linux + NVIDIA GPU 环境。

前置依赖

• Vulkan：必须安装并配置 Vulkan 以支持渲染功能。
  • 安装指南请参考官方文档：Vulkan Installation
• Python：建议使用 Python 3.8 或更高版本。
• PyTorch：需安装与您的 CUDA 版本兼容的 PyTorch。

安装步骤

1. 安装 ManiSkill

使用 pip 安装最新版本的 ManiSkill：

pip install --upgrade mani_skill

国内加速建议：如果下载速度较慢，可使用清华或阿里镜像源：

pip install --upgrade mani_skill -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装 PyTorch

请根据您的硬件环境（CUDA 版本）安装对应的 PyTorch 版本。以下为通用安装命令（具体版本请访问 PyTorch 官网 查询）：

pip install torch

3. 验证安装

确保 Vulkan 已正确配置后，即可开始使用。详细的故障排查可参考 安装文档。

基本使用

方式一：在线体验（无需本地硬件）

如果您想快速体验 GPU 并行仿真而无需配置本地环境，可以直接运行 Google Colab 示例：

点击上述链接即可在免费版的 Colab 中运行所有示例。

方式二：本地运行示例

安装完成后，您可以运行官方提供的示例脚本来快速上手。

1. 查看示例列表： 访问 示例脚本文档 获取完整列表。

2. 运行快速入门教程： 克隆仓库并运行基础的 Quickstart 脚本（假设已安装 git）：

git clone https://github.com/haosulab/ManiSkill.git
cd ManiSkill
python examples/tutorials/1_quickstart.py

核心功能概览

• 任务构建：通过面向对象的 API 轻松构建新任务，底层复杂的 GPU 内存管理已被抽象封装。
• 数据采集：利用 GPU 并行化特性，高效采集 RGBD、分割掩码等视觉数据。
• 算法基线：框架内置了多种调优过的基线算法，包括 PPO、SAC、Diffusion Policy、Octo 等，可直接用于复现或作为开发起点。

更多详细教程（从任务构建到 Sim2Real 部署）请参阅 用户指南。