InternUtopia

🔥 新闻

• [2025-07] InternUtopia 2.2.0 发布！
• [2025-07] 我们的项目已更名为 InternUtopia。
• [2025-02] GRUtopia 2.0 发布！
• [2024-07] 我们发布了 GRUtopia 的 论文 和演示视频。

🚀 2.0 版本的新特性

• 兼容 Gym 的环境实现。
• 易于使用的 Python 风格配置系统，开箱即用的 传感器、控制器、机器人 和 任务。
• 驾驶 多样化机器人 及其相应策略的示例。
• 面向 社交导航 和 移动操作 任务的基准测试与基线。
• 结合 动作捕捉 和 Apple Vision Pro 的传送工具。
• 物理精确的 交互式物体资源，可直接用于仿真。
• 基于程序化生成的 室内场景，并附带 GRScenes-100。

📋 目录

• 🏠 关于
• 📚 入门指南
• 🏙️ 资源
• 📦 基准测试与方法
• 👥 支持
• 📝 待办事项
• 🔗 引用
• 📄 许可证
• 👏 致谢

🏠 关于

近年来，研究者们一直在探索具身人工智能领域的规模效应。鉴于收集真实世界数据的成本高昂，我们认为 模拟到现实（Sim2Real）范式 是扩展具身模型学习能力更为可行的途径。

我们推出了项目 InternUtopia（中文名：桃源），这是一个面向具身 AGI 的通用研究平台。它包含多项创新：

• 🏙️ GRScenes 场景数据集，收录了 10 万个精细标注的交互式场景。GRScenes 涵盖 89 种多样化的场景类别，有助于推动通用机器人在不同场景中的部署。
• 🧑‍🤝‍🧑 GRResidents 是一个由大型语言模型驱动的非玩家角色（NPC）系统，能够实现社交互动、任务生成和任务分配，从而为具身 AI 应用模拟出 社交场景。
• 🤖 GRBench 是一系列具身 AI 基准测试，用于评估解决具身任务的各种能力。

我们希望这项工作能够缓解该领域高质量数据的匮乏，并为具身人工智能研究提供更全面的评估手段。

📚 入门指南

前提条件

• Ubuntu 20.04 或 22.04
• NVIDIA Omniverse Isaac Sim 4.5.0
  • 操作系统：Ubuntu 20.04/22.04
  • NVIDIA GPU（RTX 2070 或更高）
  • NVIDIA GPU 驱动程序（推荐版本 535.216.01+）
  • Docker（可选）
  • NVIDIA 容器工具包（可选）
• Conda
  • Python 3.10.16（3.10.* 版本均可）

安装

我们提供了安装指南 这里。您可以选择本地安装或使用 Docker，轻松完成验证。

文档与教程

我们为 InternUtopia 中支持的各个模块提供了详细的 文档。欢迎尝试使用，并提出您的宝贵建议！

🏙️ 资产

[!NOTE] 📝首先，您必须完成GRScenes-100 数据集访问用户协议。

然后，您可以选择下载所有资产（约80GB）或最小集合（约500MB），以通过运行以下脚本并安装InternUtopia来检查安装情况：

$ python -m internutopia.download_assets

默认的下载资产存储路径是${PATH/TO/INTERNUTOPIA/ROOT}/internutopia/assets。用户有两种方式来配置资产路径：

1. 在下载时使用 python -m internutopia.download_assets 指定自定义路径。
2. 后续运行 python -m internutopia.set_assets_path 并输入首选目录来设置。

GRScenes-100

如果您想单独下载 GRScenes-100 场景资产，可以从 OpenDataLab、ModelScope 和 HuggingFace 手动下载。请参阅使用说明了解场景的使用方法。

机器人与权重

如果您想单独下载机器人和策略权重，可以从 OpenDataLab、ModelScope 和 HuggingFace 手动下载 robot 目录，并将其移动到资产路径的根目录下。

📦 基准测试与方法

我们初步建立了三个基准测试，用于从不同方面评估具身智能体的能力：物体本地导航、社交本地导航和本地操作。请参考 InternNav 和 InternManip 来运行这些基准测试。

👥 支持

如需帮助，请加入我们的 微信 支持群或 Discord。

📝 待办事项清单

• [x] 发布包含演示的论文。
• [x] 发布具有基本功能和演示场景的平台。
• [x] 发布100个精选场景。
• [x] 完善API及相关代码。
• [x] 全面发布并进行后续更新。
• [x] 发布基线方法和基准数据。
• [x] 支持多回合任务。
• [x] 实现向量化环境和批量执行。
• [ ] 训练框架。

🔗 引用

如果您觉得我们的工作有所帮助，请引用以下内容：

@inproceedings{grutopia,
    title={GRUtopia: Dream General Robots in a City at Scale},
    author={Wang, Hanqing and Chen, Jiahe and Huang, Wensi and Ben, Qingwei and Wang, Tai and Mi, Boyu and Huang, Tao and Zhao, Siheng and Chen, Yilun and Yang, Sizhe and Cao, Peizhou and Yu, Wenye and Ye, Zichao and Li, Jialun and Long, Junfeng and Wang, ZiRui and Wang, Huiling and Zhao, Ying and Tu, Zhongying and Qiao, Yu and Lin, Dahua and Pang Jiangmiao},
    year={2024},
    booktitle={arXiv},
}

📄 许可证

InternUtopia 的仿真平台采用 MIT 许可证。开源的 GRScenes 则遵循知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议。

👏 致谢

• OmniGibson：我们在设计 oracle 动作时参考了 OmniGibson 的方案。
• RSL_RL：我们使用 rsl_rl 库来训练足式机器人的控制策略。
• ReferIt3D：我们参考 Sr3D 的方法来提取空间关系。
• Isaac Lab：我们在 Isaac Sim 中利用 Orbit（Isaac Lab）的一些工具来驱动关节。
• Open-TeleVision：我们使用 Open-TeleVision 通过 Apple VisionPro 进行远程操控。
• HaMeR：我们在通过摄像头进行远程操控时使用 HaMeR 来识别手势。
• Infinigen：我们基于 GRScenes-100 数据集 使用 Infinigen 以程序化方式生成室内场景。
• VLFM：我们在实现基准测试基线时参考了 VLFM。
• Grounding DINO：我们在基准测试基线中使用 Grounding DINO。
• YOLOv7：我们在基准测试基线中使用 YOLOv7。
• MobileSAM：我们在基准测试基线中使用 MobileSAM。

InternUtopia 快速上手指南

InternUtopia（原名 GRUtopia，中文名“桃源”）是一个通用的具身智能（Embodied AI）研究平台，旨在通过高保真仿真环境加速从仿真到现实（Sim2Real）的模型训练。本平台提供大规模交互场景数据集（GRScenes）、社交 NPC 系统以及多种机器人基准测试。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Ubuntu 20.04 或 22.04
• 仿真引擎: NVIDIA Omniverse Isaac Sim 4.5.0
  • GPU: NVIDIA RTX 2070 或更高版本
  • 驱动: 推荐 NVIDIA GPU Driver 535.216.01+
  • (可选) Docker 及 NVIDIA Container Toolkit
• Python 环境:
  • Conda
  • Python 3.10.16 (3.10.* 系列均可)

安装步骤

1. 基础安装

请参考官方详细文档完成核心环境的部署（支持本地安装或 Docker 部署）： 安装指南链接

2. 获取资产数据 (Assets)

注意：下载数据前，您必须先填写并签署 GRScenes-100 数据集用户协议。

签署完成后，运行以下脚本下载资产。您可以选择下载完整包（约 80GB）或最小集（约 500MB）以验证安装：

python -m internutopia.download_assets

默认资产存储路径为 ${PATH/TO/INTERNUTOPIA/ROOT}/internutopia/assets。如需自定义路径，可在下载时指定，或在下载后运行：

python -m internutopia.set_assets_path

3. 国内加速下载 (推荐)

如果您在中国大陆，建议通过国内镜像源手动下载场景和机器人权重，以避免网络问题。下载后将其移至上述资产路径中。

• 场景数据 (GRScenes-100):
  • OpenDataLab
  • ModelScope (魔搭)
• 机器人与策略权重:
  • 从上述平台的 robots 目录下载，并移动到资产根目录。

基本使用

InternUtopia 提供了基于 Python 的配置系统，可轻松调用传感器、控制器、机器人和任务。

运行示例：键盘控制机器人

安装并配置好资产后，您可以尝试使用键盘驱动机器人（例如 Unitree G1）。具体命令参考官方教程，通常结构如下：

# 示例：启动键盘控制接口 (具体脚本名称请参考 tutorials 文档)
python scripts/drive_unitree_g1_with_keyboard.py

进阶功能入口

• 传感器/控制器配置: 查看 如何使用传感器 和 如何使用控制器。
• 基准测试: 运行社交导航 (InternNav) 或移动操作 (InternManip) 基准测试。
• 遥操作: 支持通过 Mocap 或 Apple VisionPro 进行真机/仿真遥操作。

更多详细用法和 API 文档请访问：InternUtopia 用户文档