基于语言指导的3D具身AI环境生成

论文 | 项目页面

需求

Holodeck基于AI2-THOR，目前支持macOS 10.9及以上或Ubuntu 14.04及以上。

新功能：若要向AI2-THOR添加任何新资源，请查看objathor仓库！

注意：为了获得更好的布局效果，请使用DFS作为求解器。如果您在2023年12月28日之前拉取了代码库，则必须将参数 --use_milp设置为False，以使用DFS。

安装

克隆代码库后，您可以使用以下命令安装所需的依赖项：

conda create --name holodeck python=3.10
conda activate holodeck
pip install -r requirements.txt
pip install --extra-index-url https://ai2thor-pypi.allenai.org ai2thor==0+8524eadda94df0ab2dbb2ef5a577e4d37c712897

数据

通过运行以下命令下载数据：

python -m objathor.dataset.download_holodeck_base_data --version 2023_09_23
python -m objathor.dataset.download_assets --version 2023_09_23
python -m objathor.dataset.download_annotations --version 2023_09_23
python -m objathor.dataset.download_features --version 2023_09_23

默认情况下，这些文件会保存到~/.objathor-assets/...，您可以通过指定--path参数来更改此目录。如果更改了--path，则在使用Holodeck时需要将OBJAVERSE_ASSETS_DIR环境变量设置为资产存储的路径。

使用

您可以使用以下命令生成一个新的环境。

python holodeck/main.py --query "a living room" --openai_api_key <OPENAI_API_KEY>

我们的系统使用gpt-4o-2024-05-13，请确保您有权访问它。

注意：为了获得更好的布局效果，请使用DFS作为求解器。如果您在2023年12月28日之前拉取了代码库，则必须将参数 --use_milp设置为False，以使用DFS。

在Unity中加载场景

1. 安装Unity，并选择编辑器版本2020.3.25f1。
2. 克隆AI2-THOR仓库，并切换到相应的AI2-THOR提交。

git clone https://github.com/allenai/ai2thor.git
git checkout 07445be8e91ddeb5de2915c90935c4aef27a241d

3. 重新安装一些包：

pip uninstall Werkzeug
pip uninstall Flask
pip install Werkzeug==2.0.1
pip install Flask==2.0.1

3. 在Unity中将ai2thor/unity作为项目加载，并打开ai2thor/unity/Assets/Scenes/Procedural/Procedural.unity。
4. 在终端中运行此Python脚本：

python connect_to_unity --scene <SCENE_JSON_FILE_PATH>

5. 在Unity中按下播放按钮（三角形）以查看场景。

引用

如果您在工作中使用此代码，请引用以下论文。

@InProceedings{Yang_2024_CVPR,
    author    = {Yang, Yue and Sun, Fan-Yun and Weihs, Luca and VanderBilt, Eli and Herrasti, Alvaro and Han, Winson and Wu, Jiajun and Haber, Nick and Krishna, Ranjay and Liu, Lingjie and Callison-Burch, Chris and Yatskar, Mark and Kembhavi, Aniruddha and Clark, Christopher},
    title     = {Holodeck: Language Guided Generation of 3D Embodied AI Environments},
    booktitle = {IEEE/CVF计算机视觉与模式识别会议（CVPR） proceedings},
    month     = {六月},
    year      = {2024},
    pages     = {16227-16237}
}

Holodeck 快速上手指南

Holodeck 是一个基于自然语言引导生成 3D 具身智能（Embodied AI）环境的开源工具，底层依赖 AI2-THOR 框架。

环境准备

• 操作系统：macOS 10.9+ 或 Ubuntu 14.04+
• Python 版本：3.10
• 前置依赖：
  • Conda 包管理器
  • OpenAI API Key（需拥有 gpt-4o-2024-05-13 模型访问权限）
  • Unity Editor（仅用于可视化场景，版本需为 2020.3.25f1）

安装步骤

1. 创建虚拟环境并安装依赖

克隆仓库后，执行以下命令配置 Python 环境：

conda create --name holodeck python=3.10
conda activate holodeck
pip install -r requirements.txt
pip install --extra-index-url https://ai2thor-pypi.allenai.org ai2thor==0+8524eadda94df0ab2dbb2ef5a577e4d37c712897

2. 下载数据资源

运行以下脚本下载基础数据、资产、标注和特征文件（默认保存至 ~/.objathor-assets/）：

python -m objathor.dataset.download_holodeck_base_data --version 2023_09_23
python -m objathor.dataset.download_assets --version 2023_09_23
python -m objathor.dataset.download_annotations --version 2023_09_23
python -m objathor.dataset.download_features --version 2023_09_23

注意：若通过 --path 参数指定了其他存储路径，使用前需设置环境变量 OBJAVERSE_ASSETS_DIR 指向该路径。

基本使用

生成 3D 环境

使用以下命令即可根据自然语言描述生成场景。请将 <OPENAI_API_KEY> 替换为你的实际密钥。

python holodeck/main.py --query "a living room" --openai_api_key <OPENAI_API_KEY>

优化建议：为了获得更优的布局效果，建议使用 DFS 作为求解器。如果你在 2023 年 12 月 28 日之前拉取的代码，需在命令中添加参数 --use_milp False 以启用 DFS。

（可选）在 Unity 中加载场景

若需在 Unity 编辑器中查看生成的场景，请按以下步骤操作：

1. 安装 Unity Editor 2020.3.25f1。
2. 克隆 AI2-THOR 仓库并切换至指定 commit：

   git clone https://github.com/allenai/ai2thor.git
   git checkout 07445be8e91ddeb5de2915c90935c4aef27a241d
   

3. 重装特定版本的 Flask 和 Werkzeug：

   pip uninstall Werkzeug
   pip uninstall Flask
   pip install Werkzeug==2.0.1
   pip install Flask==2.0.1
   

4. 在 Unity 中打开项目 ai2thor/unity，并加载场景 ai2thor/unity/Assets/Scenes/Procedural/Procedural.unity。
5. 在终端运行连接脚本（替换 <SCENE_JSON_FILE_PATH> 为生成的场景文件路径）：

   python connect_to_unity --scene <SCENE_JSON_FILE_PATH>
   

6. 点击 Unity 编辑器中的播放按钮（三角形图标）即可查看场景。