ShapeLLM-Omni：用于3D生成与理解的原生多模态大模型

叶俊亮^1,2*, 王正毅^1,2*, 赵若文^1*, 谢圣豪³, 朱俊^1,2†
*共同第一作者。
^†通讯作者。
¹清华大学, ²升数科技, ³北京大学,

NeurIPS 2025 Spotlight 🔥

https://github.com/user-attachments/assets/f77bb981-15ef-4546-ae1a-9baf05dc8002

发布

• [6月3日] 🔥🔥我们发布了ShapeLLM-Omni（7B）和3DVQVAE的预训练权重。
• [6月3日] 🔥🔥我们发布了5万对高质量的3D编辑数据。
• [6月7日] 🔥🔥我们搭建了一个演示，供大家试用。

安装

请按照TRELLIS和QWEN2.5-vl的说明设置Python环境，或者您也可以通过以下命令创建：

pip install -r requirements.txt

推理

我们建议使用Gradio界面进行推理可视化。

python app.py

https://github.com/user-attachments/assets/edb2b828-b65c-40f6-88da-9f5094c40b2e

关于不同任务使用的模板，请参阅templates.txt

定性结果

https://github.com/user-attachments/assets/79a33188-3ef0-4702-9892-15b864710f2d

https://github.com/user-attachments/assets/43b7bc78-1bef-4b79-bbdb-edfc4ad2b8e1

重要提示

• 更多示例请参考我们的项目页面。

待办事项

• 整个3D-Alpaca数据集的发布。
• 训练代码的发布。
• 具有多轮对话和3D编辑能力的模型权重发布。

致谢

我们的代码基于以下优秀的开源项目：

• LLaMA-Factory
• TRELLIS
• PointLLM
• Qwen2.5-VL
• LLaMA-Mesh
• DeepMesh

此外，我们也诚邀您探索我们的最新工作——Nano3D，这是一种无需掩码约束、无需训练的3D编辑算法。基于该算法，我们将很快以开源形式发布更高质量的3D编辑数据集——3D-Alpaca-Editing-v2（Nano3D-Edit-100k）。

✍️ 引用

@article{ye2025shapellm,
  title={ShapeLLM-Omni: A Native Multimodal LLM for 3D Generation and Understanding},
  author={Ye, Junliang and Wang, Zhengyi and Zhao, Ruowen and Xie, Shenghao and Zhu, Jun},
  journal={arXiv preprint arXiv:2506.01853},
  year={2025}
}

ShapeLLM-Omni 快速上手指南

ShapeLLM-Omni 是一个原生的多模态大语言模型，专为 3D 生成与理解任务设计。本指南将帮助开发者快速完成环境配置并运行推理演示。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• Python 版本: 建议 Python 3.10 或更高版本
• 硬件要求: 需要配备 NVIDIA GPU（支持 CUDA），显存建议 16GB 以上以流畅运行 7B 模型。
• 前置依赖: 本项目架构基于 TRELLIS 和 QWEN2.5-VL。请确保系统已安装基础的编译工具（如 gcc, g++）和 CUDA Toolkit。

提示：国内用户建议在安装 Python 依赖时使用清华源或阿里源加速下载。

安装步骤

1. 克隆项目代码

首先从 GitHub 克隆仓库到本地：

git clone https://github.com/JAMESYJL/ShapeLLM-Omni.git
cd ShapeLLM-Omni

2. 创建虚拟环境（可选但推荐）

使用 conda 或 venv 创建独立的 Python 环境：

conda create -n shapellm python=3.10 -y
conda activate shapellm

3. 安装依赖库

项目提供了 requirements.txt 文件，可直接一键安装所有必要依赖。 国内加速方案：使用 -i 参数指定清华镜像源。

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：如果安装过程中遇到与 TRELLIS 或 QWEN2.5-VL 相关的特定编译错误，请参考这两个项目的官方安装文档进行排查。

基本使用

安装完成后，您可以通过内置的 Gradio Web UI 进行可视化的 3D 生成与理解推理。这是最简单且直观的试用方式。

启动推理服务

在项目根目录下运行以下命令启动应用：

python app.py

访问界面

命令执行成功后，终端会显示本地访问地址（通常为 http://127.0.0.1:7860）。请在浏览器中打开该地址即可进入交互界面。

• 功能说明：您可以在界面中输入文本指令或上传图像/3D 数据，模型将执行相应的 3D 生成、编辑或理解任务。
• 提示词模板：针对不同任务的最佳输入格式，请参考项目中的 templates.txt 文件。

模型权重

推理时程序会自动从 Hugging Face 拉取预训练权重（ShapeLLM-Omni-7B 和 3DVQVAE）。如果网络受限，建议手动下载权重文件至本地缓存目录：

• 模型权重：yejunliang23/ShapeLLM-7B-omni
• 数据集示例：3D-Alpaca