LLaMA-Mesh：统一语言模型与三维网格生成

论文 | 项目页面 | 模型权重 | Hugging Face 演示 | Blender 插件

通过聊天创建 3D 网格。

Zhengyi Wang、Jonathan Lorraine、Yikai Wang、Hang Su、Jun Zhu、Sanja Fidler、Xiaohui Zeng

摘要：本工作探索将基于文本预训练的大型语言模型（LLM）的能力扩展至在统一模型中生成 3D 网格。这一方法具有以下关键优势：(1) 充分利用 LLM 中已嵌入的空间知识，这些知识源自 3D 教程等文本资源；(2) 实现对话式的 3D 生成与网格理解。主要挑战在于如何有效地将 3D 网格数据编码为 LLM 能够无缝处理的离散标记。为此，我们提出了 LLaMA-Mesh，这是一种新颖的方法，它将 3D 网格的顶点坐标和面定义表示为纯文本，从而无需扩展词汇表即可直接与 LLM 集成。我们构建了一个监督微调（SFT）数据集，使预训练的 LLM 能够 (1) 根据文本提示生成 3D 网格，(2) 按需生成文本与 3D 网格交错的输出，以及 (3) 理解并解释 3D 网格。我们的工作首次证明，LLM 可以通过微调获得用于 3D 网格生成的复杂空间知识，并以文本形式呈现，从而有效统一 3D 和文本两种模态。LLaMA-Mesh 在网格生成质量上可与从头训练的模型相媲美，同时保持强大的文本生成性能。

https://github.com/user-attachments/assets/11291517-6309-453c-9e7d-087198a8bd87

待办事项

• 发布 模型权重 和 在线演示。（2024年11月18日）
• 发布推理代码。
• 上传训练数据集。

方法

我们的方法概述。LLaMA-Mesh 通过将 3D 网格的顶点坐标和面定义的数值表示为纯文本，以统一的格式整合文本与 3D 网格。我们的模型采用端到端的方式，使用文本与 3D 交错的数据进行训练。因此，该模型可以在一个统一的框架内同时生成文本和 3D 网格。

推理

我们建议使用 Gradio UI 来可视化推理过程。

python app.py

或者使用 transformers 库结合 LLaMA-Mesh：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "Zhengyi/LLaMA-Mesh"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto")

致谢

感谢 Dylan Ebert 实现了 Blender 插件。

BibTeX

@article{wang2024llamameshunifying3dmesh,
    title={LLaMA-Mesh: Unifying 3D Mesh Generation with Language Models},
    author={Zhengyi Wang and Jonathan Lorraine and Yikai Wang and Hang Su and Jun Zhu and Sanja Fidler and Xiaohui Zeng},
    journal={arXiv preprint arXiv:2411.09595},
    year={2024}
}

LLaMA-Mesh 快速上手指南

LLaMA-Mesh 是一个将大型语言模型（LLM）与 3D 网格生成统一起来的开源项目。它允许用户通过自然语言对话直接生成 3D 网格，或将文本与 3D 内容交错输出，无需扩展词表即可让 LLM 理解空间几何信息。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐) 或 macOS
• Python: 3.8 或更高版本
• GPU: 支持 CUDA 的 NVIDIA 显卡（推荐显存 16GB+ 以运行完整模型）
• 前置依赖:
  • PyTorch (建议安装与 CUDA 版本匹配的最新版)
  • Transformers库
  • Gradio (用于运行可视化界面)

国内加速建议： 推荐使用国内镜像源安装依赖，以提升下载速度：

pip install torch torchvision torchaudio --index-url https://pypi.tuna.tsinghua.edu.cn/simple
pip install transformers gradio -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

目前项目已发布推理代码和模型权重。请按照以下步骤克隆仓库并安装必要依赖：

1. 克隆项目仓库

   git clone https://github.com/huggingface/meshgen.git
   cd meshgen
   

   (注：推理代码位于 HuggingFace 组织的 meshgen 仓库中，该仓库包含了 LLaMA-Mesh 的相关实现)

2. 安装 Python 依赖 如果项目根目录包含 requirements.txt，请执行：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   若未提供文件，请确保已手动安装 transformers, gradio, accelerate 等核心库。

3. 模型自动下载 首次运行时，代码会自动从 Hugging Face 下载模型权重。 国内用户提示：如果直接连接 Hugging Face 超时，建议设置镜像环境变量：

   export HF_ENDPOINT=https://hf-mirror.com
   

基本使用

LLaMA-Mesh 提供两种主要使用方式：图形化界面（推荐新手）和 Python 代码调用。

方式一：使用 Gradio 可视化界面

这是最直观的交互方式，可以直接在浏览器中输入提示词生成 3D 模型。

在项目目录下运行：

python app.py

运行成功后，终端会显示一个本地访问地址（通常为 http://127.0.0.1:7860）。在浏览器打开该地址，输入如 "A red chair" 等英文提示词，即可生成并预览 3D 网格。

方式二：使用 Python 代码调用

您可以像使用普通 LLM 一样，通过 transformers 库加载模型进行推理。

from transformers import AutoModelForCausalLM, AutoTokenizer

# 指定模型路径
model_path = "Zhengyi/LLaMA-Mesh"

# 加载分词器和模型
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto")

# 构建输入提示 (示例)
# 注意：具体的 Prompt 格式需参考项目最新文档或训练数据格式
input_text = "Generate a 3D mesh of a cube." 
inputs = tokenizer(input_text, return_tensors="pt").to(model.device)

# 生成输出
outputs = model.generate(**inputs, max_new_tokens=512)
result = tokenizer.decode(outputs[0], skip_special_tokens=False)

print(result)

生成的输出将包含表示顶点坐标和面定义的纯文本序列，这些序列可直接解析为标准的 3D 网格格式（如 OBJ）。