DeepMesh: 基于强化学习的自回归艺术家网格生成

赵若文^1,2*, 叶俊良^1,2*, 王正一^1,2*,
刘光策², 陈奕文³, 王逸楷¹, 朱军^1,2†
*同等贡献。
^†通讯作者。
¹清华大学, ²生数科技,
³南洋理工大学 S-Lab,

以上所有网格均由 DeepMesh 生成。 DeepMesh 能够通过自回归 Transformer，根据给定的点云生成高质量的网格。

发布

• [3月20日] 🔥🔥我们发布了 DeepMesh 的预训练权重 (0.5 B)。
• [4月01日] 🔥我们优化了推理代码，生成时间减少了 50%。

目录

• 发布
• 安装
• 使用
• 重要说明
• 待办事项
• 致谢
• BibTeX

安装

我们的环境已在 Ubuntu 22、CUDA 11.8 以及 A100、A800 和 A6000 上测试。

1. 克隆我们的仓库并创建 conda 环境

git clone https://github.com/zhaorw02/DeepMesh.git && cd DeepMesh
conda env create -f environment.yaml
conda activate deepmesh

或者您可以在 CUDA 12.1 上创建。

conda create -n deepmesh python=3.12
conda activate deepmesh
pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 --index-url https://download.pytorch.org/whl/cu121
pip3 install -U xformers --index-url https://download.pytorch.org/whl/cu121
git clone https://github.com/Dao-AILab/flash-attention
cd flash-attention
pip install packaging
python setup.py install
cd csrc/rotary && pip install .
cd ../layer_norm && pip install .
cd ../xentropy && pip install .
cd ../../.. && rm -r flash-attention
pip install trimesh beartype lightning safetensors open3d omegaconf sageattention triton scikit-image transformers

2. 安装预训练模型权重

pip install -U "huggingface_hub[cli]"
huggingface-cli login
huggingface-cli download zzzrw/DeepMesh --local-dir ./

使用

命令行推理

# 注意：如果您想使用自己的点云，请确保包含法线信息。

# 生成您文件夹中的所有 obj/ply 文件
CUDA_VISIBLE_DEVICES=0 torchrun --nproc-per-node=1 --master_port=12345 sample.py \
    --model_path "your_model_path" \
    --steps 90000 \
    --input_path examples \
    --output_path mesh_output \
    --repeat_num 4 \
    --temperature 0.5 \

# 生成您文件夹中指定的 obj/ply 文件
CUDA_VISIBLE_DEVICES=0 torchrun --nproc-per-node=1 --master_port=22345 sample.py \
    --model_path "your_model_path" \
    --steps 90000 \
    --input_path examples \
    --output_path mesh_output \
    --repeat_num 4 \
    --uid_list "wand1.obj,wand2.obj,wand3.ply" \
    --temperature 0.5 \

# 或者
bash sample.sh

重要说明

• 更多示例请参考我们的 项目页面。

待办事项

• 发布预训练代码（截断滑动训练）。
• 发布后训练代码（DPO）。
• 发布更大模型（1b 版本）。

致谢

我们的代码基于以下优秀的仓库：

• BPT
• SMDM
• LLaMA-Mesh
• Meshanything V2
• Michelangelo

同时，我们邀请您探索我们的最新工作 ShapeLLM-Omni —— 一个用于 3D 生成和理解的原生多模态 LLM。

BibTeX

@article{zhao2025deepmesh,
  title={DeepMesh: Auto-Regressive Artist-mesh Creation with Reinforcement Learning},
  author={Zhao, Ruowen and Ye, Junliang and Wang, Zhengyi and Liu, Guangce and Chen, Yiwen and Wang, Yikai and Zhu, Jun},
  journal={arXiv preprint arXiv:2503.15265},
  year={2025}
}

DeepMesh 快速上手指南

DeepMesh 是一个基于自回归 Transformer 和强化学习，能够根据输入点云生成高质量网格（Mesh）的开源工具。

环境准备

• 操作系统：推荐 Ubuntu 22.04。
• 硬件：需要 NVIDIA GPU，已在 A100、A800、A6000 上测试。
• CUDA：支持 CUDA 11.8 或 12.1。
• 前置依赖：确保已安装 Git 和 Conda。

安装步骤

1. 克隆仓库并创建 Conda 环境

   git clone https://github.com/zhaorw02/DeepMesh.git && cd DeepMesh
   conda env create -f environment.yaml
   conda activate deepmesh
   

   如果使用 CUDA 12.1，可手动创建环境：

   conda create -n deepmesh python=3.12
   conda activate deepmesh
   pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 --index-url https://download.pytorch.org/whl/cu121
   pip3 install -U xformers --index-url https://download.pytorch.org/whl/cu121
   git clone https://github.com/Dao-AILab/flash-attention
   cd flash-attention
   pip install packaging
   python setup.py install
   cd csrc/rotary && pip install .
   cd ../layer_norm && pip install .
   cd ../xentropy && pip install .
   cd ../../.. && rm -r flash-attention
   pip install trimesh beartype lightning safetensors open3d omegaconf sageattention triton scikit-image transformers
   

2. 下载预训练模型权重

   pip install -U "huggingface_hub[cli]"
   huggingface-cli login # 按提示登录或设置访问令牌
   huggingface-cli download zzzrw/DeepMesh --local-dir ./
   

基本使用

命令行推理

确保你的点云文件（.obj 或 .ply）包含法线信息。

1. 生成指定文件夹内所有网格

   CUDA_VISIBLE_DEVICES=0 torchrun --nproc-per-node=1 --master_port=12345 sample.py \
       --model_path "your_model_path" \
       --steps 90000 \
       --input_path examples \
       --output_path mesh_output \
       --repeat_num 4 \
       --temperature 0.5
   

2. 生成指定文件列表的网格

   CUDA_VISIBLE_DEVICES=0 torchrun --nproc-per-node=1 --master_port=22345 sample.py \
       --model_path "your_model_path" \
       --steps 90000 \
       --input_path examples \
       --output_path mesh_output \
       --repeat_num 4 \
       --uid_list "wand1.obj,wand2.obj,wand3.ply" \
       --temperature 0.5
   

3. 或直接运行脚本

   bash sample.sh
   

参数说明：

• --model_path: 下载的模型权重所在路径。
• --input_path: 存放输入点云文件的文件夹路径。
• --output_path: 生成网格的输出文件夹路径。
• --uid_list: 可选，指定要处理的文件名列表，用逗号分隔。