MeshAnything：
基于自回归Transformer的艺术家创作网格生成

陈怡文^1,2*, 何通^2†, 黄迪², 叶伟才², 陈思瑾³, 唐家翔⁴
陈欣⁵, 蔡中刚⁶, 杨磊⁶, 于刚⁷, 林国生^1†, 张驰^8†
*工作期间在上海人工智能实验室实习完成。
^†通讯作者。
¹南洋理工大学S-Lab， ²上海人工智能实验室，
³复旦大学， ⁴北京大学， ⁵中国科学院大学，
⁶商汤科技研究院， ⁷步科智能， ⁸西湖大学

发布

• [6/17] 🔥🔥 试用我们新发布的**MeshAnything V2。V2版本的最大面数提升至1600**，性能更优。
• [6/17] 我们发布了3.5亿参数量的MeshAnything。

目录

• 发布
• 目录
• 安装
• 使用
• 重要提示
• 训练
• 致谢
• 星标历史
• BibTeX

安装

我们的环境已在Ubuntu 22、CUDA 11.8以及A100、A800和A6000显卡上测试通过。

1. 克隆我们的仓库并创建Conda环境

git clone https://github.com/buaacyw/MeshAnything.git && cd MeshAnything
conda create -n MeshAnything python==3.10.13 -y
conda activate MeshAnything
pip install torch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1 --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt
pip install flash-attn --no-build-isolation

或者

pip install git+https://github.com/buaacyw/MeshAnything.git

然后可以直接在代码中使用：

import MeshAnything

使用

本地Gradio演示

python app.py

网格命令行推理

# 文件夹输入
python main.py --input_dir examples --out_dir mesh_output --input_type mesh

# 单个文件输入
python main.py --input_path examples/wand.obj --out_dir mesh_output --input_type mesh

# 先使用Marching Cubes预处理
python main.py --input_dir examples --out_dir mesh_output --input_type mesh --mc

点云命令行推理

# 注意：如果您想使用自己的点云，请确保包含法线信息。
# 文件格式应为.npy文件，形状为(N, 6)，其中N是点的数量。前3列是坐标，后3列是法线。

# 文件夹推理
python main.py --input_dir pc_examples --out_dir pc_output --input_type pc_normal

# 单个文件推理
python main.py --input_path pc_examples/mouse.npy --out_dir pc_output --input_type pc_normal

重要提示

• 在A6000显卡上生成一个网格大约需要7GB显存和30秒时间。
• 输入网格将被归一化到单位包围盒。为了获得更好的效果，输入网格的向上方向应为+Y轴。
• 受限于计算资源，MeshAnything仅在少于800个面的网格上进行训练，无法生成超过800个面的网格。输入网格的形状应足够清晰；否则，仅用800个面难以准确表示。因此，基于前馈的3D生成方法可能因形状质量不足而产生较差的结果。我们建议使用3D重建、扫描以及基于SDS的方法（如DreamCraft3D）的输出作为MeshAnything的输入。
• 更多示例请参阅https://huggingface.co/spaces/Yiwen-ntu/MeshAnything/tree/main/examples。

训练

请参考MeshAnythingV2的训练代码，地址为https://github.com/buaacyw/MeshAnythingV2。

致谢

我们的代码基于以下优秀项目：

• MeshGPT
• meshgpt-pytorch
• Michelangelo
• transformers
• vector-quantize-pytorch

星标历史

BibTeX

@misc{chen2024meshanything,
  title={MeshAnything: Artist-Created Mesh Generation with Autoregressive Transformers},
  author={Yiwen Chen and Tong He and Di Huang and Weicai Ye and Sijin Chen and Jiaxiang Tang and Xin Chen and Zhongang Cai and Lei Yang and Gang Yu and Guosheng Lin and Chi Zhang},
  year={2024},
  eprint={2406.10163},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}

MeshAnything 快速上手指南

MeshAnything 是一个基于自回归 Transformer 的 AI 工具，能够将艺术家创作的网格（Mesh）或点云转换为高质量的网格模型。它特别擅长处理由 3D 重建、扫描或 SDS 方法生成的输入，将其优化为拓扑结构良好的网格。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 22.04)
• GPU: NVIDIA 显卡 (测试环境包括 A100, A800, A6000)，需支持 CUDA 11.8
• Python: 3.10.13
• 依赖管理: Conda

注意：生成一个网格模型在 A6000 GPU 上大约需要 7GB 显存和 30 秒时间。

安装步骤

1. 克隆仓库并创建虚拟环境

git clone https://github.com/buaacyw/MeshAnything.git && cd MeshAnything
conda create -n MeshAnything python==3.10.13 -y
conda activate MeshAnything

2. 安装 PyTorch 及核心依赖

请根据您的 CUDA 版本安装对应的 PyTorch。以下为官方推荐的 CUDA 11.8 版本安装命令：

pip install torch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1 --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt
pip install flash-attn --no-build-isolation

国内加速建议：如果下载速度较慢，可将 --index-url 替换为清华源或阿里源，例如： --index-url https://pypi.tuna.tsinghua.edu.cn/simple (注意 PyTorch 官方二进制包通常仍需从官方源下载，建议仅对 requirements.txt 中的包使用国内镜像)。

3. 可选：直接作为 Python 库安装

如果您希望在其他项目中直接调用，可以使用以下方式安装：

pip install git+https://github.com/buaacyw/MeshAnything.git

安装后即可在代码中通过 import MeshAnything 使用。

基本使用

方式一：启动本地 Web 界面 (Gradio)

这是最直观的试用方式，启动后会在浏览器中打开交互界面。

python app.py

方式二：命令行推理 (Mesh 输入)

将现有的网格文件（如 .obj）作为输入进行优化生成。

处理单个文件：

python main.py --input_path examples/wand.obj --out_dir mesh_output --input_type mesh

处理文件夹内的所有文件：

python main.py --input_dir examples --out_dir mesh_output --input_type mesh

预处理模式（先执行 Marching Cubes）：

python main.py --input_dir examples --out_dir mesh_output --input_type mesh --mc

方式三：命令行推理 (点云输入)

支持带法线的点云输入。

• 格式要求：.npy 文件，形状为 (N, 6)。前 3 列为坐标，后 3 列为法线。

python main.py --input_path pc_examples/mouse.npy --out_dir pc_output --input_type pc_normal

重要提示

1. 输入方向：为了获得最佳效果，输入网格的向上向量（Up Vector）应为 +Y 轴。输入网格会被自动归一化到单位边界框内。
2. 面数限制：受训练数据限制，当前版本生成的网格面数不超过 800。如果输入形状过于复杂或不够锐利，可能难以用少量面数完美表达。
3. 推荐输入源：建议使用 3D 重建结果、扫描数据或基于 SDS 的方法（如 DreamCraft3D）生成的模型作为输入，以获得更好的优化效果。
4. 新版本：如果需要生成更多面数（最高 1600 面）的模型，请关注该项目发布的 MeshAnything V2 版本。