我们提出了Uni3D，一个用于大规模3D表示学习的统一且可扩展的3D预训练框架，并在十亿参数规模下探索其极限。Uni3D采用基于2D初始化的ViT模型，通过端到端预训练将3D点云特征与图像-文本对齐的特征进行对齐。凭借简洁的架构和预训练任务，Uni3D能够利用丰富的2D预训练模型作为初始化，并以图像-文本对齐的模型为目标，从而将2D模型的巨大潜力及扩展策略引入3D领域。我们成功地将Uni3D扩展至十亿参数规模，并在广泛的3D任务上创造了新的记录。

时间安排

我们致力于开源Uni3D相关材料，包括：

• 将Uni3D扩展为一种3D度量指标（Uni3D-score），以提升文本到3D任务中的语义一致性。详情请参阅GeoDream。
• 模型权重范围从600万到10亿参数。
• 评估代码
• 评估数据
• 预训练代码
• 预训练数据

我们希望通过开源和促进合作来推动社区的发展👬。让我们携手迈向多模态智能🍻。

安装

克隆本仓库并安装所需软件包：

git clone https://github.com/baaivision/Uni3D.git
cd Uni3D

conda create -n uni3d python=3.8
conda activate uni3d
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

pip install -r requirements.txt

# 从https://github.com/erikwijmans/Pointnet2_PyTorch安装pointnet2扩展
pip install "git+git://github.com/erikwijmans/Pointnet2_PyTorch.git#egg=pointnet2_ops&subdirectory=pointnet2_ops_lib"

核心软件包：

• Pytorch 版本2.0.1
• open-clip-torch 版本2.20.0
• timm 版本0.9.7
• DeepSpeed 版本0.10.3
• Open3D 版本0.17.0

模型库

模型	训练数据	Objaverse-LVIS Top1 (Top5)	ModelNet40 Top1 (Top5)	ScanObjectNN Top1 (Top5)
Uni3d-B	未使用LVIS数据	45.9 (74.8)	86.1 (98.7)	61.7 (89.5)
Uni3d-B	使用全部数据	51.7 (80.8)	86.3 (97.9)	63.8 (90.2)
Uni3d-L	未使用LVIS数据	46.2 (74.7)	86.6 (97.8)	58.4 (90.1)
Uni3d-L	使用全部数据	53.1 (81.5)	86.3 (98.3)	58.2 (89.4)
Uni3d-g	未使用LVIS数据	47.2 (76.1)	86.8 (98.4)	66.5 (90.1)
Uni3d-g	使用全部数据	53.5 (82.0)	87.3 (99.2)	63.9 (91.7)
Uni3d-g 🔥	使用全部数据	55.3 (82.9)	88.2 (99.3)	65.3 (92.7)

零样本3D分类评估

我们在三个数据集上评估了零样本3D分类性能：Objaverse-LVIS、ModelNet40和ScanObjectNN。

1. 请参考DATASETS.md以准备评估数据集。
2. [推荐 🤗] 下载clip模型并将其放置在/path/to/clip_model文件夹中。
3. 下载模型库中的权重并将其放置在/path/to/checkpoints文件夹中。
4. 运行bash scripts/inference.sh [scale]以在上述数据集上评估模型，例如bash scripts/inference.sh giant。

预训练

1. 请参考DATASETS.md以准备预训练数据集。
2. [推荐 🤗] 下载clip模型并将其放置在/path/to/clip_model文件夹中。
3. [推荐 🤗] 下载初始化模型并将其放置在/path/to/init_model文件夹中。
4. 运行bash scripts/pretrain.sh以在集成数据集上预训练模型。

可视化

开放世界理解

一次性零件分割

点云着色

跨模态检索

致谢

Uni3D 是基于强大的 EVA、OpenCLIP、timm、DeepSpeed、ULIP 和 OpenShape 构建的。

本研究得到国家科技重大专项（编号：2022ZD0116314）的支持。

引用

@inproceedings{zhou2023uni3d,
  title={Uni3d: Exploring unified 3d representation at scale},
  author={周俊生、王金生、马宝瑞、刘宇申、黄铁军、王新龙},
  booktitle={国际表征学习大会 (ICLR)},
  year={2024}
}

Uni3D 快速上手指南

Uni3D 是一个统一且可扩展的 3D 预训练框架，旨在通过大规模学习实现强大的 3D 表示能力。它利用 2D 初始化 ViT 模型，将 3D 点云特征与图像 - 文本对齐特征进行端到端预训练，支持从 6M 到 1B 参数规模的模型。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• Python: 3.8
• CUDA: 11.8 (对应 PyTorch 版本)
• GPU: 支持 CUDA 的 NVIDIA 显卡（运行大模型如 1B 参数版本需要显存较大的显卡）

核心依赖库版本参考：

• Pytorch: 2.0.1
• open-clip-torch: 2.20.0
• timm: 0.9.7
• DeepSpeed: 0.10.3
• Open3D: 0.17.0

安装步骤

请按照以下步骤克隆仓库并安装依赖：

1. 克隆项目代码

   git clone https://github.com/baaivision/Uni3D.git
   cd Uni3D
   

2. 创建并激活 Conda 环境

   conda create -n uni3d python=3.8
   conda activate uni3d
   

3. 安装 PyTorch 及相关组件 注：此处使用官方源安装 CUDA 11.8 版本，国内用户若需加速可配置清华或阿里镜像源。

   conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia
   

4. 安装 Python 依赖包

   pip install -r requirements.txt
   

5. 安装 PointNet++ 扩展库 这是处理点云数据的关键组件，需要从 GitHub 源码安装：

   pip install "git+git://github.com/erikwijmans/Pointnet2_PyTorch.git#egg=pointnet2_ops&subdirectory=pointnet2_ops_lib"
   

基本使用

以下以最简单的零样本 3D 分类评估为例，展示如何使用预训练模型。

1. 准备模型文件

您需要下载预训练的 CLIP 模型和 Uni3D 模型权重。

• 下载 CLIP 模型 (推荐 EVA02-enormous): 下载地址：HuggingFace 存放路径示例：/path/to/clip_model/open_clip_pytorch_model.bin

• 下载 Uni3D 模型权重: 从 Model Zoo 选择所需规模的模型（如 uni3d-g）。 存放路径示例：/path/to/checkpoints/model.pt

2. 准备数据集

请参考项目中的 data/DATASETS.md 文档下载并整理评估数据集（Objaverse-LVIS, ModelNet40, ScanObjectNN）。

3. 运行评估脚本

修改脚本中的路径配置后，运行以下命令进行评估。以下示例以评估 Giant (g) 规模模型为例：

bash scripts/inference.sh giant

提示：如果您需要进行预训练，请确保已准备好预训练数据集和初始化模型（Initialization Model），然后运行 bash scripts/pretrain.sh。