重新思考点云中的网络设计与局部几何：一种简单的残差MLP框架（ICLR 2022）

open review | arXiv | 主要联系人: Xu Ma

PointMLP其中一个阶段的概述。给定一个输入点云，PointMLP通过残差点MLP块逐步提取局部特征。在每个阶段，我们首先使用几何仿射模块对局部点进行变换，然后分别在聚合前后提取局部点。通过重复多个阶段，PointMLP逐步扩大感受野，并建模整个点云的几何信息。

BibTeX

@article{ma2022rethinking,
    title={Rethinking network design and local geometry in point cloud: A simple residual MLP framework},
    author={Ma, Xu and Qin, Can and You, Haoxuan and Ran, Haoxi and Fu, Yun},
    journal={arXiv preprint arXiv:2202.07123},
    year={2022}
}

模型库

关于ModelNet40分类结果的一些问题（社区中ModelNet40数据集的一个常见问题）

几乎所有方法在ModelNet40上的表现都不稳定，详见（https://github.com/CVMI-Lab/PAConv/issues/9#issuecomment-873371422）。
如果你多次运行相同的代码，会得到不同的结果（即使设置了固定的随机种子）。
复现结果的最佳方式是使用针对ModelNet40的预训练模型进行测试。
此外，ModelNet40的随机性也是我们选择在ScanObjectNN上进行实验，并报告多次运行的平均值和标准差的原因。

---

提交版本的代码/模型/日志（未修复bug）可以在这里找到 commit:d2b8dbaa。

在ModelNet40上，修复后的pointMLP在不采用投票的情况下达到了91.5% mAcc和94.1% OA的成绩，相关日志和预训练模型可以在此处找到 [这里]。

在ScanObjectNN上，修复后的pointMLP在不采用投票的情况下达到了84.4% mAcc和86.1% OA的成绩，相关日志和预训练模型可以在此处找到 [这里]。而pointMLP-elite则达到了81.7% mAcc和84.1% OA的成绩，其日志和预训练模型可以在此处找到 [这里]。

敬请期待。更多精英版本和投票结果将陆续上传。

新闻与更新：

• 2024年4月24日: 学校服务器宕机。更新ScanobjectNN数据集链接。
• 修复了3月10日因上传文件夹错误导致的partseg中工具函数不完整的问题。
• 上传了ModelNet40的测试代码。
• 修复了之前的不稳定测试问题（std bug）。
• 论文/代码发布。

:point_right::point_right::point_right:注意: 提交版本的代码/模型/日志（未修复bug）可以在这里找到 commit:d2b8dbaa。

安装

# 第一步：克隆此仓库
git clone https://github.com/ma-xu/pointMLP-pytorch.git
cd pointMLP-pytorch

# 第二步：创建并激活conda虚拟环境
conda env create
conda activate pointmlp

# 第二步的可选方案：逐个安装依赖库
conda create -n pointmlp python=3.7 -y
conda activate pointmlp
conda install pytorch==1.10.1 torchvision==0.11.2 cudatoolkit=10.2 -c pytorch -y
# 如果你使用的是Ampere架构的GPU（如A100和30X0），请安装兼容的PyTorch和CUDA版本，例如：
# pip install torch==1.8.1+cu111 torchvision==0.9.1+cu111 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html
pip install cycler einops h5py pyyaml==5.4.1 scikit-learn==0.24.2 scipy tqdm matplotlib==3.4.2
pip install pointnet2_ops_lib/.

使用

ModelNet40分类模型

训练: 数据集会自动下载，请按照以下命令进行训练。

默认情况下，会在“checkpoints/{modelName}-{msg}-{randomseed}”目录下生成包含args.txt、best_checkpoint.pth、last_checkpoint.pth、log.txt和out.txt等文件的文件夹。

cd classification_ModelNet40
# 训练pointMLP
python main.py --model pointMLP
# 训练pointMLPElite
python main.py --model pointMLPElite
# 你可以根据需要添加其他参数。

进行投票测试时，请运行：

# 请根据实际情况修改msg
python voting.py --model pointMLP --msg demo

ScanObjectNN分类

数据集会自动下载

• 训练pointMLP/pointMLPElite

cd classification_ScanObjectNN
# 训练pointMLP
python main.py --model pointMLP
# 训练pointMLP-elite
python main.py --model pointMLPElite
# 你可以根据需要添加其他参数。

默认情况下，会在“checkpoints/{modelName}-{msg}-{randomseed}”目录下生成包含args.txt、best_checkpoint.pth、last_checkpoint.pth、log.txt和out.txt等文件的文件夹。

部分分割

• 创建数据文件夹并下载数据集

cd part_segmentation
mkdir data
cd data
wget https://shapenet.cs.stanford.edu/media/shapenetcore_partanno_segmentation_benchmark_v0_normal.zip --no-check-certificate
unzip shapenetcore_partanno_segmentation_benchmark_v0_normal.zip

• 训练pointMLP

# 训练pointMLP
python main.py --model pointMLP
# 你可以根据需要添加其他参数。

致谢

我们的实现主要基于以下代码库。我们衷心感谢各位作者的优秀工作。

CurveNet， PAConv， GDANet， Pointnet2_PyTorch

许可证

PointMLP 采用 Apache-2.0 许可证。

pointMLP-pytorch 快速上手指南

环境准备

• 系统要求：Python 3.7, PyTorch 1.10.1 (CUDA 10.2), 以及兼容的CUDA工具包
• 前置依赖：确保已安装CUDA 10.2（或兼容版本），推荐使用国内镜像加速依赖安装

安装步骤

# 克隆仓库
git clone https://github.com/ma-xu/pointMLP-pytorch.git
cd pointMLP-pytorch

# 创建并激活conda环境
conda create -n pointmlp python=3.7 -y
conda activate pointmlp

# 安装PyTorch和依赖（使用清华镜像加速）
conda install pytorch==1.10.1 torchvision==0.11.2 cudatoolkit=10.2 -c pytorch -y
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple cycler einops h5py pyyaml==5.4.1 scikit-learn==0.24.2 scipy tqdm matplotlib==3.4.2
pip install pointnet2_ops_lib/.

基本使用

训练ModelNet40分类模型（最简示例）

cd classification_ModelNet40
python main.py --model pointMLP

此命令将自动下载ModelNet40数据集并开始训练pointMLP模型。训练结果（日志、模型文件）将保存在checkpoints/pointMLP-{timestamp}-{randomseed}/目录中。