📣 新闻

• [2025年3月12日] 更新代码。旧版本可在这里找到。
• [2024年10月11日] 🚀 欢迎查看我们的最新工作**PointGST，它在ScanObjNN OBJ_BG、OBJ_OBLY和PB_T50_RS数据集上分别达到了99.48%**、**97.76%和96.18%**的整体准确率。
• [2024年9月26日] PointMamba已被NeurIPS 2024接收！🥳🥳🥳
• [2024年5月30日] 更新！ 我们更新了架构和性能。请查阅我们的最新论文，并与新结果进行比较。代码和权重将很快更新。
• [2024年4月1日] 带有进一步数据增强的ScanObjectNN现已可用，请查看！
• [2024年3月16日] ModelNet40的配置文件和检查点现已开放下载，请查看！
• [2024年3月5日] 我们的论文DAPT (github)已被CVPR 2024接收！🥳🥳🥳 请查看并给它一颗星🌟！
• [2024年2月16日] 发布了论文。

摘要

Transformer因其卓越的全局建模能力，已成为点云分析任务中的基础架构之一。然而，其注意力机制具有二次复杂度，因此设计一种具有线性复杂度且具备全局建模能力的方法显得颇具吸引力。本文提出PointMamba，将近期代表性状态空间模型（SSM）——Mamba的成功经验从自然语言处理领域迁移到点云分析任务中。与传统Transformer不同，PointMamba采用线性复杂度的算法，在显著降低计算成本的同时，仍能实现全局建模能力。具体而言，我们的方法利用空间填充曲线对点云进行有效分词，并采用极其简单的非层次化Mamba编码器作为骨干网络。全面的评估表明，PointMamba在多个数据集上均表现出色，同时大幅减少了GPU显存占用和浮点运算次数。本研究凸显了SSM在三维视觉相关任务中的潜力，并为未来的研究提供了一个简单而有效的基于Mamba的基准模型。

概述

主要结果

任务	数据集	配置	准确率	下载（检查点/日志）
预训练	ShapeNet	pretrain.yaml	N.A.	检查点
分类	ModelNet40	finetune_modelnet.yaml	93.6%	检查点
分类	ScanObjectNN	finetune_scan_objbg.yaml	94.32%	检查点 / 日志
分类	ScanObjectNN	finetune_scan_objonly.yaml	92.60%	检查点 / 日志
分类	ScanObjectNN	finetune_scan_hardest.yaml	89.31%	检查点

快速入门

数据集

详情请参阅DATASET.md。

使用方法

详情请参阅USAGE.md。

待办事项

• 发布代码。
• 发布检查点。
• ModelNet40。
• 更新代码。

致谢

本项目基于Point-BERT（论文，代码)、Point-MAE（论文，代码)、Mamba（论文，代码)以及Causal-Conv1d（代码）。感谢他们的杰出工作。

引用

如果您在研究中觉得本仓库很有用，请考虑给它点个赞 ⭐ 并引用如下文献：

@inproceedings{liang2024pointmamba,
      title={PointMamba：用于点云分析的简单状态空间模型}, 
      author={梁丁康、周欣、徐伟、朱兴魁、邹志康、叶晓青、谭晓、白翔},
      booktitle={神经信息处理系统进展},
      year={2024}
}

PointMamba 快速上手指南

PointMamba 是一种基于状态空间模型（SSM/Mamba）的点云分析架构，具有线性计算复杂度和强大的全局建模能力，在显著降低显存和 FLOPs 的同时实现了优异的性能。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+)
• Python: 3.8 或更高版本
• GPU: 支持 CUDA 的 NVIDIA 显卡（建议显存 >= 8GB）
• 核心依赖:
  • PyTorch (建议 1.12+)
  • CUDA Toolkit (需与 PyTorch 版本匹配)
  • mamba-ssm
  • causal-conv1d

提示：由于 mamba-ssm 和 causal-conv1d 包含自定义 CUDA 算子，编译时需要安装 ninja 和对应的 CUDA 开发包。

安装步骤

1. 克隆项目代码

git clone https://github.com/LMD0311/PointMamba.git
cd PointMamba

2. 创建虚拟环境并安装基础依赖

建议使用 Conda 管理环境：

conda create -n pointmamba python=3.8 -y
conda activate pointmamba

安装 PyTorch（请根据您的 CUDA 版本选择，以下为 CUDA 11.8 示例）：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

3. 安装 Mamba 相关核心组件

这是运行 PointMamba 的关键步骤。为了加速下载，国内用户可使用清华源或阿里源。

首先安装编译工具：

pip install ninja packaging wheel

接着安装 causal-conv1d 和 mamba-ssm：

# 安装 causal-conv1d
pip install causal-conv1d>=1.2.0 --extra-index-url https://pypi.nvidia.com

# 安装 mamba-ssm
pip install mamba-ssm --extra-index-url https://pypi.nvidia.com

注意：如果上述命令编译失败，请确保已正确安装 cuda-toolkit (例如 conda install -c nvidia cuda-toolkit)。

4. 安装其他项目依赖

pip install -r requirements.txt

(注：如果根目录下没有 requirements.txt，通常需手动安装常见库如 yaml, tqdm, scipy, open3d 等)

基本使用

1. 数据集准备

PointMamba 支持 ModelNet40 和 ScanObjectNN 等数据集。请参考项目内的 docs/DATASET.md 下载数据并放置到指定目录。通常结构如下：

data/
├── modelnet40_normal_resampled/
└── scanobjectnn/

2. 模型推理/测试 (Classification)

使用预训练权重在 ModelNet40 数据集上进行分类测试。

python main.py \
    --config cfgs/finetune_modelnet.yaml \
    --finetune \
    --pretrain ./pretrain.pth

• --config: 指定配置文件（如 finetune_modelnet.yaml 或 finetune_scan_objbg.yaml）。
• --finetune: 开启微调/测试模式。
• --pretrain: 指定预训练权重路径（可从 README 中的 "Main Results" 表格下载）。

3. 从头训练 (Training)

如果您想从头开始训练模型（例如在 ModelNet40 上）：

python main.py \
    --config cfgs/finetune_modelnet.yaml \
    --exp_name modelnet40_pointmamba

训练完成后，模型检查点和日志将保存在输出目录中。

4. 自监督预训练 (Pre-training)

进行无标签数据的自监督预训练（基于 ShapeNet）：

python main.py \
    --config cfgs/pretrain.yaml \
    --exp_name shapenet_pretrain

---

资源下载：

• 预训练权重 (ModelNet40): 下载链接
• 预训练权重 (ScanObjectNN): 下载链接
• 自监督预训练权重: 下载链接