GraspNet 基线模型

“GraspNet-1Billion：大规模通用物体抓取基准”（CVPR 2020）的基线模型。

[论文] [数据集] [API] [文档]

需求

• Python 3
• PyTorch 1.6
• Open3d >=0.8
• TensorBoard 2.3
• NumPy
• SciPy
• Pillow
• tqdm

安装

获取代码。

git clone https://github.com/graspnet/graspnet-baseline.git
cd graspnet-baseline

通过 Pip 安装依赖包。

pip install -r requirements.txt

编译并安装 pointnet2 操作符（代码改编自 votenet）。

cd pointnet2
python setup.py install

编译并安装 knn 操作符（代码改编自 pytorch_knn_cuda）。

cd knn
python setup.py install

安装 graspnetAPI 用于评估。

git clone https://github.com/graspnet/graspnetAPI.git
cd graspnetAPI
pip install .

容差标签生成

原始数据集中不包含容差标签，需要额外生成。请确保已从 GraspNet 下载原始数据集。生成代码位于 dataset/generate_tolerance_label.py。只需运行该脚本即可生成容差标签：（--dataset_root 和 --num_workers 应根据您的设置指定）

cd dataset
sh command_generate_tolerance_label.sh

或者您也可以从 Google Drive/百度网盘 下载容差标签，然后运行：

mv tolerance.tar dataset/
cd dataset
tar -xvf tolerance.tar

训练与测试

训练示例见 command_train.sh。--dataset_root、--camera 和 --log_dir 应根据您的设置指定。您可以使用 TensorBoard 可视化训练过程。

测试示例见 command_test.sh，其中包含推理和结果评估。--dataset_root、--camera、--checkpoint_path 和 --dump_dir 应根据您的设置指定。若需快速推理，可将 --collision_thresh 设置为 -1。

预训练权重可从以下链接下载：

• checkpoint-rs.tar [Google Drive] [百度网盘]
• checkpoint-kn.tar [Google Drive] [百度网盘]

checkpoint-rs.tar 和 checkpoint-kn.tar 分别使用 RealSense 数据和 Kinect 数据进行训练。

演示

提供了一个演示程序，用于基于 RGB-D 图像的抓取检测与可视化。您可以参考 command_demo.sh 来运行该程序。--checkpoint_path 应根据您的设置指定（请确保已下载预训练权重，我们推荐使用 RealSense 模型，因为它可能具有更好的迁移性）。输出应类似于以下示例：

尝试您自己的数据，方法是修改 demo.py 中的 get_and_process_data() 函数。有关数据准备，请参阅 doc/example_data/。推理需要 RGB-D 图像和相机内参。factor_depth 表示将深度值转换为米的比例因子。您还可以添加工作空间掩码以获得更密集的输出。

结果

“仓库内”的结果报告了在单视角碰撞检测后处理下的模型性能。在评估中，我们将 --collision_thresh 设置为 0.01。

RealSense 相机的评估结果：

		已见			类似			全新
	AP	AP0.8	AP0.4	AP	AP0.8	AP0.4	AP	AP0.8	AP0.4
论文中	27.56	33.43	16.95	26.11	34.18	14.23	10.55	11.25	3.98
仓库内	47.47	55.90	41.33	42.27	51.01	35.40	16.61	20.84	8.30

Kinect 相机的评估结果：

		已见			类似			全新
	AP	AP0.8	AP0.4	AP	AP0.8	AP0.4	AP	AP0.8	AP0.4
论文中	29.88	36.19	19.31	27.84	33.19	16.62	11.51	12.92	3.56
仓库内	42.02	49.91	35.34	37.35	44.82	30.40	12.17	15.17	5.51

引用

如果我们的论文对您的研究有所帮助，请在您的出版物中引用：

@article{fang2023robust,
  title={跨不同传感器质量的鲁棒抓取：GraspNet-1Billion数据集},
  author={Fang, Hao-Shu and Gou, Minghao and Wang, Chenxi and Lu, Cewu},
  journal={国际机器人研究期刊},
  year={2023},
  publisher={SAGE Publications Sage UK: 伦敦，英格兰}
}

@inproceedings{fang2020graspnet,
  title={GraspNet-1Billion：大规模通用物体抓取基准},
  author={Fang, Hao-Shu and Wang, Chenxi and Gou, Minghao and Lu, Cewu},
  booktitle={IEEE/CVF计算机视觉与模式识别会议（CVPR）论文集},
  pages={11444--11453},
  year={2020}
}

许可

所有数据、标注、代码和模型均归GraspNet团队、MVIG及上海交通大学所有，可供免费的非商业用途使用，并可在满足上述条件的情况下重新分发。如需商业用途授权，请发送邮件至fhaoshu at gmail_dot_com，并抄送lucewu at sjtu.edu.cn。

GraspNet Baseline 快速上手指南

GraspNet Baseline 是 CVPR 2020 论文《GraspNet-1Billion: A Large-Scale Benchmark for General Object Grasping》的基准模型，用于通用物体抓取检测。本指南将帮助你快速搭建环境并运行演示。

环境准备

在开始之前，请确保你的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu)
• Python: 3.x
• 深度学习框架: PyTorch 1.6
• 核心依赖:
  • Open3d >= 0.8
  • TensorBoard 2.3
  • NumPy, SciPy, Pillow, tqdm
• 编译器: 需安装 gcc 和 g++ 以编译 CUDA 算子（pointnet2 和 knn）。

安装步骤

1. 获取代码

git clone https://github.com/graspnet/graspnet-baseline.git
cd graspnet-baseline

2. 安装 Python 依赖

建议使用国内镜像源加速安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 编译自定义算子

需要分别编译 PointNet++ 和 KNN 算子：

# 编译 pointnet2
cd pointnet2
python setup.py install
cd ..

# 编译 knn
cd knn
python setup.py install
cd ..

4. 安装评估 API (graspnetAPI)

git clone https://github.com/graspnet/graspnetAPI.git
cd graspnetAPI
pip install . -i https://pypi.tuna.tsinghua.edu.cn/simple
cd ..

5. 准备数据与标签

注意：原始数据集中不包含容差标签（Tolerance labels），需额外生成或下载。

• 方案 A（推荐，直接下载）： 从 百度网盘 下载 tolerance.tar，放入 dataset/ 目录后解压：

  mv tolerance.tar dataset/
  cd dataset
  tar -xvf tolerance.tar
  cd ..
  

  (同时请前往 GraspNet 官网 下载原始数据集)

• 方案 B（自行生成）： 若已下载原始数据集，可运行脚本生成：

  cd dataset
  # 请根据实际路径修改 --dataset_root
  sh command_generate_tolerance_label.sh
  cd ..
  

6. 下载预训练权重

根据使用的相机类型下载对应的权重文件，并放置于项目根目录或指定路径：

• RealSense 模型 (checkpoint-rs.tar): Google Drive | 百度网盘
• Kinect 模型 (checkpoint-kn.tar): Google Drive | 百度网盘

(注：RealSense 模型通常具有更好的迁移效果，推荐优先使用)

基本使用

运行 Demo 演示

本项目提供了基于 RGB-D 图像的抓取检测演示脚本。确保已下载预训练权重（如 checkpoint-rs.tar），然后运行：

# 请根据实际情况修改 --checkpoint_path 指向你的权重文件
sh command_demo.sh

脚本执行后，将输出可视化结果，展示检测到的前 50 个抓取姿态。

使用自定义数据

若要测试自己的 RGB-D 数据，请修改 demo.py 中的 get_and_process_data() 函数。

• 输入要求: RGB 图像、深度图像、相机内参。
• 深度缩放: factor_depth 参数用于将深度值转换为米（例如 Kinect v2 通常为 1000，RealSense 可能不同）。
• 工作空间掩码: 可选添加 workspace mask 以获得更密集的输出。

参考 doc/example_data/ 目录了解数据格式要求。