注意：这是 GG-CNN 代码的清理版 PyTorch 实现。原始 Keras 版本请参见 RSS2018 分支。
主要改进包括代码清理与文档完善、改进的 GG-CNN2 模型、支持使用 Jacquard 数据集以及简化评估流程。

生成式抓取卷积神经网络（Generative Grasping CNN，GG-CNN）

GG-CNN 是一种轻量级全卷积网络，可对输入深度图像的每个像素预测对极抓取（antipodal grasps）的质量和姿态。其轻量级单次前向生成特性（single-pass generative nature）支持快速执行和闭环控制（closed-loop control），使机械臂在抓取过程中物体被移动的动态环境中仍能实现精确抓取。

本仓库实现了论文《Closing the Loop for Robotic Grasping: A Real-time, Generative Grasp Synthesis Approach》中的生成式抓取卷积神经网络（GG-CNN）：

闭环机械抓取：一种实时生成式抓取合成方法
Douglas Morrison, Peter Corke, Jürgen Leitner
Robotics: Science and Systems (RSS) 2018

arXiv | 视频演示

如需引用本工作，请使用：

@inproceedings{morrison2018closing,
	title={{Closing the Loop for Robotic Grasping: A Real-time, Generative Grasp Synthesis Approach}},
	author={Morrison, Douglas and Corke, Peter and Leitner, J\"urgen},
	booktitle={Proc.\ of Robotics: Science and Systems (RSS)},
	year={2018}
}

联系
如有疑问请联系 Doug Morrison

安装

本代码基于 Python 3.6 在 Ubuntu 16.04 环境开发。依赖包可通过以下命令安装：

pip install -r requirements.txt

数据集

当前支持 Cornell Grasping Dataset 和 Jacquard Dataset。

Cornell Grasping Dataset

1. 下载并解压 Cornell Grasping Dataset。
2. 运行以下命令将 PCD 文件转换为深度图像：

python -m utils.dataset_processing.generate_cornell_depth <数据集路径>

Jacquard Dataset

1. 下载并解压 Jacquard Dataset。

预训练模型

GG-CNN 和 GG-CNN2 的示例预训练模型可从 此处 下载。模型使用 Cornell 数据集的深度图像训练，每个压缩包包含：1) 通过 torch.save(model) 保存的完整模型；2) 通过 torch.save(model.state_dict()) 保存的权重参数字典。

加载模型示例（GG-CNN，GG-CNN2 请替换对应名称）：

# 进入仓库目录
cd /path/to/ggcnn

# 下载权重
wget https://github.com/dougsm/ggcnn/releases/download/v0.1/ggcnn_weights_cornell.zip

# 解压权重
unzip ggcnn_weights_cornell.zip

# Python 加载示例
python
>>> import torch

# 方式1) 直接加载模型
# (可能因Python版本产生警告)
>>> model = torch.load('ggcnn_weights_cornell/ggcnn_epoch_23_cornell')
>>> model

GGCNN(
  (conv1): Conv2d(1, 32, kernel_size=(9, 9), stride=(3, 3), padding=(3, 3))
  (conv2): Conv2d(32, 16, kernel_size=(5, 5), stride=(2, 2), padding=(2, 2))
  (conv3): Conv2d(16, 8, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1))
  (convt1): ConvTranspose2d(8, 8, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), output_padding=(1, 1))
  (convt2): ConvTranspose2d(8, 16, kernel_size=(5, 5), stride=(2, 2), padding=(2, 2), output_padding=(1, 1))
  (convt3): ConvTranspose2d(16, 32, kernel_size=(9, 9), stride=(3, 3), padding=(3, 3), output_padding=(1, 1))
  (pos_output): Conv2d(32, 1, kernel_size=(2, 2), stride=(1, 1))
  (cos_output): Conv2d(32, 1, kernel_size=(2, 2), stride=(1, 1))
  (sin_output): Conv2d(32, 1, kernel_size=(2, 2), stride=(1, 1))
  (width_output): Conv2d(32, 1, kernel_size=(2, 2), stride=(1, 1))
)


# 方式2) 实例化模型并加载权重
>>> from models.ggcnn import GGCNN
>>> model = GGCNN()
>>> model.load_state_dict(torch.load('ggcnn_weights_cornell/ggcnn_epoch_23_cornell_statedict.pt'))

<All keys matched successfully>

训练

通过 train_ggcnn.py 脚本执行训练。运行 train_ggcnn.py --help 查看完整参数列表（包括数据增强和验证选项）。

基础示例：

# 在Cornell数据集训练GG-CNN
python train_ggcnn.py --description training_example --network ggcnn --dataset cornell --dataset-path <数据集路径>

# 在Jacquard数据集训练GG-CNN2
python train_ggcnn.py --description training_example2 --network ggcnn2 --dataset jacquard --dataset-path <数据集路径>

默认模型保存路径为 output/models，文件名包含验证得分。

评估/可视化

通过 eval_ggcnn.py 脚本执行网络评估或可视化。运行 eval_ggcnn.py --help 查看完整参数。

重要参数说明：

• --iou-eval：使用抓取矩形交并比（IoU）评估
• --jacquard-output：生成Jacquard数据集要求的模拟测试输出文件
• --vis：绘制网络输出和预测抓取矩形

示例命令：

python eval_ggcnn.py --network <模型路径> --dataset jacquard --dataset-path <数据集路径> --jacquard-output --iou-eval

机器人部署

我们的 ROS 抓取系统实现请参见 https://github.com/dougsm/mvp_grasp。
Kinva Mico 机械臂的原始实现可在 https://github.com/dougsm/ggcnn_kinova_grasping 获取。

GGCNN 快速上手指南

环境准备

• 系统要求：Ubuntu 16.04 + Python 3.6
• 前置依赖：

  # 推荐使用国内镜像加速安装
  pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
  

安装步骤

# 1. 克隆仓库
git clone https://github.com/dougsm/ggcnn.git
cd ggcnn

# 2. 安装依赖（已加速）
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

# 3. 下载预训练模型（示例）
wget https://github.com/dougsm/ggcnn/releases/download/v0.1/ggcnn_weights_cornell.zip
unzip ggcnn_weights_cornell.zip

基本使用

数据集准备

# Cornell 数据集转换（需先下载PCD文件）
python -m utils.dataset_processing.generate_cornell_depth <数据集路径>

# Jacquard 数据集（直接解压使用）
# 下载地址: https://jacquard.liris.cnrs.fr/

模型加载示例

# 方式1: 直接加载模型
model = torch.load('ggcnn_weights_cornell/ggcnn_epoch_23_cornell')

# 方式2: 加载状态字典
from models.ggcnn import GGCNN
model = GGCNN()
model.load_state_dict(torch.load('ggcnn_weights_cornell/ggcnn_epoch_23_cornell_statedict.pt'))

训练示例

# 使用Cornell数据集训练GG-CNN
python train_ggcnn.py --description training_example \
                      --network ggcnn \
                      --dataset cornell \
                      --dataset-path <数据集路径>

# 使用Jacquard数据集训练GG-CNN2
python train_ggcnn.py --description training_example2 \
                      --network ggcnn2 \
                      --dataset jacquard \
                      --dataset-path <数据集路径>

评估与可视化

# 使用IoU评估并生成Jacquard格式输出
python eval_ggcnn.py --network <模型路径> \
                     --dataset jacquard \
                     --dataset-path <数据集路径> \
                     --jacquard-output \
                     --iou-eval

扩展使用

• 机器人部署：参考 ROS实现
• Kinova机械臂适配：Kinova实验代码

注意：GitHub资源下载较慢时，可尝试使用 GitHub镜像加速服务 或 Gitee同步仓库