对跖式机器人抓取

我们提出了一种新颖的基于生成残差卷积神经网络的模型架构，该架构能够检测摄像头视野内的物体，并为图像中的物体预测合适的对跖式抓取姿态。

本仓库包含了论文中提出的生成残差卷积神经网络（GR-ConvNet）的实现：

使用生成残差卷积神经网络的对跖式机器人抓取

Sulabh Kumra、Shirin Joshi、Ferat Sahin

arXiv | 视频

如果您在研究中使用了本项目，或希望引用论文中发布的基线结果，请使用以下 BibTeX 条目：

@inproceedings{kumra2020antipodal,
  author={Kumra, Sulabh and Joshi, Shirin and Sahin, Ferat},
  booktitle={2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)}, 
  title={Antipodal Robotic Grasping using Generative Residual Convolutional Neural Network}, 
  year={2020},
  pages={9626-9633},
  doi={10.1109/IROS45743.2020.9340777}}
}

需求

• numpy
• opencv-python
• matplotlib
• scikit-image
• imageio
• torch
• torchvision
• torchsummary
• tensorboardX
• pyrealsense2
• Pillow

安装

• 克隆机器人抓取项目

$ git clone https://github.com/skumra/robotic-grasping.git

• 创建虚拟环境

$ python3.6 -m venv --system-site-packages venv

• 激活虚拟环境

$ source venv/bin/activate

• 安装依赖

$ cd robotic-grasping
$ pip install -r requirements.txt

数据集

本仓库支持 康奈尔抓取数据集 和 Jacquard 数据集。

康奈尔抓取数据集

1. 下载并解压 康奈尔抓取数据集。
2. 运行 python -m utils.dataset_processing.generate_cornell_depth <数据集路径> 将 PCD 文件转换为深度图像。

Jacquard 数据集

1. 下载并解压 Jacquard 数据集。

模型训练

可以使用 train_network.py 脚本训练模型。运行 train_network.py --help 可查看所有选项。

康奈尔数据集示例：

python train_network.py --dataset cornell --dataset-path <数据集路径> --description training_cornell

Jacquard 数据集示例：

python train_network.py --dataset jacquard --dataset-path <数据集路径> --description training_jacquard --use-dropout 0 --input-size 300

模型评估

可以使用 evaluate.py 脚本评估训练好的网络。运行 evaluate.py --help 可查看所有选项。

康奈尔数据集示例：

python evaluate.py --network <训练好的网络路径> --dataset cornell --dataset-path <数据集路径> --iou-eval

Jacquard 数据集示例：

python evaluate.py --network <训练好的网络路径> --dataset jacquard --dataset-path <数据集路径> --iou-eval --use-dropout 0 --input-size 300

运行任务

可以使用相应的运行脚本执行任务。所有任务脚本的命名格式为 run_<任务名称>.py。例如，要运行抓取生成器：

python run_grasp_generator.py

在机器人上运行

若要在机器人上运行抓取生成器，请使用我们针对 Baxter 机器人的 ROS 实现。地址为：https://github.com/skumra/baxter-pnp

Robotic Grasping (GR-ConvNet) 快速上手指南

本项目实现了基于生成式残差卷积神经网络（GR-ConvNet）的机器人抓取检测模型，能够识别摄像头视野中的物体并预测合适的对向抓取配置。

环境准备

系统要求

• Python 版本：推荐 Python 3.6（官方示例基于此版本）
• 操作系统：Linux / macOS (Windows 需自行调整虚拟环境命令)

前置依赖

确保系统已安装以下基础库，项目主要依赖 PyTorch 和 OpenCV：

• numpy
• opencv-python
• torch & torchvision
• pyrealsense2 (如需连接 RealSense 相机)
• 其他见 requirements.txt

国内加速建议： 在安装 Python 依赖时，建议使用清华或阿里镜像源以提升下载速度：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆项目代码

   git clone https://github.com/skumra/robotic-grasping.git
   cd robotic-grasping
   

2. 创建并激活虚拟环境

   python3.6 -m venv --system-site-packages venv
   source venv/bin/activate
   

3. 安装项目依赖

   pip install -r requirements.txt
   

   (若需国内加速，请参照上方“国内加速建议”添加 -i 参数)

基本使用

1. 数据集准备

本项目支持 Cornell 和 Jacquard 数据集。以 Cornell 为例：

1. 下载并解压 Cornell Grasping Dataset。
2. 将 PCD 文件转换为深度图像：

   python -m utils.dataset_processing.generate_cornell_depth <Path To Dataset>
   

2. 训练模型

使用 train_network.py 脚本进行训练。

Cornell 数据集示例：

python train_network.py --dataset cornell --dataset-path <Path To Dataset> --description training_cornell

Jacquard 数据集示例：

python train_network.py --dataset jacquard --dataset-path <Path To Dataset> --description training_jacquard --use-dropout 0 --input-size 300

3. 评估模型

使用 evaluate.py 脚本评估训练好的网络。

示例命令：

python evaluate.py --network <Path to Trained Network> --dataset cornell --dataset-path <Path To Dataset> --iou-eval

4. 运行抓取生成

直接运行抓取生成器脚本：

python run_grasp_generator.py

注：若需在真实机器人（如 Baxter）上运行，请参考其独立的 ROS 实现仓库：https://github.com/skumra/baxter-pnp