更新

• 2018年9月4日：教程和数据现已可用！我们在此处提供了教程，它将逐步指导您如何运行此仓库。
• 2019年6月26日：我们已将仓库更新至 PyTorch 1.1 和 CUDA 10。有关论文中实验所用代码，请参阅此处。

在 PyTorch 中进行密集对应学习

在该项目中，我们学习密集对象网络，即针对此前未见过的、可能具有形变的对象以及潜在的对象类别，构建密集描述符网络：

我们还展示了如何将密集对象网络用于机器人操作任务：

密集对象网络：为机器人操作而学习的密集视觉描述符

这是我们论文的参考实现：

PDF | 视频

Pete Florence*、Lucas Manuelli*、Russ Tedrake

摘要： 对于操作任务而言，合适的目标表征是什么？我们希望机器人能够视觉感知场景，并学习对其中物体的理解，这种理解应具备以下特性：(i) 不依赖于具体任务，可作为多种操作任务的构建模块；(ii) 既适用于刚性物体，也适用于非刚性物体；(iii) 充分利用三维视觉提供的强大先验信息；(iv) 完全通过自监督学习获得。然而，以往的方法难以实现这些目标：近期许多抓取相关的工作无法推广到特定物体或其他任务上，而针对特定任务的学习则可能需要大量尝试才能在不同物体构型或任务间良好泛化。在本文中，我们提出了密集对象网络，该方法基于近期自监督密集描述符学习的进展，作为一种一致的对象表征，用于视觉理解和操作任务。我们证明，对于各种此前未见且可能具有形变的物体，只需约20分钟即可快速训练出相应的描述符。此外，我们还提出了支持多物体描述符学习的新方法，并表明通过调整训练流程，我们可以分别获取跨类别的通用描述符，或为每个物体实例生成独特的描述符。最后，我们展示了将学习到的密集描述符应用于机器人操作的新方式：我们实现了在可能发生形变的物体构型下对特定点的抓取，并利用类别通用描述符在同类物体之间迁移特定抓取策略。

引用

如果您在工作中使用了本代码，请考虑引用：

@article{florencemanuelli2018dense,
  title={Dense Object Nets: Learning Dense Visual Object Descriptors By and For Robotic Manipulation},
  author={Florence, Peter and Manuelli, Lucas and Tedrake, Russ},
  journal={Conference on Robot Learning},
  year={2018}
}

教程

• PyTorch 密集对应入门

代码设置

• 搭建 Docker 镜像
• 推荐的 Docker 工作流

数据集

• 数据组织
• 单场景数据预处理

训练与评估

• 训练网络
• 评估训练好的网络
• 预训练模型

其他

• 坐标系约定
• 测试

Git 管理

为防止仓库体积不断增大，建议在提交任何 Jupyter 笔记本之前，始终执行“重启并清除输出”操作。如果您希望保存笔记本当前的状态，可以将其“导出为 .html”，这是一种很好的方式来记录笔记本的当前状态并分享。

pytorch-dense-correspondence 快速上手指南

本指南帮助中国开发者快速部署并使用 pytorch-dense-correspondence，用于学习密集对象网络（Dense Object Nets），实现对未见过的刚性或非刚性物体的视觉描述符学习及机器人抓取任务。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 16.04/18.04)
• GPU: 支持 CUDA 的 NVIDIA 显卡
• 核心依赖:
  • Docker (官方推荐使用 Docker 容器化部署，避免环境冲突)
  • NVIDIA Docker Toolkit (nvidia-docker2)
• 软件版本:
  • PyTorch 1.1+
  • CUDA 10+
  • 注：若需复现论文原始实验代码，请使用 PyTorch 0.3 版本分支。

提示：国内用户建议在安装 Docker 时配置阿里云或中科大镜像加速器，以加快镜像拉取速度。

安装步骤

本项目强烈建议使用 Docker 进行部署，以确保依赖一致性。

1. 克隆仓库

git clone https://github.com/RobotLocomotion/pytorch-dense-correspondence.git
cd pytorch-dense-correspondence

2. 构建 Docker 镜像

进入项目根目录，执行以下命令构建包含所有依赖的 Docker 镜像：

docker build -t pdc-env .

如果构建过程中下载缓慢，请检查是否已配置 Docker 国内镜像源。

3. 启动容器

使用以下命令启动容器并挂载当前代码目录：

docker run --gpus all -it --rm -v $(pwd):/workspace pdc-env bash

4. 数据准备（可选）

若在容器外预处理数据，请参考 doc/data_organization.md 组织数据结构。对于单场景数据预处理，可参考：

# 在容器内运行示例（具体参数需根据实际数据调整）
python scripts/preprocess_single_scene.py --scene_path /path/to/scene

基本使用

以下是训练和评估网络的最简流程。

1. 训练网络

使用默认配置训练一个密集描述符网络。确保数据路径已在配置文件或命令行参数中正确指定：

python train.py --config_name default_config

训练时间：对于单个新物体，通常仅需约 20 分钟即可完成训练。

2. 评估模型

训练完成后，使用以下命令评估模型性能：

python eval.py --config_name default_config --checkpoint_path /path/to/checkpoint.pth

3. 使用预训练模型

如果您不想从头训练，可以直接下载官方提供的预训练模型（Model Zoo）：

• 访问 doc/model_zoo.md 获取模型下载链接。
• 将下载的 .pth 文件放入指定目录，并通过 --checkpoint_path 参数加载即可进行推理或微调。

4. 可视化与调试

项目包含 Jupyter Notebook 用于可视化结果。在提交代码前，请务必执行 "Restart and Clear Outputs" 以防止仓库体积过大。如需保存运行结果，建议导出为 HTML：

# 在 Jupyter 界面中选择 File -> Download as -> HTML (.html)

---

更多详细教程（包括数据组织规范、坐标约定及高级训练技巧）请参阅项目 doc/ 目录下的完整文档。