PoseCNN：一种用于杂乱场景中 6D 物体位姿估计的卷积神经网络

由华盛顿大学 RSE 实验室（RSE-Lab）和 NVIDIA Research 的 Yu Xiang 创建。

简介

我们提出了 PoseCNN，这是一种用于 6D 物体位姿估计的新卷积神经网络。PoseCNN 通过在图像中定位物体中心并预测其与相机的距离来估计物体的 3D 平移；而物体的 3D 旋转则通过回归到四元数表示来估计。arXiv, 项目主页

许可证

PoseCNN 根据 MIT 许可证发布（详情请参阅 LICENSE 文件）。

引用

如果您在研究中使用了 PoseCNN，请考虑引用以下文献：

@inproceedings{xiang2018posecnn,
    Author = {Xiang, Yu and Schmidt, Tanner and Narayanan, Venkatraman and Fox, Dieter},
    Title = {PoseCNN: A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes},
    Journal   = {Robotics: Science and Systems (RSS)},
    Year = {2018}
}

安装

1. 安装 TensorFlow。我通常会在本地编译 TensorFlow 的源代码。

2. 编译 PoseCNN 中引入的 $ROOT/lib 下的新层。

   cd $ROOT/lib
   sh make.sh
   

3. 从 这里 下载 VGG16 权重文件（528 MB）。将权重文件 vgg16.npy 放置到 $ROOT/data/imagenet_models 目录下。

4. 使用 cmake 编译 lib/synthesize（可选）。该包包含一些有用的工具，例如生成用于训练的合成图像以及 ICP 算法。

   安装依赖项：

   • Pangolin
   • Eigen
   • boost
   • Sophus
   • nanoflann
   • libsuitesparse-dev

   我们使用 Boost.Python 库将 TensorFlow 与 C++ 代码连接起来。请确保您的 Boost 版本中包含此库。经过测试的 Boost 版本是 1.66.0。

   修改 CMakeLists.txt 中的硬编码路径。

   我使用的 Pangolin 分支：c2a6ef524401945b493f14f8b5b8aa76cc7d71a9

   cd $ROOT/lib/synthesize
   mkdir build
   cd build
   cmake ..
   make
   

   将编译好的 libsynthesizer.so 路径添加到 Python 路径中：

   export PYTHONPATH=$PYTHONPATH:$ROOT/lib/synthesize/build
   

必需环境

• Ubuntu 16.04
• Tensorflow >= 1.2.0
• CUDA >= 8.0

运行演示

1. 从 这里 下载我们在 YCB-Video 数据集上训练好的模型，并将其保存到 $ROOT/data/demo_models 目录下。

2. 运行以下脚本：

   ./experiments/scripts/demo.sh $GPU_ID
   

在 YCB-Video 数据集上运行

1. 从 这里 下载 YCB-Video 数据集。

2. 为 YCB-Video 数据集创建符号链接（名称 LOV 是历史原因，意为“从视频中学习对象”）：

   cd $ROOT/data/LOV
   ln -s $ycb_data data
   ln -s $ycb_models models
   

3. 在 YCB-Video 数据集上进行训练和测试：

   cd $ROOT
   
   # 训练
   ./experiments/scripts/lov_color_2d_train.sh $GPU_ID
   
   # 测试
   ./experiments/scripts/lov_color_2d_test.sh $GPU_ID
   

PoseCNN 快速上手指南

PoseCNN 是一个用于杂乱场景中 6D 物体姿态估计的卷积神经网络。它通过定位图像中心预测 3D 平移，并回归四元数表示来估计 3D 旋转。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Ubuntu 16.04
• 深度学习框架: TensorFlow >= 1.2.0 (建议本地编译源码)
• GPU 驱动: CUDA >= 8.0
• C++ 依赖库 (用于编译合成工具):
  • Pangolin (推荐分支: c2a6ef524401945b493f14f8b5b8aa76cc7d71a9)
  • Eigen
  • Boost (需包含 Boost.Python，测试版本 1.66.0)
  • Sophus
  • nanoflann
  • libsuitesparse-dev

安装步骤

设 $ROOT 为 PoseCNN 项目根目录。

1. 安装 TensorFlow

请参考 TensorFlow 官方指南 进行安装，推荐使用源码编译以获得最佳兼容性。

2. 编译自定义网络层

编译 PoseCNN 引入的新网络层：

cd $ROOT/lib
sh make.sh

3. 下载预训练权重

下载 VGG16 权重文件 (528M)，并将其放置到指定目录：

• 下载地址: Google Drive
• 操作: 将下载的 vgg16.npy 文件移至 $ROOT/data/imagenet_models 目录。

4. 编译合成工具 (可选但推荐)

此步骤用于生成合成训练图像及运行 ICP 算法。

首先修改 CMakeLists.txt 中的硬编码路径，然后执行以下命令：

cd $ROOT/lib/synthesize
mkdir build
cd build
cmake ..
make

编译完成后，将生成的库路径添加到 Python 环境变量：

export PYTHONPATH=$PYTHONPATH:$ROOT/lib/synthesize/build

基本使用

以下演示如何运行官方提供的 Demo（基于 YCB-Video 数据集训练的模型）。

1. 下载演示模型

从以下链接下载训练好的模型，并保存至 $ROOT/data/demo_models：

• 下载地址: Google Drive

2. 运行 Demo

替换 <GPU_ID> 为您的显卡编号（例如 0），运行以下脚本：

./experiments/scripts/demo.sh <GPU_ID>

---

注：若需在完整的 YCB-Video 数据集上进行训练或测试，请参考原文档"Running on the YCB-Video dataset"章节配置数据链路。