Magic Leap 的研究

SuperPoint 权重文件与演示脚本

简介

本仓库包含由原始作者实现的预训练 SuperPoint 网络。SuperPoint 是 Magic Leap 的一项研究项目。SuperPoint 网络是一个全卷积深度神经网络，经过训练用于检测兴趣点并计算其对应的描述子。检测到的点和描述子可用于各种图像匹配任务。更多详情请参阅：

• 论文全文 PDF：SuperPoint: 自监督兴趣点检测与描述

• 演示文稿 PDF：2018 年 CVPR 视觉 SLAM 深度学习研讨会演讲

• 作者：Daniel DeTone、Tomasz Malisiewicz、Andrew Rabinovich

本演示展示了一个简单的稀疏光流点跟踪器，它使用 SuperPoint 在视频序列中检测点并进行匹配。该仓库包含两个核心文件：(1) PyTorch 权重文件；(2) Python 部署脚本，用于定义网络、加载图像并将 PyTorch 权重文件应用于这些图像，从而生成稀疏光流可视化效果。以下是该演示在多个公开数据集上运行的视频：

弗莱堡 RGBD：

KITTI：

微软 7 场景：

MonoVO：

依赖项

• OpenCV python >= 3.4
• PyTorch >= 0.4

本仓库依赖于一些标准的 Python 模块，以及 OpenCV 和 PyTorch。以下命令通常可以成功安装这两个库（已在 Mac 和 Ubuntu 上测试）：

pip install opencv-python
pip install torch

运行演示

本演示将对图像序列运行 SuperPoint 网络，并利用名为 SuperPointFrontend 的辅助类从图像中计算点和描述子。轨迹由 PointTracker 类生成，该类通过点描述子的双向匹配来寻找连续的最近邻点对。演示脚本使用一个名为 VideoStreamer 的辅助类，可以从三种不同的输入流中处理数据：

1. 包含 .png 或 .jpg 等格式图像的目录
2. 包含 .mp4 或 .avi 等格式的视频文件
3. USB 网络摄像头

在 CPU 模式下运行提供的图像目录中的演示：

./demo_superpoint.py assets/icl_snippet/

您应该会看到来自 ICL-NUIM 序列片段的以下输出：

在 GPU 模式下运行提供的 .mp4 文件中的演示：

./demo_superpoint.py assets/nyu_snippet.mp4 --cuda

您应该会看到来自 NYU 序列片段的以下输出：

在 CPU 模式下通过摄像头（ID #1）运行实时演示：

./demo_superpoint.py camera --camid=1

在远程 GPU（无显示器）上对 640x480 图像运行演示，并将输出写入 myoutput/ 目录：

./demo_superpoint.py assets/icl_snippet/ --W=640 --H=480 --no_display --write --write_dir=myoutput/

其他有用的命令行参数

• 使用 --H 可以更改输入图像的高度（默认：120）。
• 使用 --W 可以更改输入图像的宽度（默认：160）。
• 使用 --display_scale 可以缩放输出可视化图像的高度和宽度（默认：2）。
• 使用 --cuda 标志可以启用 GPU。
• 使用 --img_glob 可以更改图像文件扩展名（默认：*.png）。
• 使用 --min_length 可以更改最小轨迹长度（默认：2）。
• 使用 --max_length 可以更改最大轨迹长度（默认：5）。
• 使用 --conf_thresh 可以更改点置信度阈值（默认：0.015）。
• 使用 --nn_thresh 可以更改描述子匹配距离阈值（默认：0.7）。
• 使用 --show_extra 可以显示更多的计算机视觉输出。
• 按下 q 键即可退出。

BibTeX 引用

@inproceedings{detone18superpoint,
  author    = {Daniel DeTone and
               Tomasz Malisiewicz and
               Andrew Rabinovich},
  title     = {SuperPoint: Self-Supervised Interest Point Detection and Description},
  booktitle = {CVPR Deep Learning for Visual SLAM Workshop},
  year      = {2018},
  url       = {http://arxiv.org/abs/1712.07629}
}

补充说明

• 我们无意发布 SuperPoint 的训练或评估代码，请勿向我们发送邮件询问。
• 我们无意发布用于启动 SuperPoint 训练的 Synthetic Shapes 数据集，请勿向我们发送邮件询问。
• 我们使用双线性插值而非论文中描述的双三次插值来采样描述子，因为前者速度更快且结果相似。

法律声明

Magic Leap 很荣幸能够在 Github 上提供其最新的示例、工具包和研究项目，以促进开发并收集空间计算社区的反馈。使用本仓库中的资源需遵守 (a) 此处包含的许可协议，或 (b) 如果未包含许可协议，则需遵守 Magic Leap 的 开发者协议，该协议可在我们的 开发者门户 上找到。 如果您需要更多信息，欢迎前往 论坛 提问！ 我们非常高兴能成为数百万友好、热情且包容的社区的一员。

SuperPointPretrainedNetwork 快速上手指南

SuperPoint 是由 Magic Leap 研发的全卷积深度神经网络，用于检测图像兴趣点并计算其描述子，广泛应用于图像匹配、视觉 SLAM 及光流追踪等任务。本指南将帮助您快速部署并运行官方提供的预训练模型演示脚本。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux (Ubuntu) 或 macOS
• Python 版本：>= 3.4
• 核心依赖：
  • OpenCV (Python 绑定)
  • PyTorch (版本 >= 0.4)

国内加速建议： 安装 PyTorch 时，建议访问 PyTorch 国内镜像站 获取适合您环境的安装命令，以解决下载速度慢的问题。

安装步骤

使用 pip 安装必要的 Python 库。如果您在国内，推荐使用清华或阿里镜像源加速安装过程。

1. 安装基础依赖

pip install opencv-python
pip install torch

2. (可选) 使用国内镜像源加速安装

如果默认源下载缓慢，请使用以下命令：

pip install opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install torch -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

仓库中包含一个名为 demo_superpoint.py 的演示脚本，它利用 SuperPointFrontend 类加载预训练权重，并通过 PointTracker 类在图像序列中实现稀疏光流追踪。

运行示例：处理本地图片目录 (CPU 模式)

这是最简单的使用方式，脚本将读取指定文件夹下的图片序列，检测特征点并展示追踪效果。

./demo_superpoint.py assets/icl_snippet/

预期结果： 程序将弹出窗口显示处理后的视频流，展示特征点在序列中的追踪轨迹（如 ICL-NUIM 数据集片段）。

其他常用运行模式

• GPU 加速模式（处理视频文件）：

  ./demo_superpoint.py assets/nyu_snippet.mp4 --cuda
  

• 实时摄像头演示（使用 ID 为 1 的摄像头）：

  ./demo_superpoint.py camera --camid=1
  

• 无界面批量处理（调整分辨率并保存结果）：

  ./demo_superpoint.py assets/icl_snippet/ --W=640 --H=480 --no_display --write --write_dir=myoutput/
  

关键参数说明

• --H / --W：设置输入图像的高度和宽度（默认：120x160）。
• --cuda：启用 GPU 加速。
• --conf_thresh：调整兴趣点置信度阈值（默认：0.015）。
• --nn_thresh：调整描述子匹配距离阈值（默认：0.7）。
• q：在演示窗口中按下 q 键可退出程序。