全卷积几何特征，ICCV 2019

从3D扫描或点云中提取几何特征是配准、重建和跟踪等应用的第一步。当前最先进的方法需要计算低级特征作为输入，或者提取感受野有限的基于补丁的特征。在本工作中，我们提出了全卷积几何特征，这些特征由一个3D全卷积网络一次性计算得出。我们还提出了新的度量学习损失函数，显著提升了性能。全卷积几何特征紧凑、能够捕捉广泛的空间上下文，并且可以扩展到大型场景。我们在室内和室外数据集上对我们的方法进行了实验验证。全卷积几何特征无需预处理即可达到最先进的精度，特征维度仅为32维，且速度比最精确的先前方法快600倍。

ICCV'19论文

新闻

• 2020年10月2日：在MinkowskiEngineBenchmark上测量了v0.5版本下的FCGF加速效果。根据批次大小的不同，加速比范围为2.7倍至7.7倍。
• 2020年9月4日：ME v0.5版本的更新进一步将推理时间从13.2毫秒缩短至11.8毫秒。作为参考，ME v0.4版本需要37毫秒。
• 2020年8月18日：v0.5版本已合并到主分支，并支持v0.5版本的安装。现在可以使用完整的GPU支持稀疏张量hi-COO表示，以实现更快的训练和推理。
• 2020年8月7日：MinkowskiEngine v0.5版本将FCGF的推理速度提升了2.8倍（即280%的加速，ResUNetBN2C在3DMatch厨房点云ID-20上的前向传播时间从ME v0.4.3的37毫秒降至ME v0.5.0的13.2毫秒）。测试环境为TitanXP显卡和Ryzen-3700X处理器。
• 2020年6月15日：用于深度全局配准，CVPR'20口头报告的源代码已发布。请参考该仓库和论文，了解如何使用FCGF进行配准。

3D特征的精度与速度对比

对比表	速度与精度

在3DMatch基准测试上，以对数尺度展示特征匹配召回率与速度。我们的方法既是最精确的，也是最快的。灰色区域表示先前方法的帕累托前沿。

相关工作

Zeng等人提出的3DMatch使用孪生卷积网络来学习3D补丁描述符。 Khoury等人提出的CGF利用多层感知机将3D方向直方图映射到低维特征空间。Deng等人提出的PPFNet和PPF FoldNet则将PointNet架构应用于几何特征描述。Yew和Lee提出的3DFeat使用PointNet在户外场景中提取特征。

我们的工作解决了先前研究中的若干局限性。首先，所有先前方法都是提取一个小的3D补丁或一组点，然后将其映射到低维空间。这不仅限制了网络的感受野，而且由于即使对于重叠的3D区域也需要分别计算所有中间表示，因此计算效率低下。其次，使用昂贵的低级几何特征作为输入会降低特征计算的速度。最后，将特征提取限制在感兴趣的点子集上会导致后续匹配阶段的空间分辨率降低，从而降低配准精度。

全卷积度量学习、最难对比损失与最难三元组损失

传统的度量学习假设特征是独立同分布的(i.i.d.)，因为批次是通过随机采样构建的。然而，在首次提出于通用对应网络，Choy 2016中的全卷积度量学习中，相邻的特征在局部是相关的，而难负样本挖掘可能会找到与锚点相邻的特征，这些实际上是假负样本。因此，过滤掉这些假负样本是一个关键步骤，类似于通用对应网络使用距离阈值来过滤假负样本的方式。

此外，在全卷积设置中使用的特征数量比标准度量学习算法大得多。例如，FCGF为一对扫描生成约4万个特征（这一数字会随着批次大小成比例增加），而传统度量学习中的小批量通常只有约1千个特征。因此，在标准度量学习中使用批次内的所有两两距离是不现实的。

相反，我们提出了最难对比损失和最难三元组损失。从视觉上看，它们只是简单的变体，都使用正样本对中每个特征的最难负样本。

最难对比损失的一个关键优势是不需要保存用于寻找最难负样本的临时变量。这一小小的改动使我们能够仅根据最难负样本的索引重建损失，并在找到每个正样本的最难负样本后丢弃中间结果。在这里，我们使用了近4万个特征来挖掘最难负样本，并在找到每个正样本的最难负样本索引后立即销毁所有中间变量。

对比损失	三元组损失	最难对比	最难三元组

每种方法的采样和负样本挖掘策略。蓝色：正样本，红色：负样本。传统的对比损失和三元组损失采用随机采样，而我们的最难对比损失和最难三元组损失则使用最难负样本。

更多详细信息请参阅我们的ICCV'19论文。

FCGF可视化

我们为相距10米的KITTI数据集中的两组3D扫描以及3DMatch基准测试中的室内扫描对，使用t-SNE将FCGF特征映射到标量空间，并用光谱颜色映射对其进行着色。

KITTI LIDAR扫描1	KITTI LIDAR扫描2

室内扫描1	室内扫描2

FCGF对应关系可视化

请点击链接Youtube视频或点击图片观看FCGF可视化的YouTube视频。

需求

• Ubuntu 14.04 或更高版本
• CUDA 11.1 或更高版本
• Python v3.7 或更高版本
• PyTorch v1.6 或更高版本
• MinkowskiEngine v0.5 或更高版本

安装与数据集下载

我们推荐使用 conda 进行安装。首先，创建一个包含 PyTorch 1.5 或更高版本的 conda 环境：

conda create -n py3-fcgf python=3.7
conda activate py3-fcgf
conda install pytorch -c pytorch
pip install git+https://github.com/NVIDIA/MinkowskiEngine.git

接下来，克隆 FCGF 的 Git 仓库，并在 FCGF 根目录下安装依赖项：

git clone https://github.com/chrischoy/FCGF.git
cd FCGF
# 在 conda 环境中执行以下命令
pip install -r requirements.txt

训练时，请下载预处理好的 3DMatch 基准数据集：

./scripts/download_datasets.sh /path/to/dataset/download/dir

对于 KITTI 数据集的训练，请按照 KITTI Odometry 官网 的说明下载 KITTI odometry 训练集。

演示：提取并为 FCGF 特征着色

安装完成后，可以通过以下命令运行演示脚本：

python demo.py

演示脚本首先会从厨房场景生成的网格文件中提取 FCGF 特征，然后根据特征独立于其空间位置进行着色。接着，通过 TSNE 进行颜色映射后，脚本会将这些着色后的特征应用到输入点云上进行可视化。

您可能需要旋转场景以获得上述可视化效果。

3DMatch 基准测试的训练与运行

python train.py --threed_match_dir /path/to/threedmatch/

要对 3DMatch 上训练得到的权重进行基准测试，请从 这里 下载 3DMatch 几何配准基准数据集，或者运行：

bash ./scripts/download_3dmatch_test.sh /path/to/threedmatch_test/

然后按照以下步骤操作：

python -m scripts.benchmark_3dmatch.py \
    --source /path/to/threedmatch \
    --target ./features_tmp/ \
    --voxel_size 0.025 \
    --model ~/outputs/checkpoint.pth \
    --extract_features --evaluate_feature_match_recall --with_cuda

KITTI Odometry 自定义划分下的训练与测试

对于 KITTI 数据集的训练，按照 KITTI Odometry 官网 的说明下载 KITTI odometry 训练集。

export KITTI_PATH=/path/to/kitti/; ./scripts/train_fcgf_kitti.sh

3DMatch 上的配准测试

模型库

模型	归一化特征	数据集	体素大小	特征维度	性能	链接
ResUNetBN2C	是	3DMatch	2.5cm (0.025)	32	FMR: 0.9578 ± 0.0272	下载
ResUNetBN2C	是	3DMatch	2.5cm (0.025)	16	FMR: 0.9442 ± 0.0345	下载
ResUNetBN2C	是	3DMatch	5cm (0.05)	32	FMR: 0.9372 ± 0.0332	下载
ResUNetBN2C	否	KITTI	20cm (0.2)	32	RTE: 0.0534m, RRE: 0.1704°	下载
ResUNetBN2C	否	KITTI	30cm (0.3)	32	RTE: 0.0607m, RRE: 0.2280°	下载
ResUNetBN2C	是	KITTI	30cm (0.3)	16	RTE: 0.0670m, RRE: 0.2295°	下载
ResUNetBN2C	是	KITTI	30cm (0.3)	32	RTE: 0.0639m, RRE: 0.2253°	下载

FCGF 图4 的原始数据

• 距离阈值数据
• 内点阈值数据

引用 FCGF

FCGF 将在 ICCV'19 上展示：2019年11月1日星期五，10:30–13:00，海报 4.1（B厅）。

@inproceedings{FCGF2019,
    author = {Christopher Choy and Jaesik Park and Vladlen Koltun},
    title = {Fully Convolutional Geometric Features},
    booktitle = {ICCV},
    year = {2019},
}

相关项目

• 用于高维稀疏张量的神经网络库：Minkowski Engine, CVPR'19
• 高维稀疏张量上的语义分割：4D Spatio Temporal ConvNets, CVPR'19
• 第一个用于对应关系的全卷积度量学习：Universal Correspondence Network, NIPS'16
• 使用六维卷积网络的 3D 注册网络：Deep Global Registration, CVPR'20

使用 FCGF 的项目

• Gojcic 等人，学习多视角 3D 点云配准，CVPR'20
• Choy 等人，Deep Global Registration，CVPR'20 口头报告

致谢

我们感谢所有 ICCV 的审稿人，尤其是 R2，感谢他们的建议和宝贵意见。

FCGF 快速上手指南

FCGF (Fully Convolutional Geometric Features) 是一个用于从 3D 扫描或点云中提取几何特征的高效开源工具。它基于 3D 全卷积网络，能够单次前向传播生成紧凑（32 维）且包含广阔空间上下文信息的特征，广泛应用于配准、重建和跟踪等任务。相比传统方法，FCGF 无需预处理，速度快且精度更高。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Ubuntu 14.04 或更高版本
• GPU 驱动: CUDA 11.1 或更高版本
• Python: v3.7 或更高版本
• 深度学习框架: PyTorch v1.6 或更高版本
• 核心依赖: MinkowskiEngine v0.5 或更高版本（用于处理稀疏张量）

注意：本项目强依赖 GPU 加速，请确保已正确安装 NVIDIA 驱动和 CUDA toolkit。

安装步骤

推荐使用 conda 进行环境管理，以避免依赖冲突。

1. 创建并激活 Conda 环境

conda create -n py3-fcgf python=3.7
conda activate py3-fcgf

2. 安装 PyTorch

根据您的 CUDA 版本安装对应的 PyTorch。以下为通用安装命令（建议访问 PyTorch 官网 获取适合您环境的特定命令，国内用户可使用清华源加速）：

# 示例：使用 pip 安装（若网络较慢可添加 -i https://pypi.tuna.tsinghua.edu.cn/simple）
pip install torch torchvision torchaudio

3. 安装 MinkowskiEngine

FCGF 依赖 MinkowskiEngine 进行稀疏卷积运算。直接从 GitHub 安装最新兼容版本：

pip install git+https://github.com/NVIDIA/MinkowskiEngine.git

4. 克隆 FCGF 仓库并安装依赖

git clone https://github.com/chrischoy/FCGF.git
cd FCGF
pip install -r requirements.txt

5. 下载数据集（可选，用于训练或测试）

如果您需要运行基准测试或重新训练模型，请下载预处理好的 3DMatch 数据集：

./scripts/download_datasets.sh /path/to/dataset/download/dir

对于 KITTI 数据集，请访问 KITTI Odometry 官网 手动下载并放置到指定路径。

基本使用

安装完成后，您可以立即运行演示脚本来体验特征提取与可视化功能。

运行演示脚本

该脚本将从一个厨房场景的网格文件中提取 FCGF 特征，利用 t-SNE 将高维特征映射到标量空间并进行着色，最后可视化着色后的点云。

python demo.py

运行成功后，您将看到一个可视化的点云窗口（可能需要旋转视角以观察最佳效果），不同颜色代表不同的几何特征描述子。

提取特征并评估（3DMatch 基准）

如果您已训练好模型或下载了预训练权重，可以使用以下命令在 3DMatch 数据集上提取特征并评估匹配召回率：

python -m scripts.benchmark_3dmatch.py \
    --source /path/to/threedmatch \
    --target ./features_tmp/ \
    --voxel_size 0.025 \
    --model ~/outputs/checkpoint.pth \
    --extract_features --evaluate_feature_match_recall --with_cuda

• --source: 3DMatch 数据集路径
• --model: 预训练模型权重路径（可从下文 Model Zoo 下载）
• --voxel_size: 体素化大小，通常设为 0.025 (2.5cm)

获取预训练模型

您可以从官方提供的 Model Zoo 下载针对不同数据集（3DMatch, KITTI）和体素大小优化的预训练权重，直接用于推理或微调。例如，下载 3DMatch (2.5cm, 32 维) 的模型：

wget https://node1.chrischoy.org/data/publications/fcgf/2019-08-19_06-17-41.pth -O checkpoint.pth