卷积空间传播网络

作者：Xinjing Cheng、Peng Wang、Chenye Guan 和 Ruigang Yang

目录

0. 简介
1. 引用

简介

本仓库包含用于深度补全和立体深度估计的 CSPN 模型，这些模型在论文《通过卷积空间传播网络学习相似性进行深度估计》（http://openaccess.thecvf.com/content_ECCV_2018/papers/Xinjing_Cheng_Depth_Estimation_via_ECCV_2018_paper.pdf）以及《使用卷积空间传播网络学习深度》（https://arxiv.org/abs/1810.02695）中有所介绍。

我们在此提供了两种实现。首先，我们使用 PyTorch 实现了一个简单的 2D CSPN，该模型结合了“offsite”和“conv”操作。随后，我们又提供了一种更为高效的 2D/3D CSPN CUDA 实现，并将其集成到 PaddlePaddle 中，使得该实现更加稳定且易于使用。

引用

如果您在研究中使用了本方法，请引用以下文献：

@inproceedings{cheng2018depth,
  title={Depth estimation via affinity learned with convolutional spatial propagation network},
  author={Cheng, Xinjing and Wang, Peng and Yang, Ruigang},
  booktitle={Proceedings of the European Conference on Computer Vision (ECCV)},
  pages={103--119},
  year={2018}
}

@article{cheng2019learning,
  title={Learning depth with convolutional spatial propagation network},
  author={Cheng, Xinjing and Wang, Peng and Yang, Ruigang},
  journal={IEEE transactions on pattern analysis and machine intelligence},
  year={2019},
  publisher={IEEE}
}

CSPN 快速上手指南

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 16.04/18.04) 或 macOS。Windows 用户建议使用 WSL2 或 Docker。
• Python: Python 3.6 或更高版本。
• 深度学习框架:
  • PyTorch: 用于运行基础的 2D CSPN 实现（适合学习和调试）。
  • PaddlePaddle (飞桨): 用于运行高效的 2D/3D CSPN CUDA 实现（推荐用于生产环境，更稳定且易用）。
• 硬件: 推荐使用 NVIDIA GPU 以加速 CUDA 算子运行。

前置依赖安装：

如果您选择使用 PaddlePaddle（推荐），可以使用国内镜像源快速安装：

python -m pip install paddlepaddle-gpu -i https://mirror.baidu.com/pypi/simple

如果您选择使用 PyTorch，请根据官方指引安装对应版本，或使用清华镜像源：

pip install torch torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple

其他通用依赖：

pip install numpy opencv-python

安装步骤

克隆 CSPN 官方仓库并进入目录：

git clone https://github.com/XinJCheng/CSPN.git
cd CSPN

该仓库包含两种实现方式，无需额外编译步骤即可直接使用 Python 调用：

1. PyTorch 版: 位于代码库中，实现了结合 'offsite' 和 'conv' 操作的基础 2D CSPN。
2. PaddlePaddle 版: 集成了基于 CUDA 的高效 2D/3D CSPN 算子，性能更优。

注意：若需自定义编译 CUDA 扩展（通常 Paddle 会自动处理），请确保已安装 nvcc 编译器。

基本使用

以下示例展示如何加载预训练模型并进行深度补全（Depth Completion）推理。假设您已准备好输入图像和稀疏深度图。

方案一：使用 PaddlePaddle (推荐，高效稳定)

import paddle
from model import CSPNModel # 假设模型定义在 model.py 中，具体路径请参考 repo 结构

# 初始化模型
model = CSPNModel()
model.eval()

# 加载预训练权重 (需先下载权重文件放入指定目录)
param_dict = paddle.load('pretrained_models/cspn_depth_completion.pdparams')
model.set_state_dict(param_dict)

# 准备输入数据 (image: [B, 3, H, W], sparse_depth: [B, 1, H, W])
# 此处仅为伪代码，具体数据预处理请参考 repo 中的 demo 脚本
input_image = ... 
input_sparse = ...

# 执行推理
with paddle.no_grad():
    output_depth = model(input_image, input_sparse)

print("Depth estimation completed.")

方案二：使用 PyTorch (基础 2D 实现)

import torch
from cspn_pytorch import CSPN2D # 对应 naive 2D 实现模块

# 初始化模型
model = CSPN2D()
model.cuda()
model.eval()

# 加载权重
checkpoint = torch.load('pretrained_models/cspn_pytorch.pth')
model.load_state_dict(checkpoint)

# 准备输入数据并移至 GPU
input_image = ... # Tensor shape: [B, 3, H, W]
input_sparse = ... # Tensor shape: [B, 1, H, W]
input_image = input_image.cuda()
input_sparse = input_sparse.cuda()

# 执行推理
with torch.no_grad():
    output_depth = model(input_image, input_sparse)

print("Depth estimation completed.")

提示：完整的训练脚本、数据预处理流程及更多参数配置，请参阅仓库根目录下的 train.py 和 demo.py 文件。