使用Python进行RGB-D图像的体积TSDF融合

这是一个轻量级的Python脚本，可将多个已对齐的彩色图像和深度图像融合为一个投影截断有符号距离函数（TSDF）体积，该体积可用于生成高质量的3D表面网格和点云。已在Ubuntu 16.04上测试通过。

一个较旧的CUDA/C++版本可在此处找到 here。

依赖项

• Python 2.7+ 需要 NumPy、PyCUDA、OpenCV、Scikit-image 和 Numba。这些可以通过运行以下命令快速安装/更新：

  pip install --user numpy opencv-python scikit-image numba
  

• [可选] GPU加速需要配备NVIDIA GPU和PyCUDA的显卡：

  pip install --user pycuda
  

示例

此示例将7-scenes数据集中的1000张RGB-D图像融合为一个405 x 264 x 289的投影TSDF体素体积（分辨率2cm），在GPU模式下以约30 FPS的速度处理（CPU模式下为0.4 FPS），并输出3D网格文件mesh.ply，可通过如Meshlab等3D查看器可视化。

注意：彩色图像保存为24位PNG RGB格式，深度图像保存为16位PNG毫米单位。

python demo.py

应用场景

• 3DMatch: 从RGB-D重建中学习局部几何描述符 (CVPR 2017)
• 单张深度图像的语义场景补全 (CVPR 2017)
• 深度滑动形状用于RGB-D图像的模态3D物体检测 (CVPR 2016)

参考文献

• 基于范围图像构建复杂模型的体积方法 (SIGGRAPH 1996)
• KinectFusion: 实时密集表面映射与跟踪 (ISMAR 2011)
• RGB-D图像中相机重定位的场景坐标回归森林 (CVPR 2013)

引用

本仓库是3DMatch工具包的一部分。如果在工作中使用了此代码，请考虑引用：

@inproceedings{zeng20163dmatch,
    title={3DMatch: Learning Local Geometric Descriptors from RGB-D Reconstructions},
    author={Zeng, Andy and Song, Shuran and Nie{\ss}ner, Matthias and Fisher, Matthew and Xiao, Jianxiong and Funkhouser, Thomas},
    booktitle={CVPR},
    year={2017}
}

tsdf-fusion-python 快速上手指南

环境准备

• 系统要求：Ubuntu 16.04 及以上版本
• 前置依赖：
  • Python 2.7+
  • NumPy、PyCUDA、OpenCV、Scikit-image、Numba
  • （可选）NVIDIA GPU + CUDA

安装步骤

1. 安装基础依赖（推荐使用国内镜像源）：

   pip install --user --index-url https://pypi.tuna.tsinghua.edu.cn/simple numpy opencv-python scikit-image numba
   

2. 安装GPU加速支持（需NVIDIA GPU）：

   pip install --user --index-url https://pypi.tuna.tsinghua.edu.cn/simple pycuda
   

基本使用

1. 运行演示脚本融合7-scenes数据集：

   python demo.py
   

   • 输出405x264x289分辨率的TSDF体素体积
   • 生成3D网格文件mesh.ply（支持MeshLab可视化）
   • 颜色图像保存为24位PNG RGB，深度图像保存为16位PNG毫米单位