DeMoN：深度与运动网络

DeMoN 是“一种用于从两个视角重建场景的计算机算法”¹。 该网络能够估计图像对的深度和相机相对运动；它解决了基于运动恢复结构中的重要两视图问题。

如果您在研究中使用此代码，请引用以下文献：

@InProceedings{UZUMIDB17,
  author       = "B. Ummenhofer and H. Zhou and J. Uhrig and N. Mayer and E. Ilg and A. Dosovitskiy and T. Brox",
  title        = "DeMoN: 深度与运动网络——用于学习单目立体视觉的模型",
  booktitle    = "IEEE 计算机视觉与模式识别会议 (CVPR)",
  month        = " ",
  year         = "2017",
  url          = "http://lmb.informatik.uni-freiburg.de//Publications/2017/UZUMIDB17"
}

有关论文及其他资料，请访问项目网站。

^{1 这是 H. C. Longuet-Higgins 于 1981 年发表的论文标题，完美地描述了我们方法的功能。DeMoN 表明，复杂的几何关系可以通过卷积神经网络来学习。}

需求

构建和使用需要以下库和程序：

tensorflow 1.4.0
cmake 3.7.1
python 3.5
cuda 8.0.61（支持 GPU 才需）
VTK 7.1，带有 Python3 接口（用于可视化点云）

这些版本是我们已在 Ubuntu 16.04 系统上测试过的配置。DeMoN 也可以在其他版本的上述依赖项上运行，例如 tensorflow 1.3，但尚未经过充分测试。

来自 vtk.org 的二进制包不包含 Python3 接口。要启用 Python3 支持，需要从源代码编译 VTK。此外，也可以通过 conda 包管理器在 Anaconda 中获取已支持 Python3 的 VTK 包。

该网络还依赖于我们的 lmbspecialops 库，该库以子模块形式包含在内。

构建说明

以下内容介绍了如何在一个新的虚拟环境中安装 tensorflow 和 DeMoN，并运行推理示例。我们将使用 pew（pip3 install pew）来管理名为 demon_venv 的新虚拟环境：

# 创建虚拟环境
pew new demon_venv

接下来的所有命令都在虚拟环境中执行：

# 安装 Python 模块依赖
pip3 install tensorflow-gpu # 或者不带 GPU 支持的 'tensorflow'
pip3 install pillow # 用于读取图像
pip3 install matplotlib # 可视化深度图所需
pip3 install Cython # 可视化点云所需

# 克隆包含子模块的仓库
git clone --recursive https://github.com/lmb-freiburg/demon.git

# 构建 lmbspecialops
DEMON_DIR=$PWD/demon
mkdir $DEMON_DIR/lmbspecialops/build
cd $DEMON_DIR/lmbspecialops/build
cmake .. # 添加 '-DBUILD_WITH_CUDA=OFF' 以禁用 GPU 支持
# （可选）在此处运行 'ccmake .' 来调整 GPU 代码生成设置
make
pew add $DEMON_DIR/lmbspecialops/python # 添加到 Python 路径

# 下载权重
cd $DEMON_DIR/weights
./download_weights.sh

# 运行示例
cd $DEMON_DIR/examples
python3 example.py # 打开一个窗口显示深度图（如果 VTK 可用，则同时显示点云）

数据读取操作及评估

数据读取操作和评估代码有额外的依赖项。数据读取代码位于 multivih5datareaderop 目录中。更多详细信息请参阅相应的 README。

关于评估，请参阅示例 examples/evaluation.py。评估代码需要以下额外的 Python3 包，可通过 pip 安装：

h5py
minieigen
pandas
scipy
scikit-image
xarray

请注意，评估代码也依赖于数据读取操作。

训练代码

训练 DeMoN 的纯 TensorFlow 版本的说明位于 这里。 需要注意的是，TensorFlow 的训练代码和模型目前仍在开发中，与原始的 Caffe 版本并不完全一致。

数据集

用于训练和测试的下载脚本位于 datasets 子目录中。请注意，由于一个 bug，部分以 rgbd 为前缀的数据集文件确实包含了测试集中的样本。受影响的文件已被替换，现以 rgbd_bugfix 为前缀。所有文件的 MD5 校验和可在 traindata.md5 文件中找到。

Docker 构建

请确保您的系统已安装 Docker，并且默认的 Docker 运行时为 Nvidia：

{
  "runtimes": {
    "nvidia": {
      "path": "/usr/bin/nvidia-container-runtime",
        "runtimeArgs": []
    }
  },
  "default-runtime": "nvidia"
}

然后执行 Docker 构建命令：

$ docker build . -t demon

要可视化示例：

$ docker run --gpus all -it -e DISPLAY -v /tmp/.X11-unix:/tmp/.X11-unix:ro demon

许可证

DeMoN 采用 GNU 通用公共许可证 v3.0。

DeMoN 快速上手指南

DeMoN (Depth and Motion Network) 是一个用于从两张图像中重建场景的深度学习模型，能够估计深度图和相对相机运动。

环境准备

系统要求

• 操作系统：推荐 Ubuntu 16.04（其他 Linux 发行版可能需调整）
• GPU 支持：CUDA 8.0.61（如需 GPU 加速）
• 编译器：CMake 3.7.1+

核心依赖

• Python 3.5+
• TensorFlow 1.4.0 (或 1.3+)
• VTK 7.1 (必须包含 Python3 接口，用于点云可视化)
• lmbspecialops 库 (项目子模块)

注意：官方提供的 VTK 二进制包通常不包含 Python3 接口。建议通过源码编译 VTK，或使用 Anaconda (conda install vtk) 安装带有 Python3 支持的版本。

安装步骤

以下步骤使用 pew 管理虚拟环境（也可替换为 venv 或 conda）。

1. 创建并激活虚拟环境

pip3 install pew
pew new demon_venv
# 后续命令均在此虚拟环境中执行

2. 安装 Python 依赖

国内用户建议使用清华或阿里镜像源加速安装：

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow-gpu
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple pillow matplotlib Cython

注：若无 GPU，将 tensorflow-gpu 替换为 tensorflow。

3. 克隆代码与编译子模块

git clone --recursive https://github.com/lmb-freiburg/demon.git
cd demon

# 设置环境变量
DEMON_DIR=$PWD

# 编译 lmbspecialops
mkdir $DEMON_DIR/lmbspecialops/build
cd $DEMON_DIR/lmbspecialops/build
cmake .. 
# 若无 GPU 支持，请使用：cmake .. -DBUILD_WITH_CUDA=OFF
make

# 将编译好的库加入 Python 路径
pew add $DEMON_DIR/lmbspecialops/python

4. 下载预训练权重

cd $DEMON_DIR/weights
./download_weights.sh

注：若下载速度慢，可手动前往项目发布页下载权重文件并放入该目录。

基本使用

运行官方提供的示例脚本，即可对默认图像进行深度估计和点云重建。

cd $DEMON_DIR/examples
python3 example.py

预期结果：

• 程序将弹出一个窗口显示深度图。
• 如果已正确安装带 Python3 接口的 VTK，窗口中还将显示3D 点云。

---

如需进行模型训练或数据集评估，请参考项目根目录下 training/ 和 examples/evaluation.py 的相关说明。