MultiNet

MultiNet 能够联合执行道路分割、车辆检测和街道分类任务。该模型在分割任务上达到了实时速度和最先进的性能。有关模型的详细描述，请参阅我们的论文。

MultiNet 经过优化，能够在实时速度下高效运行。它由两个组件组成：KittiSeg，在道路分割任务中树立了新的行业标杆；以及KittiBox，在推理速度和检测性能方面均优于基准的 Faster-RCNN 模型。

该模型采用编码器-解码器架构，使用一个 VGG 编码器和针对每个任务的多个独立解码器。本仓库包含将多个 TensorFlow 模型整合到一个网络中的通用代码。各个任务的具体实现分别由 KittiSeg、KittiBox 和 KittiClass 三个仓库提供。这些仓库作为子模块被集成到本项目中。该项目与 TensorVision 后端兼容，能够以非常整洁的方式组织实验。

需求

代码需要 Python 2.7、TensorFlow 1.0，以及以下 Python 库：

• matplotlib
• numpy
• Pillow
• scipy
• runcython
• commentjson

可以使用以下命令安装这些依赖：pip install numpy scipy pillow matplotlib runcython commentjson 或 pip install -r requirements.txt。

设置

1. 克隆本仓库：https://github.com/MarvinTeichmann/MultiNet.git
2. 初始化所有子模块：git submodule update --init --recursive
3. 进入 cd submodules/KittiBox/submodules/utils/ && make 来编译 Cython 代码
4. [可选] 下载 KITTI 道路数据：
   1. 在这里获取 KITTI 数据下载链接：http://www.cvlibs.net/download.php?file=data_road.zip
   2. 运行 python download_data.py --kitti_url URL_YOU_RETRIEVED
5. [可选] 运行 cd submodules/KittiBox/submodules/KittiObjective2/ && make 来编译 KITTI 评估代码（更多信息请参见 submodules/KittiBox/submodules/KittiObjective2/README.md）。

使用 demo.py 运行模型只需完成步骤 1–3。步骤 4 和 5 只有在您想使用 train.py 训练自己的模型时才需要。请注意，我建议使用 download_data.py 脚本来下载数据，而不是手动下载。该脚本还会自动解压并准备好数据。如果您希望控制数据存储位置，请参阅“管理数据存储”部分（README.md#manage-data-storage）。

更新 MultiNet 的步骤如下：

1. 拉取所有补丁：git pull
2. 更新所有子模块：git submodule update --init --recursive

如果您忘记执行第二步，可能会导致仓库状态不一致。您可能已经获得了 MultiNet 的新代码，但使用的却是旧版本的子模块代码。虽然这有时也能正常工作，但我并未进行相关测试来验证这一点。

教程

开始使用

运行：python demo.py --gpus 0 --input data/demo/um_000005.png，以 demo.png 作为输入获得预测结果。

运行：python evaluate.py 来评估已训练好的模型。

运行：python train.py --hypes hypes/multinet2.json 来训练 multinet2。

如果您想理解代码，建议先查看 demo.py。我在该文件中尽可能详细地记录了每一步操作。

目前开箱即用仅支持 MultiNet3（联合检测与分割）的训练。用于训练分类模型的数据并未公开，因此无法使用这些数据来训练完整的 MultiNet3（检测、分割和分类）。不过，我们提供了完整代码，如果您有自己的数据，仍然可以训练 MultiNet3。

管理数据存储

MultiNet 支持将数据存储与代码分离，这在许多服务器环境中非常有用。默认情况下，数据存储在 MultiNet/DATA 文件夹中，而运行结果则保存在 MultiNet/RUNS 文件夹中。可以通过设置 Bash 环境变量 $TV_DIR_DATA 和 $TV_DIR_RUNS$ 来更改这一行为。

在您的 .profile 中添加 export TV_DIR_DATA="/MY/LARGE/HDD/DATA"，所有数据将被下载到 /MY/LARGE/HDD/DATA/。同样，在 .profile 中添加 export TV_DIR_RUNS="/MY/LARGE/HDD/RUNS"，所有运行结果将被保存到 /MY/LARGE/HDD/RUNS/MultiNet。

修改模型及使用自有数据训练

模型由文件 hypes/multinet3.json 控制。该文件指向子模型的实现。MultiNet 代码会加载所有提供的模型，并将解码器整合为一个神经网络。要使用自有数据训练，通常只需修改各子模型的超参数配置文件即可。从 KittiSeg 模型入手是一个不错的选择，该模型文档非常详尽。

    "models": {
        "segmentation" : "../submodules/KittiSeg/hypes/KittiSeg.json",
        "detection" : "../submodules/KittiBox/hypes/kittiBox.json",
        "road" : "../submodules/KittiClass/hypes/KittiClass.json"
    },

RUNDIR 与实验组织

MultiNet 帮助您组织大量的实验。为此，每次运行的输出都会存储在各自的 rundir 中。每个 rundir 包含：

• output.log：训练输出的日志副本，该日志曾打印到您的屏幕上。
• tensorflow events：可以在 rundir 中运行 TensorBoard。
• tensorflow checkpoints：可以从 rundir 加载训练好的模型。
• [dir] images：包含示例输出图像的文件夹。image_iter 控制整个验证集被保存的频率。
• [dir] model_files：构建模型所需的所有源代码的副本。如果您有多个版本的模型，这将非常有用。

为了跟踪所有实验，您可以使用 --name 标志为每个 rundir 指定一个唯一的名称。--project 标志会将运行存储在一个单独的子文件夹中，从而允许您运行不同的实验系列。例如，python train.py --project batch_size_bench --name size_5 将使用以下目录作为 rundir：$TV_DIR_RUNS/KittiSeg/batch_size_bench/size_5_KittiSeg_2017_02_08_13.12。

--nosave 标志非常有用，可以避免 rundir 被大量文件淹没。

有用的标志与变量

以下是一些在使用 KittiSeg 和 TensorVision 时会很有用的标志。所有标志在所有脚本中均可使用。

--hypes：指定要使用的超参数配置文件。
--logdir：指定要使用的日志目录。
--gpus：指定在哪些 GPU 上运行代码。
--name：为本次运行分配一个名称。
--project：为本次运行分配一个项目。
--nosave：调试运行，日志目录将被设置为 debug。

此外，以下 TensorVision 环境变量也会很有用：

$TV_DIR_DATA：指定数据的元目录。
$TV_DIR_RUNS：指定输出的元目录。
$TV_USE_GPUS：指定默认的 GPU 行为。

在集群上，建议将 $TV_USE_GPUS=force。这会使 --gpus 标志变为必填项，并确保运行会在正确的 GPU 上执行。

引用

如果您从这段代码中受益，请引用我们的论文：

@article{teichmann2016multinet,
  title={MultiNet: 实时联合语义推理用于自动驾驶},
  author={Teichmann, Marvin and Weber, Michael and Zoellner, Marius and Cipolla, Roberto and Urtasun, Raquel},
  journal={arXiv 预印本 arXiv:1612.07695},
  year={2016}
}

MultiNet 快速上手指南

MultiNet 是一个用于自动驾驶的实时多任务深度学习模型，能够联合执行道路分割、车辆检测和街道分类。该模型基于 Encoder-Decoder 架构，在保持实时速度的同时达到了业界领先的分割性能。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐)
• Python 版本: Python 2.7
• 深度学习框架: TensorFlow 1.0
• 编译器: 需要 make 和 C++ 编译器以构建 Cython 代码
• Python 依赖库:
  • matplotlib
  • numpy
  • Pillow
  • scipy
  • runcython
  • commentjson

提示：国内用户建议使用清华或阿里镜像源加速 pip 安装： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy scipy pillow matplotlib runcython commentjson

安装步骤

请按顺序执行以下命令完成安装：

1. 克隆仓库

   git clone https://github.com/MarvinTeichmann/MultiNet.git
   cd MultiNet
   

2. 初始化子模块 该项目依赖 KittiSeg、KittiBox 等子模块，必须递归初始化：

   git submodule update --init --recursive
   

3. 编译 Cython 代码 构建必要的工具库：

   cd submodules/KittiBox/submodules/utils/ && make
   cd ../../../..
   

4. (可选) 下载数据集 如果您仅运行演示（Demo），可跳过此步。若需训练模型，请执行：

   # 获取数据链接后运行脚本（脚本会自动下载、解压并预处理）
   python download_data.py --kitti_url <您获取的 KITTI 数据链接>
   

基本使用

安装完成后，您可以立即运行演示脚本测试模型效果。

运行演示 (Demo)

使用默认提供的图片进行推理，输出预测结果：

python demo.py --gpus 0 --input data/demo/um_000005.png

• --gpus 0: 指定使用第 0 号 GPU。
• --input: 指定输入图像路径。

其他常用命令

• 评估模型:

  python evaluate.py
  

• 训练模型 (以 multinet2 配置为例):

  python train.py --hypes hypes/multinet2.json
  

自定义数据存储路径

在多服务器环境中，您可能希望将数据和运行日志存储在大容量硬盘上。可以通过设置环境变量实现（建议添加到 ~/.profile 或 ~/.bashrc）：

export TV_DIR_DATA="/path/to/your/large/data/disk"
export TV_DIR_RUNS="/path/to/your/large/runs/disk"

设置后，所有下载的数据将存入 TV_DIR_DATA，训练产生的日志和模型将存入 TV_DIR_RUNS。