CRF-RNN 用于语义图像分割 - Keras/Tensorflow 版本

在线演示：              http://crfasrnn.torr.vision
PyTorch 版本：    http://github.com/sadeepj/crfasrnn_pytorch
Caffe 版本：         http://github.com/torrvision/crfasrnn

本仓库包含用于"CRF-RNN（条件随机场作为循环神经网络）”语义图像分割方法的 Keras/Tensorflow 代码，该方法发表于 ICCV 2015 论文 Conditional Random Fields as Recurrent Neural Networks。本项目的 在线演示 获得了 ICCV 2015 的最佳演示奖。此 Keras/Tensorflow 代码的结果与上述基于 Caffe 和 PyTorch 的版本完全一致。

如果您在研究中使用此代码/模型，请引用以下论文：

@inproceedings{crfasrnn_ICCV2015,
    author = {Shuai Zheng and Sadeep Jayasumana and Bernardino Romera-Paredes and Vibhav Vineet and
    Zhizhong Su and Dalong Du and Chang Huang and Philip H. S. Torr},
    title  = {Conditional Random Fields as Recurrent Neural Networks},
    booktitle = {International Conference on Computer Vision (ICCV)},
    year   = {2015}
}

安装指南

步骤 1：克隆仓库

$ git clone https://github.com/sadeepj/crfasrnn_keras.git

此后，克隆后的根目录将被称为 crfasrnn_keras。

步骤 2：安装依赖项

注意：如果您使用的是 Python virtualenv（虚拟环境），请在运行本指南中的每个命令之前确保已激活它。

使用本仓库中的 requirements.txt 文件（如果您有 GPU 设备，则使用 requirements_gpu.txt）通过 pip 安装所有依赖项：

$ cd crfasrnn_keras
$ pip install -r requirements.txt  # If you have a GPU device, use requirements_gpu.txt instead

从 requirements.txt 的内容可以看出，我们仅依赖 tensorflow、keras 和 h5py。此外，运行演示还需要 Pillow。 安装完依赖项后，运行以下命令以确保它们已正确安装：

$ python
>>> import tensorflow
>>> import keras

导入上述 tensorflow 和 keras 时不应看到任何错误。

步骤 3：构建 CRF-RNN 自定义操作 C++ 代码

在 crfasrnn_keras/src/cpp 目录内运行 make：

$ cd crfasrnn_keras/src/cpp
$ make

注意，在运行上述 make 命令之前，控制台中的 python 命令应指向与您 Tensorflow 安装关联的 Python 解释器。

您将从这个构建中获得一个名为 high_dim_filter.so 的新文件。如果失败，请参考官方 Tensorflow 指南关于 构建自定义操作 的帮助。

注意：此 make 脚本适用于 Linux 和 macOS，但不适用于 Windows 操作系统。如果您使用的是 Windows，请查看 此问题 及其中的评论以获取构建说明。官方 Tensorflow 构建自定义操作的指南尚未包含 Windows 的构建说明。

步骤 4：下载预训练模型权重

下载模型权重从 此处 并放置到 crfasrnn_keras 目录中，文件名为 crfrnn_keras_model.h5。

步骤 5：运行演示

$ cd crfasrnn_keras
$ python run_demo.py

如果一切顺利，您将在名为 "labels.png" 的文件中看到分割结果。

注意事项

1. 当前实现的 CrfRnnLayer 层仅支持 batch_size == 1
2. 一个实验性的 GPU 版本的 CrfRnnLayer 层仅在 CUDA 9 和 Tensorflow 1.7 上测试过，可在 gpu_support 分支下找到。此代码由 thwjoy 贡献。

CRF-RNN Keras 快速上手指南

本工具是 ICCV 2015 论文《Conditional Random Fields as Recurrent Neural Networks》的 Keras/Tensorflow 实现版本，主要用于语义图像分割（Semantic Image Segmentation）。

环境准备

• 操作系统: 推荐 Linux 或 macOS（Windows 下编译自定义算子较复杂，需参考特定 Issue）。
• Python 环境: 建议使用虚拟环境（virtualenv），并确保在运行命令前已激活。
• 核心依赖: TensorFlow, Keras, h5py。
• 硬件支持: 支持 CPU 和 GPU。若使用 GPU，请确保 CUDA 与 TensorFlow 版本兼容。

安装步骤

1. 克隆代码仓库

$ git clone https://github.com/sadeepj/crfasrnn_keras.git

后续操作目录均以 crfasrnn_keras 为根目录。

2. 安装依赖库

进入项目目录，根据是否使用 GPU 选择对应的依赖文件：

$ cd crfasrnn_keras
$ pip install -r requirements.txt  # CPU 版本
# 或使用 $ pip install -r requirements_gpu.txt  # GPU 版本

安装完成后，建议验证导入是否正常：

$ python
>>> import tensorflow
>>> import keras

3. 编译自定义算子 (C++ Code)

进入 src/cpp 目录执行编译：

$ cd crfasrnn_keras/src/cpp
$ make

注意: 此脚本适用于 Linux 和 macOS。Windows 用户请参考官方 TensorFlow 扩展算子构建指南或相关 Issue。编译成功后应生成 high_dim_filter.so 文件。

4. 下载预训练模型

从发布页面下载权重文件，并重命名为 crfrnn_keras_model.h5，放置于 crfasrnn_keras 根目录下： 下载地址

基本使用

完成上述步骤后，即可运行演示程序查看分割结果：

$ cd crfasrnn_keras
$ python run_demo.py

运行成功后，将在当前目录生成名为 labels.png 的文件，其中包含图像分割结果。

提示: 当前实现的 CrfRnnLayer 仅支持 batch_size == 1。