用于语义图像分割的CRF-RNN

在线演示：                           http://crfasrnn.torr.vision
PyTorch版本：                 http://github.com/sadeepj/crfasrnn_pytorch
TensorFlow/Keras版本： http://github.com/sadeepj/crfasrnn_keras

本软件包包含“CRF-RNN”语义图像分割方法的代码，该方法发表于ICCV 2015论文《条件随机场作为递归神经网络》（http://www.robots.ox.ac.uk/~szheng/papers/CRFasRNN.pdf）。该论文最初在一篇arXiv技术报告中有所介绍。基于此代码的在线演示荣获ICCV 2015最佳演示奖。我们的软件构建于Caffe深度学习框架之上。当前版本由以下人员开发：

Sadeep Jayasumana、 Shuai Zheng、 Bernardino Romera Paredes、 Anurag Arnab， 以及 Zhizhong Su。

指导教师：Philip Torr

我们的工作使计算机能够识别图像中的物体，而我们工作的独特之处在于，我们还能恢复物体的二维轮廓。目前，我们已训练该模型识别20个类别。该软件允许您在自己的图像上测试我们的算法——不妨试一试，看看是否能骗过它；如果您有好的示例，欢迎发送给我们。

我们为何要进行这项研究？这项工作是为部分失明人士开发增强现实眼镜项目的一部分。请在此处了解更多信息：smart-specs。

如需演示及更多关于CRF-RNN的信息，请访问项目官网：http://crfasrnn.torr.vision。

如果您在研究中使用此代码/模型，请引用以下论文：

@inproceedings{crfasrnn_ICCV2015,
    author = {Shuai Zheng and Sadeep Jayasumana and Bernardino Romera-Paredes and Vibhav Vineet and
    Zhizhong Su and Dalong Du and Chang Huang and Philip H. S. Torr},
    title  = {Conditional Random Fields as Recurrent Neural Networks},
    booktitle = {International Conference on Computer Vision (ICCV)},
    year   = {2015}
}

@inproceedings{higherordercrf_ECCV2016,
	author = {Anurag Arnab and Sadeep Jayasumana and Shuai Zheng and Philip H. S. Torr},
	title  = {Higher Order Conditional Random Fields in Deep Neural Networks},
	booktitle = {European Conference on Computer Vision (ECCV)},
	year   = {2016}
}

如何使用CRF-RNN层

CRF-RNN被开发为一个名为MultiStageMeanfieldLayer的自定义Caffe层。在模型定义prototxt文件中使用该层的方式如下所示。更多详细示例请参阅matlab-scripts或python-scripts文件夹。

# 这是FCN的一部分，coarse是一个来自FCN的blob
layer { type: 'Crop' name: 'crop' bottom: 'bigscore' bottom: 'data' top: 'coarse' }

# 此层用于将FCN的输出拆分为两个。这是CRF-RNN所必需的。
layer { type: 'Split' name: 'splitting'
  bottom: 'coarse' top: 'unary' top: 'Q0'
}

layer {
  name: "inference1" # 保持名称“inference1”，以便从我们的caffemodel加载预训练参数。
  type: "MultiStageMeanfield" # 此层的类型
  bottom: "unary" # 来自FCN的一元输入
  bottom: "Q0" # FCN一元输入的副本
  bottom: "data" # 输入图像
  top: "pred" # CRF-RNN的输出
  param {
    lr_mult: 10000 # W_G的学习率
  }
  param {
    lr_mult: 10000 # W_B的学习率
  }
  param {
    lr_mult: 1000 # 兼容性变换矩阵的学习率
  }
  multi_stage_meanfield_param {
    num_iterations: 10 # CRF-RNN的迭代次数
    compatibility_mode: POTTS # 使用对角线为-1的矩阵初始化兼容性变换矩阵
    threshold: 2
    theta_alpha: 160
    theta_beta: 3
    theta_gamma: 3
    spatial_filter_weight: 3
    bilateral_filter_weight: 5
  }
}

安装指南

首先，通过运行以下命令克隆项目：

git clone --recursive https://github.com/torrvision/crfasrnn.git

您需要编译此仓库中修改过的Caffe库。以下是针对Ubuntu 14.04的说明。您也可以参考通用的Caffe安装指南，以获取更多帮助。

1.1 安装依赖项

一般依赖项

sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler
sudo apt-get install --no-install-recommends libboost-all-dev

CUDA（可选——仅当您计划使用GPU加速处理时才需要）

安装正确的CUDA驱动程序及其SDK。从Nvidia官网下载CUDA SDK。

您可能需要将某些模块列入黑名单，以免它们干扰驱动程序的安装。此外，您还需要先卸载默认的Nvidia驱动程序。

sudo apt-get install freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libgl1-mesa-glx libglu1-mesa libglu1-mesa-dev

打开 /etc/modprobe.d/blacklist.conf 并添加：

blacklist amd76x_edac
blacklist vga16fb
blacklist nouveau
blacklist rivafb
blacklist nvidiafb
blacklist rivatv

sudo apt-get remove --purge nvidia*

重启电脑后，在登录之前，尝试按“Ctrl + Alt + F1”切换到文本模式登录。然后尝试：

sudo service lightdm stop
chmod +x cuda*.run
sudo ./cuda*.run

BLAS

安装ATLAS、OpenBLAS或MKL等BLAS库。安装BLAS：

sudo apt-get install libatlas-base-dev 

Python

安装Anaconda Python发行版，或安装带有numpy、scipy等的默认Python发行版。

MATLAB（可选——仅当您计划使用MATLAB接口时才需要）

使用标准发行版安装MATLAB。

1.2 构建自定义Caffe版本

在Makefile.config中正确设置路径。您可以将Makefile.config.example重命名为Makefile.config，因为其中大部分内容已经填写完毕。根据您的环境，您可能需要稍作调整。

之后，在Ubuntu 14.04中，尝试：

make

如果没有错误信息，您可以继续编译并安装Python和Matlab封装器： 安装MATLAB封装器（可选）：

make matcaffe

安装Python封装器（可选）：

make pycaffe

好了！现在您可以享受我们的软件了！

1.3 运行演示

运行演示的 MATLAB 和 Python 脚本分别位于 matlab-scripts 和 python-scripts 目录中。这两个脚本的功能相同，您可以任选其一。

Python 用户：

切换到 python-scripts 目录。首先下载包含训练权重的模型。在 Linux 系统中，可以通过以下命令完成：

sh download_trained_model.sh

或者，您也可以直接点击 python-scripts/README.md 文件中的链接来获取模型。

要运行演示，请执行：

python crfasrnn_demo.py

您将得到一个名为 output.png 的输出图像。

如果您想使用自己的图像，只需在 crfasrnn_demo.py 文件中将 "input.jpg" 替换为您想要处理的图像文件名即可。

MATLAB 用户：

切换到 matlab-scripts 目录。首先下载包含训练权重的模型。在 Linux 系统中，可以通过以下命令完成：

sh download_trained_model.sh

或者，您也可以直接点击 matlab-scripts/README.md 文件中的链接来获取模型。

打开您的 MATLAB 应用程序并运行 crfrnn_demo.m 文件。

如果您想使用自己的图像，只需在 crfrnn_demo.m 文件中将 "input.jpg" 替换为您想要处理的图像文件名即可。

此外，您还可以在 MatConvNet 中找到我们模型的一部分。

关于 CRF-RNN 层的说明：

如果您希望尝试我们训练的 CRF-RNN 模型，务必保持层名称不变（即“inference1”），这样代码才能正确加载 caffemodel 中的参数。否则，参数将会被重新初始化。

您会发现，端到端训练的 CRF-RNN 模型性能优于其他方法。如果将 CRF-RNN 层的名称改为“inference2”，则会观察到较低的性能，因为此时 CNN 和 CRF 的参数并未进行联合优化。

在新数据集上训练 CRF-RNN：

如果您希望在其他数据集上训练 CRF-RNN，请按照我们论文中描述的分步训练方法进行。简而言之，您需要先训练一个强大的像素级 CNN 模型。随后，通过在 prototxt 文件中添加 MultiStageMeanfieldLayer，将我们的 CRF-RNN 层插入到该模型中。这样，您就可以对 CNN 和 CRF-RNN 部分进行端到端的联合训练。

请注意，我们目前提供的 deploy.prototxt 文件是为 PASCAL VOC 挑战赛量身定制的。该数据集包含 21 个类别标签，包括背景。如果您希望将我们的模型微调用于其他数据集，应相应地修改相应层的 num_output 参数。此外，当前代码中的反卷积层无法通过 prototxt 文件初始化参数。如果您更改了那里的 num_output 值，就需要手动重新初始化 caffemodel 文件中的参数。

更多详细信息请参阅 examples/segmentationcrfasrnn。

为什么预测结果全为黑色？

这可能是因为您在模型定义的 prototxt 文件中更改了层名称，导致权重未能正确加载。也可能是您在 prototxt 文件中修改了反卷积层的输出数量，但未正确初始化该层所致。

MultiStageMeanfield 导致段错误？

此错误通常发生在您未将 spatial.par 和 bilateral.par 文件放置在脚本运行路径中时。

第三方提供的 Python 训练脚本：

我们感谢 martinkersner 和 MasazI 提供的 CRF-RNN Python 训练脚本。

1. martinkersner 的脚本
2. MasazI 的脚本

与上游 Caffe 合并

CRF-RNN 代码可以集成到上游 Caffe 中。然而，由于 crop 层的变化，我们提供的 caffemodel 可能需要额外的训练才能达到相同的精度。mtourne 友好地提供了一个将代码与上游 Caffe 合并的版本。

1. mtourne 的上游版本（含 CRFRNN）

CRF-RNN 的 GPU 版本

hyenal 友好地提供了一个纯 GPU 版本的 CRF-RNN。这将显著加快训练和测试的速度。

1. hyenal 的 GPU 版 CRF-RNN

CRF-as-RNN 作为 Lasagne 中的一层

Lasagne CRFasRNN 层

包含 CPU/GPU CRF-RNN 的最新 Caffe

crfasrnn-caffe

Keras/TensorFlow 版本的 CRF-RNN

crfasrnn_keras

如果您知道还有其他第三方的工作，请告知我们。

有关 CRF-RNN 的更多信息，请访问项目官网 http://crfasrnn.torr.vision。联系方式：crfasrnn@gmail.com

CRF-RNN 快速上手指南

CRF-RNN 是一种用于语义图像分割的深度学习模型，它将条件随机场（CRF）作为循环神经网络（RNN）层嵌入到 CNN 中，能够生成更精细的对象轮廓。本项目基于 Caffe 框架开发。

1. 环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 14.04/16.04，其他版本需参考通用 Caffe 安装指南)
• 编译器: GCC, G++
• GPU (可选): 若需加速，需安装 NVIDIA 驱动及 CUDA Toolkit

前置依赖

在安装前，请确保系统已安装以下基础库：

# 通用依赖
sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler
sudo apt-get install --no-install-recommends libboost-all-dev

# BLAS 库 (任选其一，如 ATLAS)
sudo apt-get install libatlas-base-dev

# Python 环境
# 推荐安装 Anaconda 或确保已安装 python, numpy, scipy 等

若需使用 GPU 加速，请先卸载原有 NVIDIA 驱动并安装官方 CUDA：

sudo apt-get install freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libgl1-mesa-glx libglu1-mesa libglu1-mesa-dev
# 编辑 /etc/modprobe.d/blacklist.conf 添加黑名单（防止冲突）
# 然后执行：
sudo apt-get remove --purge nvidia*
# 重启后进入文本模式安装 CUDA runfile

2. 安装步骤

2.1 克隆项目

使用递归克隆以获取子模块：

git clone --recursive https://github.com/torrvision/crfasrnn.git
cd crfasrnn

2.2 配置编译选项

复制配置文件模板并根据实际环境修改（如 Python 路径、CUDA 路径等）：

cp Makefile.config.example Makefile.config
# 使用编辑器修改 Makefile.config 中的相关路径

2.3 编译 Caffe 及接口

执行编译命令构建自定义 Caffe 库：

make all -j8

若需使用 Python 或 MATLAB 接口，继续执行：

# 编译 Python 接口
make pycaffe

# 编译 MATLAB 接口 (可选)
make matcaffe

3. 基本使用

本项目提供了 Python 和 MATLAB 两种演示脚本，以下以 Python 为例。

3.1 下载预训练模型

进入脚本目录并下载包含权重的模型文件：

cd python-scripts
sh download_trained_model.sh

注：若下载速度慢，可手动访问 python-scripts/README.md 中的链接下载。

3.2 运行演示

执行演示脚本，程序将读取默认的 input.jpg 并输出分割结果 output.png：

python crfasrnn_demo.py

3.3 处理自定义图片

若要测试自己的图片，只需修改 crfasrnn_demo.py 文件中的输入图片路径：

# 在 crfasrnn_demo.py 中修改如下行
im_file = 'your_image.jpg' 

然后重新运行上述命令即可。

---

提示：该模型默认针对 PASCAL VOC 数据集训练（21 类，含背景）。若需在其他数据集上使用，需调整网络定义文件 (prototxt) 中的类别数量并重新训练。