非时序实时火灾检测的实验性卷积神经网络架构变体

[以及后续相关工作：非时序实时火灾检测的紧凑型卷积神经网络架构实验探索]

本项目使用 Python 3.7.x、TensorFlow 1.15、TFLearn 0.3.2 和 OpenCV 3.x / 4.x 进行测试（需要 OpenCV 的额外模块——用于超像素分割的 ximgproc 模块）。

架构：

                                                                          FireNet 架构（上图）                                                                           InceptionV1-OnFire 架构（上图）                                                                           InceptionV3-OnFire 架构（上图）                                                                           InceptionV4-OnFire 架构（上图）

用于火灾检测的新更新架构及 PyTorch 模型现已发布——

摘要：

“在本工作中，我们研究了在不依赖场景时间信息的情况下，在实时范围内自动检测视频（或静态图像）中火灾像素区域的方法。作为该领域先前工作的扩展，我们考察了为此任务设计的、经过实验验证的低复杂度深度卷积神经网络（CNN）架构的性能。与当前领域的主流趋势不同，我们的研究展示了整张图像二值化火灾检测的最高准确率为 0.93（1），而在我们的超像素定位框架下，准确率可达 0.89（2），且仅需使用显著降低复杂度的网络架构即可实现。这些简化架构还带来了 3–4 倍的计算性能提升，在当代硬件上可独立于时间信息以高达 17 帧/秒的速度进行处理（1）。我们通过基准数据集对比了与先前工作的相对性能，从而证明了所提出的方案在实时火灾区域检测方面的最大鲁棒性。”

(1) 使用 InceptionV1-OnFire CNN 模型 (2) 使用 SP-InceptionV1-OnFire CNN 模型

[邓宁斯、布雷肯，《国际图像处理会议论文集》，IEEE，2018 年]

“……与当前领域的主流趋势相反，我们的研究展示了一种基于 InceptionV4 概念的实验性简化 CNN 架构，在全帧二值化火灾检测方面达到了 0.96 的最高总体准确率（3），在超像素定位方面则达到了 0.94 的准确率（4）。值得注意的是，我们实现了 0.06 的较低假阳性率，优于该领域的先前工作，从而提供了一种高效、鲁棒且实时的火灾区域检测解决方案。”

(3) 使用 InceptionV4-OnFire CNN 模型 (4) 使用 SP-InceptionV4-OnFire CNN 模型

[萨马特、鲍米克、布雷肯，《国际机器学习应用会议论文集》，IEEE，2019 年]

---

参考实现：

简而言之，我们的全帧二分类检测（FireNet、InceptionV1-OnFire、InceptionV3-OnFire、InceptionV4-OnFire）架构用于全局判断图像帧中是否存在火焰；而基于超像素的方法（SP-InceptionV1-OnFire、SP-InceptionV3-OnFire、SP-InceptionV4-OnFire）则将帧分割成多个区域，并对每个超像素区域进行分类，从而实现火焰的帧内定位。

本仓库包含与论文中的二分类（全帧）检测模型相对应的 firenet.py 和 inceptionVxOnFire.py 文件。此外，superpixel-inceptionVxOnFire.py 文件对应于论文中提出的基于超像素的帧内火焰定位方法。

要使用这些脚本，必须通过 shell 脚本 download-models.sh 下载预训练的网络模型，该脚本会在 Linux/MacOS 系统上创建一个名为 models 的目录，其中包含网络权重数据。或者，您也可以手动从 http://dx.doi.org/10.15128/r19880vq98m [Dunnings, 2018] 和 http://doi.org/10.15128/r25x21tf409 [Samarth, 2019] 手动下载预训练的网络模型，并将其解压到与 Python 文件同一目录下的 models 目录中。

基于超像素的方法经过训练，能够在给定帧内执行超像素级别的火焰检测与定位，具体步骤如下：

• 使用 SLIC 超像素分割算法将图像帧分割成多个区域；
• 对每个超像素区域应用经过训练的 SP-InceptionVx-OnFire 卷积架构（其中 _x = 1, 3, 4 分别对应 InceptionV1、InceptionV3 和 InceptionV4），该架构专门用于检测单个超像素区域内的火焰；
• 在运行时（推理阶段），所选的 SP-InceptionVx-OnFire 网络会依次应用于 SLIC 分割得到的每一个超像素区域。

我应该使用哪个模型？

若追求最佳检测性能（即高真正率、低假正率），请使用 InceptionV4-OnFire（示例：inceptionVxOnFire.py -m 4），其运行速度为每秒 12 帧；若追求最佳吞吐量（17 帧/秒），则可使用 FireNet（示例：firenet.py），不过其性能稍逊（即真正率较低、假正率较高）。

InceptionV1-OnFire 和 InceptionV3-OnFire 则在检测效果、误报率和吞吐量方面提供了不同的性能权衡——例如，可以分别使用 inceptionVxOnFire.py -m 1 或 inceptionVxOnFire.py -m 3。

对于超像素级的火焰定位任务，SP-InceptionV4-OnFire 模型具有最佳的检测性能（示例：superpixel-inceptionVxOnFire.py -m 4），但其吞吐量低于性能稍逊的 SP-InceptionV1-OnFire 和 SP-InceptionV3-OnFire 超像素模型（示例：superpixel-inceptionVxOnFire.py -m 1 或 superpixel-inceptionVxOnFire.py -m 3）。完整对比请参阅最新论文——[Samarth, 2019]。

注意： 如果需要将模型转换为协议缓冲区 (.pb) 格式（供 OpenCV DNN、TensorFlow 等使用）以及 tflite 格式（用于 TensorFlow），目前建议使用 FireNet 或 InceptionV1-OnFire / SP-InceptionV1-OnFire 版本。这是因为 TensorFlow 在导出（冻结）批量归一化层时存在一个长期未解决的问题（issue），导致 ...V3-OnFire 和 ...V4-OnFire 的协议缓冲区 (.pb) 和 .tflite 版本性能显著下降，这也是我们采用绕过方案处理该问题后的预期结果。

---

火焰检测数据集：

用于训练和评估的自定义数据集可在 [Durham Collections - Dunnings/Breckon, 2018] 和 [Durham Collections - Samarth/Breckon, 2019] 上找到（连同已训练好的网络模型一同发布）。数据集的直接下载链接分别为 [Dunnings, 2018 - 原始数据] 和 [Samarth, 2019 - 补充数据]。

此外，还使用了诸如 furg-fire-dataset 等标准数据集进行训练和评估，并将其作为子集包含在上述数据集中（[Dunnings, 2018 - 原始数据])。

• 数据集 DOI：http://doi.org/10.15128/r2d217qp536 和 http://doi.org/10.15128/r10r967374q。

同时提供了一个下载脚本 download-dataset.sh，它会创建一个名为 dataset 的目录，其中包含训练数据集（大小约为 10.5GB，在 Linux/MacOS 系统上可用）。

原始帧（左）、超像素分割后的帧（中）、超像素火焰预测后的帧（右）

---

预训练模型测试说明：

要下载并测试提供的代码及预训练模型（需安装 TensorFlow 1.x / TFLearn 0.3.2 / OpenCV 4.x），请按以下步骤操作：

$ git clone https://github.com/tobybreckon/fire-detection-cnn.git
$ cd fire-detection-cnn
$ sh ./download-models.sh
$ python firenet.py models/test.mp4
$ python inceptionVxOnFire.py -m 1 models/test.mp4
$ python superpixel-inceptionVxOnFire.py -m 1 models/test.mp4

其中，-m x 参数用于指定使用 InceptionV1OnFire、InceptionV3OnFire、InceptionV4OnFire 中的哪一个模型，取值范围为 [1,3,4]。若未指定 -m 参数，则默认使用 InceptionV1OnFire。

如果您系统中默认安装的是 TensorFlow 2.x，则可通过搭建 TensorFlow 1.x 虚拟环境来使本项目在您的系统上正常运行（因为 TFLearn 不支持 TensorFlow 2.0——详见此 issue），具体流程如下：

$ virtualenv -p python3 ~/venv/tf-1.1.5-gpu
$ source ~/venv/tf-1.1.5-gpu/bin/activate
$ pip install tensorflow-gpu==1.15
$ pip install tflearn
$ pip install opencv-contrib-python
....
$ python3 firenet.py models/test.mp4

---

使用预训练模型与其他框架的说明：

要将提供的 TFLearn 检查点格式的预训练模型转换为协议缓冲区 (.pb) 格式（由 OpenCV DNN、TensorFlow 等使用）以及 tflite 格式（用于 TensorFlow），请执行以下操作：

$ cd converter
$ python firenet-conversion.py
$ python inceptionVxOnFire-conversion.py -m 1

这将在 converter 目录下生成一组六个 .pb 和 .tflite 文件（firenet.xxx / inceptionv1onfire.xxx / sp-inceptionv1onfire.xxx，其中 xxx 可以是 [pb, tflite]）。同样地，可以使用 -m 3 和 -m 4 运行 inceptionVxOnFire-conversion.py，分别为 InceptionV3OnFire 和 InceptionV4OnFire 模型生成相应的转换文件。

然后，可以使用 OpenCV DNN 模块（OpenCV ≥ 4.1.0-pre）和 TensorFlow 对这些不同格式的文件与原始的 (tflearn) 版本进行验证，以确保它们在相同目录下产生的输出一致（精确到小数点后三位），具体步骤如下：

$ python firenet-validation.py
从 ../models/FireNet 加载 tflearn 模型 ... 成功
从 firenet.pb 加载 protocolbuf (pb) 模型 ... 成功
从 firenet.tflite 加载 tflite 模型 ... 成功
从 ../models/test.mp4 加载测试视频 ...
帧: 0        : TFLearn（原版）: [[9.999914e-01 8.576833e-06]]     : Tensorflow .pb（通过 opencv）: [[9.999914e-01 8.576866e-06]]    : TFLite（通过 tensorflow）: [[9.999914e-01 8.576899e-06]]: 全部相等 测试 - 通过
帧: 1        : TFLearn（原版）: [[9.999924e-01 7.609045e-06]]     : Tensorflow .pb（通过 opencv）: [[9.999924e-01 7.608987e-06]]    : TFLite（通过 tensorflow）: [[9.999924e-01 7.608980e-06]]: 全部相等 测试 - 通过
帧: 2        : TFLearn（原版）: [[9.999967e-01 3.373572e-06]]     : Tensorflow .pb（通过 opencv）: [[9.999967e-01 3.373559e-06]]    : TFLite（通过 tensorflow）: [[9.999967e-01 3.373456e-06]]: 全部相等 测试 - 通过
帧: 3        : TFLearn（原版）: [[9.999968e-01 3.165212e-06]]     : Tensorflow .pb（通过 opencv）: [[9.999968e-01 3.165221e-06]]    : TFLite（通过 tensorflow）: [[9.999968e-01 3.165176e-06]]: 全部相等 测试 - 通过
...

同样的方法也可以用于 inceptionVxOnFire-validation.py 脚本，只需添加 -m x 参数（其中 x 可以是 [1,3,4]），即可分别对每个 InceptionVxOnFire 模型进行验证。此外，还可以使用 -sp 选项来验证超像素版本的 InceptionVxOnFire 模型（例如，inceptionVxOnFire-validation.py -m 3 -sp 将验证 InceptionV3OnFire 的超像素模型，以此类推）。需要注意的是，这里对超像素 InceptionVxOnFire 模型的验证是基于整张图像帧，而非单独的超像素区域，目的是展示原始模型与转换后模型之间的一致性。根据严格的小数点后三位精度标准，可能会报告一些 FAIL 情况，但仔细检查通常会发现差异很小，大约在 0.1 左右（除了前面提到的 ...V3-OnFire 和 ...V4-OnFire 的特殊情况）。

若需将这些 TensorFlow 格式的模型转换为其他框架（如 PyTorch、MXNet、Keras 等），请参考 MMdnn 项目提供的丰富的深度神经网络模型转换工具。

---

示例视频：

示例视频——点击上方图片即可播放。

---

参考文献：

如果您以任何方式使用本工作成果（包括我们的预训练模型或数据集），_务必_在任何报告、出版物、演示文稿、软件发布或其他相关材料中引用以下文章：

用于非时序实时火灾检测的实验性卷积神经网络架构变体 (Dunnings, Breckon)，IEEE 国际图像处理会议论文集，2018 年。

@InProceedings{dunnings18fire,
  author =     {Dunnings, A. and Breckon, T.P.},
  title =      {Experimentally defined Convolutional Nerual Network Architecture Variants for Non-temporal Real-time Fire Detection},
  booktitle =  {Proc. International Conference on Image Processing},
  pages =      {1558-1562},
  year =       {2018},
  month =      {September},
  publisher =  {IEEE},
  doi =        {10.1109/ICIP.2018.8451657},
  keywords =   {简化 CNN、深度学习、火灾检测、实时、非时序、非平稳视觉火灾检测、FireNet、InceptionV1OnFire},
}

用于非时序实时火灾检测的紧凑型卷积神经网络架构的实验探索 (Samarth, Bhowmik, Breckon)，IEEE 国际机器学习应用会议论文集，2019 年。

@InProceedings{samarth19fire,
  author =    {Samarth, G. and Bhowmik, N. and Breckon, T.P.},
  title =     {Experimental Exploration of Compact Convolutional Neural Network Architectures for Non-temporal Real-time Fire Detection},
  booktitle = {Proc. International Conference on Machine Learning Applications},
  pages =     {653-658},
  year =      {2019},
  month =     {December},
  publisher = {IEEE},
  doi =       {10.1109/ICMLA.2019.00119},
  keywords =  {火灾检测、CNN、深度学习实时、非时序、InceptionV3OnFire、InceptionV4OnFire},
}

此外，还必须遵守 LICENSE 中的条款。

致谢：

Atharva (Art) Deshmukh（杜伦大学，负责 [Dunnings/Breckon, 2018] 工作的 GitHub 项目及数据集整理)。

fire-detection-cnn 快速上手指南

本项目提供了一系列基于卷积神经网络（CNN）的实时火焰检测架构，支持整帧二分类检测（判断画面中是否有火）和基于超像素的火焰定位（标记火焰具体位置）。

环境准备

系统要求

• 操作系统: Linux 或 macOS (Windows 需自行配置相应环境)
• Python 版本: 推荐 Python 3.7.x
• 核心依赖:
  • TensorFlow 1.15 (注意：本项目基于 TF 1.x，不直接支持 TF 2.x)
  • TFLearn 0.3.2
  • OpenCV 3.x / 4.x (必须包含 opencv-contrib-python 以支持 ximgproc 模块用于超像素分割)

前置说明

由于 TFLearn 不再维护且不支持 TensorFlow 2.0+，强烈建议创建独立的虚拟环境来运行此项目，避免污染全局环境。

安装步骤

1. 克隆项目代码

git clone https://github.com/tobybreckon/fire-detection-cnn.git
cd fire-detection-cnn

2. 创建并配置虚拟环境 (针对 TensorFlow 1.x)

如果你的系统默认安装了 TensorFlow 2.x，请执行以下步骤创建兼容环境：

# 创建虚拟环境
virtualenv -p python3 ~/venv/tf-1.15-gpu
# 激活环境 (Linux/Mac)
source ~/venv/tf-1.15-gpu/bin/activate

# 安装指定版本的依赖
# 国内用户建议使用清华源加速下载
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow-gpu==1.15
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tflearn
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple opencv-contrib-python

3. 下载预训练模型

执行官方提供的脚本自动下载模型权重（约几百 MB），脚本会在当前目录生成 models 文件夹：

sh ./download-models.sh

注：如果自动下载失败，可手动从项目发布的 DOI 链接下载并解压到 models 目录。

4. (可选) 下载测试数据集

如需使用官方提供的测试视频或训练数据，可运行：

sh ./download-dataset.sh

注意：完整数据集较大（约 10.5GB），仅做推理测试可跳过此步，使用自有视频即可。

基本使用

确保已激活上述创建的虚拟环境，并在项目根目录下操作。

场景一：整帧火焰检测 (最快上手)

判断输入视频或图像中是否包含火焰。

使用 FireNet 模型 (速度最快，约 17 fps):

python firenet.py models/test.mp4

使用 InceptionV4-OnFire 模型 (精度最高，约 12 fps):

python inceptionVxOnFire.py -m 4 models/test.mp4

参数说明：-m 后跟数字选择模型版本，1=InceptionV1, 3=InceptionV3, 4=InceptionV4。默认为 1。

场景二：超像素火焰定位 (标记火焰区域)

将画面分割为超像素块，逐块检测并标记火焰具体位置。

使用 SP-InceptionV4-OnFire 模型 (定位精度最佳):

python superpixel-inceptionVxOnFire.py -m 4 models/test.mp4

输入文件替换

将命令中的 models/test.mp4 替换为你本地的视频文件路径（如 ./my_video.avi）或图片文件路径即可对自定义内容进行检测。

模型选择建议

• 追求实时性与吞吐量: 选用 firenet.py。
• 追求检测准确率: 选用 inceptionVxOnFire.py -m 4。
• 需要知道火在哪里 (定位): 选用 superpixel-inceptionVxOnFire.py -m 4。

注意：若需将模型转换为 .pb 或 .tflite 格式用于其他框架（如 OpenCV DNN），目前仅推荐转换 FireNet 或 InceptionV1 系列模型，V3/V4 版本因 TensorFlow 批量归一化层导出问题可能导致性能显著下降。