简介

实时目标检测与分类。论文：版本 1，版本 2。

更多关于 YOLO（在 darknet 中）的信息以及权重文件的下载，请访问 这里。如果无法找到权重文件，我已将部分权重上传至 这里，其中包括 v1.0 的 yolo-full 和 yolo-tiny、v1.1 的 tiny-yolo-v1.1，以及 v2 的 yolo 和 tiny-yolo-voc。

请查看下方演示，或访问 此 imgur 链接。

依赖项

Python3、TensorFlow 1.0、NumPy、OpenCV 3。

引用

@article{trieu2018darkflow,
  title={Darkflow},
  author={Trieu, Trinh Hoang},
  journal={GitHub 仓库。在线可用：https://github.com/thtrieu/darkflow（访问日期：2019年2月14日）},
  year={2018}
}

快速入门

您可以选择以下三种方式之一来开始使用 darkflow。

1. 直接就地编译 Cython 扩展。注意：如果以这种方式安装，您需要在克隆的 darkflow 目录中使用 ./flow，而不是直接使用 flow，因为 darkflow 并未全局安装。

   python3 setup.py build_ext --inplace
   

2. 使用 pip 以开发模式全局安装 darkflow（仍然可以全局访问，但代码更改会立即生效）

   pip install -e .
   

3. 使用 pip 全局安装

   pip install .
   

更新

Android 演示可在 TensorFlow 的 此处

我正在寻求帮助：

• 在问题跟踪器中标记为 help wanted

解析标注文件

如果您不进行训练或微调（只是想对已训练好的网络进行推理），则可以跳过此步骤。

例如，如果您只想处理 tvmonitor、person 和 pottedplant 这三个类别，则可以按如下方式编辑 labels.txt 文件：

tvmonitor
person
pottedplant

仅需如此即可。其余工作将由 darkflow 自动完成。您还可以通过 --labels 标志指定自定义的标签文件路径（例如 --labels myOtherLabelsFile.txt）。这在同时使用多个具有不同输出标签集的模型时非常有用。如果没有设置该标志，则默认会加载 labels.txt 文件（除非您使用的是专为 COCO 或 VOC 数据集设计的已知 .cfg 文件——在这种情况下，标签文件将被忽略，系统会自动加载 COCO 或 VOC 的标签）。

设计网络结构

如果您使用的是原始配置文件，则可以跳过此步骤，因为这些配置已经存在。否则，请参考以下示例：

...

[convolutional]
batch_normalize = 1
size = 3
stride = 1
pad = 1
activation = leaky

[maxpool]

[connected]
output = 4096
activation = linear

...

使用 flow 运行推理

# 查看其选项
flow --h

首先，让我们仔细看看一个非常有用的选项 --load：

# 1. 加载 tiny-yolo.weights
flow --model cfg/tiny-yolo.cfg --load bin/tiny-yolo.weights

# 2. 如果要完全初始化一个模型，可以不使用 --load 选项
flow --model cfg/yolo-new.cfg

# 3. 将 tiny-yolo 的前几层复用到 yolo-new 中也很有用
flow --model cfg/yolo-new.cfg --load bin/tiny-yolo.weights
# 此命令会显示哪些层被复用，哪些层是新初始化的

所有来自默认文件夹 sample_img/ 的输入图像都会通过网络进行推理，预测结果将保存到 sample_img/out/ 文件夹中。我们还可以为这些推理过程指定更多参数，例如检测阈值、批大小、图像文件夹等。

# 使用 tiny yolo 对 sample_img/ 中的所有图像进行推理，并启用 100% GPU 利用率
flow --imgdir sample_img/ --model cfg/tiny-yolo.cfg --load bin/tiny-yolo.weights --gpu 1.0

可以通过 JSON 格式生成输出，其中包含每个边界框的像素位置描述。默认情况下，每个预测结果都会存储在 sample_img/out 文件夹中。以下是一个 JSON 数组示例：

# 使用 tiny yolo 对 sample_img/ 中的所有图像进行推理，并生成 JSON 输出。
flow --imgdir sample_img/ --model cfg/tiny-yolo.cfg --load bin/tiny-yolo.weights --json

JSON 输出：

[{"label":"person", "confidence": 0.56, "topleft": {"x": 184, "y": 101}, "bottomright": {"x": 274, "y": 382}},
{"label": "dog", "confidence": 0.32, "topleft": {"x": 71, "y": 263}, "bottomright": {"x": 193, "y": 353}},
{"label": "horse", "confidence": 0.76, "topleft": {"x": 412, "y": 109}, "bottomright": {"x": 592,"y": 337}}]

• label：标签名称，一目了然。
• confidence：置信度，范围在 0 到 1 之间，表示 YOLO 对该检测结果的置信程度。
• topleft：边界框左上角的像素坐标。
• bottomright：边界框右下角的像素坐标。

训练新模型

训练过程非常简单，只需添加 --train 选项即可。如果是首次训练新的配置文件，脚本会自动解析训练数据集和标注文件。要指定训练数据集和标注文件，可以使用 --dataset 和 --annotation 选项。以下是一些示例：

# 从 yolo-tiny 初始化 yolo-new，然后在 100% GPU 上训练网络：
flow --model cfg/yolo-new.cfg --load bin/tiny-yolo.weights --train --gpu 1.0

# 完全初始化 yolo-new，并使用 ADAM 优化器进行训练
flow --model cfg/yolo-new.cfg --train --trainer adam

在训练过程中，脚本会定期将中间结果保存为 TensorFlow 检查点，存储在 ckpt/ 文件夹中。如果需要从中断的地方继续训练或测试，可以使用 --load [checkpoint_num] 选项；如果 checkpoint_num < 0，darkflow 将通过解析 ckpt/checkpoint 文件加载最近的保存检查点。

# 继续从最近的检查点开始训练
flow --train --model cfg/yolo-new.cfg --load -1

# 使用第 1500 步的检查点进行测试
flow --model cfg/yolo-new.cfg --load 1500

# 对原始 tiny-yolo 进行微调
flow --train --model cfg/tiny-yolo.cfg --load bin/tiny-yolo.weights

Pascal VOC 2007 数据集上的训练示例：

# 下载 Pascal VOC 数据集：
curl -O https://pjreddie.com/media/files/VOCtest_06-Nov-2007.tar
tar xf VOCtest_06-Nov-2007.tar

# Pascal VOC 注释文件格式示例：
vim VOCdevkit/VOC2007/Annotations/000001.xml

# 在 Pascal 数据集上训练网络：
flow --model cfg/yolo-new.cfg --train --dataset "~/VOCdevkit/VOC2007/JPEGImages" --annotation "~/VOCdevkit/VOC2007/Annotations"

在您自己的数据集上进行训练

以下步骤假设我们想要使用 tiny YOLO，并且我们的数据集有 3 个类别

1. 复制配置文件 tiny-yolo-voc.cfg，并根据您的喜好将其重命名为 tiny-yolo-voc-3c.cfg（务必保持原始的 tiny-yolo-voc.cfg 文件不变，原因见下文）。

2. 在 tiny-yolo-voc-3c.cfg 中，将 [region] 层（最后一层）中的 classes 参数修改为您要训练的类别数量。在本例中，classes 被设置为 3。

   ...
   
   [region]
   anchors = 1.08,1.19,  3.42,4.41,  6.63,11.38,  9.42,5.11,  16.62,10.52
   bias_match=1
   classes=3
   coords=4
   num=5
   softmax=1
   
   ...
   

3. 在 tiny-yolo-voc-3c.cfg 中，将 [convolutional] 层（倒数第二层）中的 filters 参数修改为 num * (classes + 5)。在本例中，num 是 5，classes 是 3，因此 5 * (3 + 5) = 40，所以 filters 被设置为 40。

   ...
   
   [convolutional]
   size=1
   stride=1
   pad=1
   filters=40
   activation=linear
   
   [region]
   anchors = 1.08,1.19,  3.42,4.41,  6.63,11.38,  9.42,5.11,  16.62,10.52
   
   ...
   

4. 修改 labels.txt 文件，使其包含您想要训练的标签（标签数量应与您在 tiny-yolo-voc-3c.cfg 文件中设置的类别数量一致）。在本例中，labels.txt 将包含 3 个标签。

   label1
   label2
   label3
   

5. 在训练时引用 tiny-yolo-voc-3c.cfg 模型。

   flow --model cfg/tiny-yolo-voc-3c.cfg --load bin/tiny-yolo-voc.weights --train --annotation train/Annotations --dataset train/Images

• 为什么我应该保持原始的 tiny-yolo-voc.cfg 文件不变？

  当 darkflow 检测到您正在加载 tiny-yolo-voc.weights 时，它会在您的 cfg/ 目录中查找 tiny-yolo-voc.cfg，并将该配置文件与您通过 --model cfg/tiny-yolo-voc-3c.cfg 指定的新配置文件进行比较。在这种情况下，除了最后两层之外，每一层的权重数量都完全相同，因此它会将权重加载到除最后两层之外的所有层中，因为这两层现在包含不同数量的权重。

摄像头/视频文件演示

对于完全在 CPU 上运行的演示：

flow --model cfg/yolo-new.cfg --load bin/yolo-new.weights --demo videofile.avi

对于 100% 在 GPU 上运行的演示：

flow --model cfg/yolo-new.cfg --load bin/yolo-new.weights --demo videofile.avi --gpu 1.0

要使用您的网络摄像头或相机，只需将 videofile.avi 替换为关键字 camera。

要保存带有预测边界框的视频，可以添加 --saveVideo 选项。

从其他 Python 应用程序中使用 darkflow

请注意，return_predict(img) 必须接受一个 numpy.ndarray。您的图像必须事先加载好，并传递给 return_predict(img)。直接传递文件路径是无效的。

return_predict(img) 的结果将是一个字典列表，每个字典代表检测到的一个对象，其值的格式与上述 JSON 输出相同。

from darkflow.net.build import TFNet
import cv2

options = {"model": "cfg/yolo.cfg", "load": "bin/yolo.weights", "threshold": 0.1}

tfnet = TFNet(options)

imgcv = cv2.imread("./sample_img/sample_dog.jpg")
result = tfnet.return_predict(imgcv)
print(result)

将构建好的图保存为 protobuf 文件（.pb）

## 将最新的检查点保存为 protobuf 文件
flow --model cfg/yolo-new.cfg --load -1 --savepb

## 将图和权重保存为 protobuf 文件
flow --model cfg/yolo.cfg --load bin/yolo.weights --savepb

在保存 .pb 文件时，还会同时生成一个 .meta 文件。这个 .meta 文件是 meta 字典内容的 JSON 转储，其中包含了后处理所需的信息，例如 anchors 和 labels。这样一来，所有用于从图中进行预测和后处理所需的内容都包含在这两个文件中——无需再携带 .cfg 或任何标签文件。

生成的 .pb 文件可用于将模型迁移到移动设备（JAVA / C++ / Objective-C++）。输入张量和输出张量的名称分别为 'input' 和 'output'。有关此 protobuf 文件的进一步使用，请参阅 TensorFlow 官方文档中关于 C++ API 的 此处。例如，在 iOS 应用程序中运行时，只需将该文件添加到 Bundle Resources 中，并在源代码中更新该文件的路径即可。

此外，darkflow 还支持从 .pb 和 .meta 文件加载以生成预测结果（而不是从 .cfg 和检查点或 .weights 文件加载）。

## 基于 protobuf 文件对 sample_img 中的图像进行预测
flow --pbLoad built_graph/yolo.pb --metaLoad built_graph/yolo.meta --imgdir sample_img/

如果您希望在使用 return_predict() 时加载 .pb 和 .meta 文件，可以将 "pbLoad" 和 "metaLoad" 选项替代通常需要设置的 "model" 和 "load" 选项。

以上就是全部内容。

Darkflow 快速上手指南

Darkflow 是基于 TensorFlow 实现的 YOLO（You Only Look Once）实时目标检测框架，支持模型训练、推理及移动端部署。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux / macOS (Windows 需额外配置)
• Python: Python 3.x
• 核心依赖:
  • TensorFlow 1.0+ (注意：Darkflow 主要基于 TF 1.x 开发)
  • NumPy
  • OpenCV 3.x
  • Cython (用于编译扩展)

国内加速建议： 安装 Python 依赖时，推荐使用清华或阿里镜像源以提升下载速度：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

克隆项目后，进入 darkflow 目录，您可以选择以下三种方式之一进行安装：

方式一：原地编译扩展（推荐用于开发调试）

此方式不会全局安装，运行时需使用 ./flow 命令。

python3 setup.py build_ext --inplace

方式二：全局开发模式安装

此方式将 darkflow 全局安装，且代码修改立即生效。

pip install -e .

方式三：全局正式安装

pip install .

权重文件获取： 官方权重文件若下载困难，可尝试从作者提供的 Google Drive 备份或其他国内网盘资源获取（包含 yolo-full, yolo-tiny 等版本）。

基本使用

安装完成后，即可使用 flow 命令进行模型推理。

1. 查看帮助

flow --h

2. 运行预训练模型进行图片检测

以下命令使用 tiny-yolo 模型对 sample_img/ 文件夹下的所有图片进行检测，并强制使用 GPU 加速：

flow --imgdir sample_img/ --model cfg/tiny-yolo.cfg --load bin/tiny-yolo.weights --gpu 1.0

• --model: 指定网络配置文件 (.cfg)
• --load: 指定预训练权重文件 (.weights)
• --imgdir: 指定输入图片文件夹
• 结果默认保存在 sample_img/out/ 目录下。

3. 输出 JSON 格式结果

若需获取包含坐标和置信度的结构化数据，可添加 --json 参数：

flow --imgdir sample_img/ --model cfg/tiny-yolo.cfg --load bin/tiny-yolo.weights --json

输出示例：

[{"label":"person", "confidence": 0.56, "topleft": {"x": 184, "y": 101}, "bottomright": {"x": 274, "y": 382}}]

4. 摄像头/视频实时检测

替换图片路径为视频文件或 camera 关键字即可进行实时流检测：

# 使用摄像头进行实时检测 (GPU 加速)
flow --model cfg/yolo-new.cfg --load bin/yolo-new.weights --demo camera --gpu 1.0

# 检测视频文件并保存结果
flow --model cfg/yolo-new.cfg --load bin/yolo-new.weights --demo videofile.avi --saveVideo

5. Python 代码调用

您可以在自己的 Python 项目中直接集成 Darkflow：

from darkflow.net.build import TFNet
import cv2

options = {"model": "cfg/yolo.cfg", "load": "bin/yolo.weights", "threshold": 0.1}

tfnet = TFNet(options)

# 读取图片 (必须是 numpy.ndarray 格式)
imgcv = cv2.imread("./sample_img/sample_dog.jpg")
result = tfnet.return_predict(imgcv)
print(result)