YOLOv3_TensorFlow

注意： 本仓库已不再维护（实际上我很久以前就停止了支持），因为我已经转用 PyTorch 一年了。人生苦短，我选择 PyTorch。

---

1. 简介

这是我用纯 TensorFlow 实现的 YOLOv3。它包含了在您自己的数据集上进行训练和评估的完整流程。该仓库的主要特点包括：

• 高效的 tf.data 数据管道
• 权重转换器（将 COCO 数据集上的预训练 Darknet 权重转换为 TensorFlow 检查点）
• 极速 GPU 非极大值抑制
• 完整的训练和评估流程
• 使用 K-means 算法选择先验锚框

2. 要求

Python 版本：2 或 3

依赖包：

• tensorflow >= 1.8.0（理论上任何支持 tf.data 的版本都可以）
• opencv-python
• tqdm

3. 权重转换

预训练的 Darknet 权重文件可以从 这里 下载。将该权重文件放置在 ./data/darknet_weights/ 目录下，然后运行：

python convert_weight.py

转换后的 TensorFlow 检查点文件将保存到 ./data/darknet_weights/ 目录中。

您也可以通过 [Google Drive 链接] 或 [Github 发布页面] 下载我转换好的 TensorFlow 检查点文件，并将其放置在同一目录下。

4. 运行示例

./data/demo_data/ 目录下包含了一些示例图片和视频。您可以按以下方式运行示例：

单张图片测试示例：

python test_single_image.py ./data/demo_data/messi.jpg

视频测试示例：

python video_test.py ./data/demo_data/video.mp4

部分结果如下：

将风筝检测结果与 TensorFlow 官方 API 的结果进行比较 这里。

（风筝检测结果是在输入图像分辨率为 1344x896 的情况下得到的）

5. 推理速度

推理速度有多快？当图像缩放到 416*416 时：

主干网络	GPU	时间(ms)
Darknet-53（论文）	Titan X	29
Darknet-53（我的实现）	Titan XP	~23

为什么这么快？请查看论文中 ImageNet 分类结果的对比图：

6. 模型架构

为了更好地理解模型架构，您可以参考下图。特别感谢 Levio 的优秀工作！

7. 训练

7.1 数据准备

(1) 注释文件

在 ./data/my_data/ 目录下生成 train.txt/val.txt/test.txt 文件。每行对应一张图片，格式为 image_index image_absolute_path img_width img_height box_1 box_2 ... box_n。其中，box_x 的格式为：label_index x_min y_min x_max y_max。（坐标原点位于左上角，左上角为 (xmin, ymin)，右下角为 (xmax, ymax)。）image_index 是从零开始的行索引，label_index 的范围是 [0, class_num - 1]。

例如：

0 xxx/xxx/a.jpg 1920 1080 0 453 369 473 391 1 588 245 608 268
1 xxx/xxx/b.jpg 1920 1080 1 466 403 485 422 2 793 300 809 320
...

由于许多用户反馈使用 LabelImg 等工具生成 XML 格式的标注文件，我添加了一个 VOC 数据集的示例脚本用于进行转换。更多详情请参阅 misc/parse_voc_xml.py 文件。

(2) 类别名称文件：

在 ./data/my_data/ 目录下生成 data.names 文件。每行代表一个类别名称。

例如：

鸟
人
自行车
...

COCO 数据集的类别名称文件位于 ./data/coco.names。

(3) 先验锚框文件：

使用 K-means 算法获取先验锚框：

python get_kmeans.py

运行后会得到 9 个锚框及平均 IoU 值。将这些锚框保存到一个文本文件中。

YOLO 作者提供的 COCO 数据集锚框位于 ./data/yolo_anchors.txt，您也可以直接使用。

K-means 脚本计算出的 YOLO 锚框是在调整大小后的图像尺度上得到的。默认的调整大小方法是 Letterbox 调整，即在调整大小后的图像中保持原始宽高比不变。

7.2 训练

使用 train.py 进行训练。超参数及相关注释可在 args.py 中找到：

CUDA_VISIBLE_DEVICES=GPU_ID python train.py

更多细节请参阅 args.py。您需要根据自己的具体任务自行设置参数。

8. 评估

使用 eval.py 对验证集或测试集进行评估。参数如下：

$ python eval.py -h
usage: eval.py [-h] [--eval_file EVAL_FILE] 
               [--restore_path RESTORE_PATH]
               [--anchor_path ANCHOR_PATH] 
               [--class_name_path CLASS_NAME_PATH]
               [--batch_size BATCH_SIZE]
               [--img_size [IMG_SIZE [IMG_SIZE ...]]]
               [--num_threads NUM_THREADS]
               [--prefetech_buffer PREFETECH_BUFFER]
               [--nms_threshold NMS_THRESHOLD]
               [--score_threshold SCORE_THRESHOLD] 
               [--nms_topk NMS_TOPK]

更多细节请参阅 eval.py。您需要根据实际情况自行设置参数。

评估结果将包括损失、召回率、精确率、平均精度以及 mAP 等指标。

若希望获得更高的 mAP，应将 score_threshold 设置为较小的值。

9. 一些技巧

以下是我实验中使用的一些训练技巧：

(1) 应用两阶段训练策略或单阶段训练策略：

两阶段训练：

第一阶段：从 COCO 检查点中加载 darknet53_body 部分的权重，以较大的学习率（如 1e-3）训练 yolov3_head，直到损失降到较低水平。

第二阶段：从第一阶段的检查点中恢复权重，然后以较小的学习率（如 1e-4 或更小）训练整个模型。在此阶段，如果使用 Adam 等优化器，请记得同时恢复优化器的状态参数。

单阶段训练：

只需加载除最后三个卷积层（Conv_6、Conv_14、Conv_22）之外的完整权重文件。在这种情况下，需注意可能出现损失值为 NaN 的情况。

(2) 我在 args.py 中加入了许多有用的训练策略：

• 学习率余弦退火（SGDR）
• 多尺度训练
• 标签平滑
• Mixup 数据增强
• Focal Loss

这些策略都很有效，但并不意味着它们一定会提升模型性能。你需要根据自己的任务选择合适的策略。

来自 gluon-cv 的这篇 论文 证明了数据增强对 YOLO v3 至关重要，这与我的实验结果完全一致。然而，有些看似合理的数据增强策略反而可能导致性能下降。例如，在引入随机颜色抖动后，我在自己的数据集上的 mAP 明显降低。因此，我建议你在进行数据增强时格外谨慎。

(4) 如果出现损失值为 NaN？可以尝试增大 warm-up epoch 的数量或减小学习率，多试几次。如果你对整个模型进行微调，使用 Adam 优化器有时可能会导致 NaN 值。此时可以尝试选择带有动量的优化器。

10. 在 VOC 数据集上的微调

我在 VOC 数据集上做了一个快速的训练实验。我在实验中使用的参数已放在 misc/experiments_on_voc/ 文件夹下，供你参考。训练数据集为 VOC 2007 和 2012 的 trainval 集合，测试数据集为 VOC 2007 的测试集。

最终，使用 416×416 输入图像，我得到了 87.54% 的测试 mAP（未使用 07 年的评估标准）。这还是未经深入调优的结果，你应该能够获得相似甚至更好的效果。

我在 VOC 数据集上的预训练权重可在此下载：这里。

11. 待办事项

[ ] 使用同步批归一化实现多 GPU 训练。

[ ] 或许可以尝试 TensorFlow 2.0？

---

致谢：

在实现过程中，我参考了许多优秀的开源项目：

YunYang1994/tensorflow-yolov3

qqwweee/keras-yolo3

eriklindernoren/PyTorch-YOLOv3

pjreddie/darknet

dmlc/gluon-cv

YOLOv3_TensorFlow 快速上手指南

注意：本仓库已停止维护，作者已转向 PyTorch。本文档仅用于参考学习纯 TensorFlow 实现的 YOLOv3 流程。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：Python 2 或 Python 3
• 核心依赖：
  • tensorflow >= 1.8.0 (需支持 tf.data)
  • opencv-python
  • tqdm

安装依赖命令：

pip install tensorflow>=1.8.0 opencv-python tqdm

提示：国内用户建议使用清华源或阿里源加速安装，例如： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow>=1.8.0 opencv-python tqdm

2. 安装与权重转换

本项目需要将 Darknet 格式的预训练权重转换为 TensorFlow 格式。您可以选择手动转换或直接下载已转换好的文件。

方案 A：手动转换（推荐）

1. 下载 Darknet 预训练权重文件 (yolov3.weights)：

   • 官方地址：https://pjreddie.com/media/files/yolov3.weights
   • 国内加速建议：若下载缓慢，可搜索国内镜像站或使用代理。

2. 将下载的 yolov3.weights 文件放置于 ./data/darknet_weights/ 目录下。

3. 运行转换脚本：

python convert_weight.py

转换完成后，TensorFlow checkpoint 文件将保存在同一目录中。

方案 B：直接下载已转换权重

您可以直接从以下地址下载作者提供的已转换文件，并放入 ./data/darknet_weights/ 目录：

• Google Drive
• Github Release

3. 基本使用

项目自带了演示图片和视频，位于 ./data/demo_data/ 目录。

单张图片检测

运行以下命令对单张图片进行目标检测：

python test_single_image.py ./data/demo_data/messi.jpg

视频检测

运行以下命令对视频文件进行目标检测：

python video_test.py ./data/demo_data/video.mp4

检测结果的图片将默认保存，您可以在终端查看处理进度及结果预览。

---

如需训练自己的数据集或调整超参数，请参考 args.py 配置文件及原文档中的“训练”与“数据准备”章节。