Keras中的YOLOv2及其应用

本仓库包含使用TensorFlow后端在Keras中实现的YOLOv2。它支持使用MobileNet、InceptionV3等多种主干网络训练YOLOv2模型。下方提供了演示应用的链接。请访问https://experiencor.github.io/yolo_demo/demo.html，查看完全在浏览器中运行、基于DeepLearn.js和MobileNet主干的浣熊检测器演示（该演示在Windows系统下会出错）。此演示的源代码位于https://git.io/vF7vG。

待办事项：

• 热身训练
• 浣熊检测、自动驾驶汽车和袋鼠检测
• SqueezeNet、MobileNet、InceptionV3和ResNet50主干支持
• 支持Python 2.7和3.6
• 多GPU训练
• 多尺度训练
• mAP评估

一些示例应用（点击观看视频）：

浣熊检测

数据集 => https://github.com/experiencor/raccoon_dataset

袋鼠检测

数据集 => https://github.com/experiencor/kangaroo

自动驾驶汽车

数据集 => http://cocodataset.org/#detections-challenge2017

红细胞检测

数据集 => https://github.com/cosmicad/dataset

手部检测

数据集 => http://cvrr.ucsd.edu/vivachallenge/index.php/hands/hand-detection/

Python代码使用说明

0. 环境要求

Python 2.7

Keras >= 2.0.8

imgaug

1. 数据准备

从https://github.com/experiencor/raccoon_dataset下载浣熊数据集。

将数据集整理成4个文件夹：

• train_image_folder <= 包含训练图像的文件夹。
• train_annot_folder <= 包含VOC格式训练标注的文件夹。
• valid_image_folder <= 包含验证图像的文件夹。
• valid_annot_folder <= 包含VOC格式验证标注的文件夹。

图像和标注之间按文件名一一对应。如果验证集为空，则训练集会自动按照0.8的比例拆分为训练集和验证集。

2. 编辑配置文件

配置文件为JSON格式，内容如下：

{
    "model" : {
        "architecture":         "Full Yolo",    # "Tiny Yolo"或"Full Yolo"或"MobileNet"或"SqueezeNet"或"Inception3"
        "input_size":           416,
        "anchors":              [0.57273, 0.677385, 1.87446, 2.06253, 3.33843, 5.47434, 7.88282, 3.52778, 9.77052, 9.16828],
        "max_box_per_image":    10,        
        "labels":               ["raccoon"]
    },

    "train": {
        "train_image_folder":   "/home/andy/data/raccoon_dataset/images/",
        "train_annot_folder":   "/home/andy/data/raccoon_dataset/anns/",      
          
        "train_times":          10,             # 遍历训练集的次数，对小数据集有用
        "pretrained_weights":   "",             # 指定预训练权重的路径，但也可以从头开始训练
        "batch_size":           16,             # 每批读取的图像数量
        "learning_rate":        1e-4,           # 默认Adam优化器的基础学习率
        "nb_epoch":             50,             # 训练轮数
        "warmup_epochs":        3,              # 初始几轮强制每个单元格中的5个边界框大小与5个锚框大小匹配，这一技巧在经验上似乎能提高精度

        "object_scale":         5.0 ,           # 决定对目标预测器置信度错误预测的惩罚程度
        "no_object_scale":      1.0,            # 决定对非目标预测器置信度错误预测的惩罚程度
        "coord_scale":          1.0,            # 决定对位置和尺寸预测错误的惩罚程度（x, y, w, h）
        "class_scale":          1.0,            # 决定对类别预测错误的惩罚程度

        "debug":                true            # 开启或关闭打印当前置信度、位置、尺寸、类别损失及召回率的输出
    },

    "valid": {
        "valid_image_folder":   "",
        "valid_annot_folder":   "",

        "valid_times":          1
    }
}

模型部分定义了要构建的模型类型以及输入图像尺寸、锚框列表等参数。labels设置列出了要训练的标签。只有包含这些标签的图像才会被送入网络，其余图像则会被忽略。通过这种方式，只需将labels设置为['dog']，即可利用VOC或COCO数据集轻松训练一个狗检测器。

可从以下链接下载各主干网络的预训练权重（tiny yolo、full yolo、squeezenet、mobilenet和inceptionV3）：

https://drive.google.com/drive/folders/10oym4eL2RxJa0gro26vzXK__TtYOP5Ng

这些权重必须放置在仓库的根目录下。它们仅是主干网络的预训练权重，将在模型创建时加载。没有这些权重，代码将无法运行。

浣熊检测器的完整模型（包括前端和后端）的预训练权重链接如下：

https://drive.google.com/drive/folders/10oym4eL2RxJa0gro26vzXK__TtYOP5Ng

这些权重可用作任何单类目标检测器的预训练权重。

3. 为您的数据集生成锚框（可选）

python gen_anchors.py -c config.json

将终端中打印的生成锚框复制到config.json中的anchors设置中。

4. 开始训练过程

python train.py -c config.json

训练结束后，代码会将最佳模型的权重保存到文件best_weights.h5（或根据config.json中saved_weights_name设置指定的名称）。当验证集上的损失连续3个epoch未改善时，训练过程将停止。

5. 使用训练好的权重对图像进行检测，运行以下命令：

python predict.py -c config.json -w /path/to/best_weights.h5 -i /path/to/image/or/video

该命令会对图像进行检测，并将带有检测框的图像保存到同一文件夹中。

Jupyter Notebook 的使用方法

请参阅该笔记本（https://github.com/experiencor/basic-yolo-keras/blob/master/Yolo%20Step-by-Step.ipynb），其中提供了从零开始完整实现 YOLOv2 的教程，包括训练、测试和评估。

当前实现的评估结果：

训练集	测试集	mAP（本实现）	mAP（使用官方权重）
COCO 训练集	COCO 验证集	28.6	42.1

用于评估检测结果的代码可在 https://github.com/experiencor/basic-yolo-keras/issues/27 找到。

版权声明

详情请参阅 LICENSE 文件。

keras-yolo2 快速上手指南

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux 或 macOS (Windows 下部分演示可能不稳定)
• Python 版本: 2.7 或 3.6
• 核心依赖:
  • Keras >= 2.0.8 (后端需配置为 TensorFlow)
  • TensorFlow
  • imgaug (用于数据增强)

提示：国内用户建议使用清华源或阿里源加速 Python 包安装。

安装步骤

1. 克隆仓库

   git clone https://github.com/experiencor/keras-yolo2.git
   cd keras-yolo2
   

2. 安装 Python 依赖

   pip install -r requirements.txt
   # 如果仓库中无 requirements.txt，请手动安装核心包：
   pip install keras tensorflow imgaug
   

3. 下载预训练权重 (必需) 本项目必须下载后端预训练权重才能运行模型。

   • 下载地址: Google Drive 链接
   • 操作: 下载对应架构（如 full_yolo_weights.h5, mobilenet_weights.h5 等）的权重文件。
   • 放置位置: 将下载的 .h5 文件直接放入项目根目录下。

基本使用

以下以训练一个“浣熊检测器”为例，展示最简工作流程。

1. 准备数据

下载 Raccoon 数据集，并按以下结构组织文件夹：

data/
├── train_image_folder/      # 训练图片
├── train_annot_folder/      # 训练标注 (VOC 格式 XML)
├── valid_image_folder/      # 验证图片 (可选)
└── valid_annot_folder/      # 验证标注 (可选)

注：若未提供验证集，代码会自动按 8:2 比例分割训练集。

2. 配置模型

复制并编辑 config.json 配置文件。主要修改 train 部分的路径和 model 部分的标签：

{
    "model" : {
        "architecture":         "Full Yolo",
        "input_size":           416,
        "anchors":              [0.57273, 0.677385, 1.87446, 2.06253, 3.33843, 5.47434, 7.88282, 3.52778, 9.77052, 9.16828],
        "max_box_per_image":    10,
        "labels":               ["raccoon"]
    },
    "train": {
        "train_image_folder":   "/path/to/your/data/train_image_folder/",
        "train_annot_folder":   "/path/to/your/data/train_annot_folder/",
        "train_times":          10,
        "pretrained_weights":   "full_yolo_weights.h5", 
        "batch_size":           16,
        "learning_rate":        1e-4,
        "nb_epoch":             50,
        "warmup_epochs":        3,
        "object_scale":         5.0,
        "no_object_scale":      1.0,
        "coord_scale":          1.0,
        "class_scale":          1.0,
        "debug":                true
    },
    "valid": {
        "valid_image_folder":   "",
        "valid_annot_folder":   "",
        "valid_times":          1
    }
}

3. (可选) 生成自定义 Anchors

如果您使用的是全新数据集，建议先运行脚本生成适合该数据集的 Anchors，并更新到 config.json 中：

python gen_anchors.py -c config.json

4. 开始训练

运行训练脚本，最佳模型权重将自动保存为 best_weights.h5：

python train.py -c config.json

训练将在验证集损失连续 3 个 epoch 未提升时自动停止。

5. 执行检测

使用训练好的权重对图片或视频进行检测：

python predict.py -c config.json -w best_weights.h5 -i /path/to/image.jpg

检测结果（带有边界框的图片）将保存在同一文件夹下。