keras-yolo3-Mobilenet

简介

基于 allanzelener/YAD2K 的启发，这是一个使用 Keras 实现的 YOLOv3（TensorFlow 后端）。

我将 Darknet53 的后端替换为：

• Mobilenet
• VGG16
• ResNet101
• ResNeXt101

开放数据集上的实验

模型名称	输入尺寸	训练集	测试集	mAP	速度	备注
YOLOv3-Mobilenet	320x320	VOC07	VOC07	64.22%	29fps	Keras 在 1080Ti 上
YOLOv3-Mobilenet	320x320	VOC07+12	VOC07	74.56%	29fps	Keras 在 1080Ti 上
YOLOv3-Mobilenet	416x416	VOC07+12	VOC07	76.82%	25fps	Keras 在 1080Ti 上
MobileNet-SSD	300x300	VOC07+12+coco	VOC07	72.7%	（未知）
MobileNet-SSD	300x300	VOC07+12	VOC07	68%	（未知）
Faster RCNN, VGG-16	~1000x600	VOC07+12	VOC07	73.2%	151ms	Caffe 在 Titan X 上
SSD,VGG-16	300x300	VOC07+12	VOC07	77.5%	39fps	Keras 在 Titan X 上

备注：

1. 与 MobileNet-SSD 相比，YOLOv3-Mobilenet 在 VOC2007 测试集上的表现更好，即使没有在 Ms-COCO 数据集上进行预训练。
2. 我使用了作者在 COCO 数据集上聚类得到的默认锚框尺寸，输入尺寸为 416×416；而对于 VOC 数据集，输入尺寸为 320 时，锚框应更小。调整锚框尺寸可能会进一步提升性能。
3. 评估基于 https://github.com/Adamdad/Object-Detection-Metrics.git。
4. 我仅使用纯 YOLOv3-Mobilenet 模型，未采用任何额外技巧。

keras-yolov3-Mobilenet 使用指南

1. train_Mobilenet.py

• 训练代码
• 我修改了一些代码，以便分别读取标注文件（train.txt 和 val.txt），请务必相应修改，并确保 .txt 文件格式与下文描述一致。

2. yolo3/model_Mobilenet.py

• model_Mobilenet 是基于 Mobilenet 的 YOLO 模型
• 如果您想深入研究源代码，请重点关注 yolo_body 函数。（我从 Mobilenet 中提取了三层用于预测）

3. yolo_Mobilenet.py

• 图像检测

请注意，在训练时不要加载预训练模型，因为我是在 keras_applications 中完成的，Keras 会自动为您加载预训练模型。

如果您遇到任何问题，请随时联系我。

---

评估

请使用此仓库绘制 PR 曲线并计算 MAP：https://github.com/Adamdad/Object-Detection-Metrics.git

---

keras-yolov3 使用指南

[这是针对 Darknet53 的指南，而非 Mobilenet]

快速入门

1. 从 YOLO 官网 下载 YOLOv3 权重。
2. 将 Darknet YOLO 模型转换为 Keras 模型。
3. 运行 YOLO 检测。

wget https://pjreddie.com/media/files/yolov3.weights
python convert.py yolov3.cfg yolov3.weights model_data/yolo.h5
python yolo_video.py [选项...] --image，用于图像检测模式，或
python yolo_video.py [视频路径] [输出路径（可选）]

对于 Tiny YOLOv3，操作类似，只需通过 --model 模型文件 和 --anchors 锚点文件 指定模型和锚点路径即可。

使用方法

使用 --help 查看 yolo_video.py 的用法：

用法: yolo_video.py [-h] [--model MODEL] [--anchors ANCHORS]
                     [--classes CLASSES] [--gpu_num GPU_NUM] [--image]
                     [--input] [--output]

位置参数:
  --input        视频输入路径
  --output       视频输出路径

可选参数:
  -h, --help         显示此帮助信息并退出
  --model MODEL      模型权重文件路径，默认为 model_data/yolo.h5
  --anchors ANCHORS  锚点定义文件路径，默认为
                     model_data/yolo_anchors.txt
  --classes CLASSES  类别定义文件路径，默认为
                     model_data/coco_classes.txt
  --gpu_num GPU_NUM  使用的 GPU 数量，默认为 1
  --image            图像检测模式，将忽略所有位置参数

---

4. 多 GPU 使用：使用 --gpu_num N 可以启用 N 个 GPU。该参数会传递给 Keras 的 multi_gpu_model()。

训练

1. 生成您自己的标注文件和类别名称文件。
   每行对应一张图像；
   行格式：图像文件路径 box1 box2 ... boxN；
   框格式：x_min,y_min,x_max,y_max,class_id（无空格）。
   对于 VOC 数据集，可以尝试使用 python voc_annotation.py。
   示例：

   path/to/img1.jpg 50,100,150,200,0 30,50,200,120,3
   path/to/img2.jpg 120,300,250,600,2
   ...
   

2. 确保已运行 python convert.py -w yolov3.cfg yolov3.weights model_data/yolo_weights.h5。
   文件 model_data/yolo_weights.h5 用于加载预训练权重。

3. 修改 train.py 并开始训练。
   python train.py
   在使用 yolo_video.py 时，可以通过命令行选项 --model 模型文件 使用您训练好的权重或检查点权重。
   请记得根据需要修改类别路径或锚点路径，使用 --classes 类别文件 和 --anchors 锚点文件。

如果您想使用 YOLOv3 的原始预训练权重：
1. wget https://pjreddie.com/media/files/darknet53.conv.74
2. 重命名为 darknet53.weights
3. python convert.py -w darknet53.cfg darknet53.weights model_data/darknet53_weights.h5
4. 在 train.py 中使用 model_data/darknet53_weights.h5。

---

需要注意的一些问题

1. 测试环境为：

   • Python 3.5.2
   • Keras 2.1.5
   • tensorflow 1.6.0

2. 使用的是默认锚点。如果您使用自定义锚点，可能需要进行一些调整。

3. 推理结果与 Darknet 不完全相同，但差异较小。

4. 速度比 Darknet 慢。用 opencv 替代 PIL 或许能稍微提升速度。

5. 始终建议加载预训练权重并在训练的第一阶段冻结层。或者直接使用 Darknet 进行训练。如果出现不匹配警告也无需担心。

6. 训练策略仅供参考，应根据您的数据集和目标进行调整。如有必要，可进一步补充训练策略。

7. 为了加快训练速度，可以使用 train_bottleneck.py 方法。它会先计算冻结模型的瓶颈特征，然后再只训练最后几层。这样可以在 CPU 上以合理的时间完成训练。更多信息请参阅 这篇博客文章，了解关于瓶颈特征的详细内容。

引用

如果您在研究中使用了 MobileNet-YOLO，请在您的出版物中引用它：

@article{MobileNet-Yolov3,
     Author = {Adam Yang},
     Year = {2018}
}
 @article{yolov3,
     title={YOLOv3：一项渐进式改进},
     author={Redmon, Joseph 和 Farhadi, Ali},
     journal = {arXiv},
     year={2018}
}
@article{mobilenets,
     title={MobileNets：用于移动视觉应用的高效卷积神经网络},
     author={Andrew G. Howard、Menglong Zhu、Bo Chen、Dmitry Kalenichenko、Weijun Wang、Tobias Weyand、Marco Andreetto、Hartwig Adam},
     journal = {arXiv},
     year = {2017}
}

keras-YOLOv3-mobilenet 快速上手指南

本指南基于 keras-YOLOv3-mobilenet 项目，帮助开发者快速在 Keras (TensorFlow 后端) 环境下部署基于 MobileNet、VGG16 或 ResNet 骨干网络的 YOLOv3 目标检测模型。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux / Windows / macOS
• Python: 3.5+ (推荐 3.6 或 3.7)
• 核心依赖:
  • TensorFlow 1.6.0+ (GPU 版本推荐)
  • Keras 2.1.5+
  • OpenCV-python (可选，用于提升推理速度)
  • Pillow
  • h5py
  • numpy

安装依赖命令：

pip install tensorflow-gpu==1.12.0 keras==2.2.4 opencv-python h5py pillow numpy

提示：国内用户建议使用清华或阿里镜像源加速安装： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <包名>

安装步骤

1. 克隆项目代码

   git clone https://github.com/Adamdad/keras-YOLOv3-mobilenet.git
   cd keras-YOLOv3-mobilenet
   

2. 准备预训练权重（可选但推荐） 如果您想直接使用官方提供的 Darknet53 预训练权重并转换为 Keras 格式（用于对比或作为其他骨干网络的参考），执行以下命令：

   wget https://pjreddie.com/media/files/yolov3.weights
   python convert.py yolov3.cfg yolov3.weights model_data/yolo.h5
   

   注意：本项目核心特色是支持 MobileNet 等轻量级骨干网络。训练 MobileNet 版本时，通常利用 keras_applications 自动下载对应的 ImageNet 预训练权重，无需手动转换 Darknet 权重文件。

基本使用

1. 图像检测测试

使用默认的 MobileNet 模型对单张图片进行检测：

python yolo_Mobilenet.py --image path/to/your_image.jpg

若需检测视频文件：

python yolo_video.py [video_path] [output_path (optional)]

常用参数说明：

• --model: 指定模型权重文件路径 (默认: model_data/yolo.h5 或对应 MobileNet 权重)
• --anchors: 指定锚框文件路径 (默认: model_data/yolo_anchors.txt)
• --classes: 指定类别文件路径 (默认: model_data/coco_classes.txt)
• --gpu_num: 指定使用的 GPU 数量

2. 训练自定义数据集

若要训练自己的数据集（例如 VOC 格式），请按以下步骤操作：

第一步：生成标注文件 准备 train.txt 和 val.txt，每行格式如下： 图片路径 xmin,ymin,xmax,ymax,class_id xmin,ymin,xmax,ymax,class_id ...

示例 (train.txt)：

path/to/img1.jpg 50,100,150,200,0 30,50,200,120,3
path/to/img2.jpg 120,300,250,600,2

对于 VOC 数据集，可直接运行脚本生成：

python voc_annotation.py

第二步：修改配置并开始训练 编辑 train_Mobilenet.py 确保数据读取路径正确（指向生成的 txt 文件）。

重要提示：训练 MobileNet 版本时，代码会自动通过 keras_applications 加载预训练权重。请勿在训练脚本中强制加载非 MobileNet 的预训练模型（如 darknet53 权重），以免架构不匹配。

启动训练：

python train_Mobilenet.py

第三步：使用训练好的模型进行预测 训练完成后，使用生成的权重文件进行测试：

python yolo_Mobilenet.py --model logs/000/trained_weights_final.h5 --image path/to/test.jpg

(注：具体权重文件名请以训练输出日志为准)

3. 多 GPU 训练/推理

在命令行中添加 --gpu_num 参数即可启用多卡模式：

python train_Mobilenet.py --gpu_num 2