mAP（平均精度均值）

这段代码将评估您的神经网络在目标识别任务中的性能。

在实践中，更高的 mAP 值 表示在给定真实标签和类别集合的情况下，您的神经网络具有 更好的性能。

引用

本项目是为以下论文开发的，请考虑引用该论文：

@INPROCEEDINGS{8594067,
  author={J. {Cartucho} and R. {Ventura} and M. {Veloso}},
  booktitle={2018 IEEE/RSJ 国际智能机器人与系统会议 (IROS)}, 
  title={移动机器人中基于共生深度学习的鲁棒目标识别}, 
  year={2018},
  pages={2336-2341},
}

目录

• 说明
• 前提条件
• 快速入门
• 运行代码
• 作者

说明

您的神经网络性能将使用 PASCAL VOC 2012 竞赛 中定义的 mAP 准则来评判。我们只是将 官方 MATLAB 代码 转换为 Python（在我们的测试中，两者给出了相同的结果）。

首先 (1.)，我们为真实标签中存在的每个类别计算平均精度 (AP)。最后 (2.)，我们计算 mAP（平均精度均值）的值。

1. 计算 AP

对于每个类别：

首先，您的神经网络的 检测结果 按置信度从高到低排序，并与 真实标签对象 进行匹配。当它们具有 相同的标签且 IoU ≥ 0.5（交并比大于等于 50%）时，即视为“匹配”。如果该真实标签对象尚未被使用过，则此“匹配”被视为真正例（以避免对同一对象进行多次检测）。

利用这一准则，我们计算精确率/召回率曲线。例如：

然后，我们通过将召回率 r 的精确率设置为任何召回率 r' > r 所获得的最大精确率，来计算一个 精确率单调递减 的测量精确率/召回率曲线版本（显示为浅红色）。

最后，我们通过数值积分计算 AP，即 该曲线下的面积（显示为浅蓝色）。由于曲线是分段常数，因此不涉及任何近似。

2. 计算 mAP

我们将所有 AP 的平均值计算出来，得到一个介于 0 到 100% 之间的 mAP 值。例如：

前提条件

您需要安装：

• Python

可选：

• 如果想 绘制结果图，请安装 Matplotlib - Linux、macOS 和 Windows：
  1. python -mpip install -U pip
  2. python -mpip install -U matplotlib
• 如果想展示 动画效果，请安装 OpenCV：
  1. python -mpip install -U pip
  2. python -mpip install -U opencv-python

快速入门

要开始使用 mAP，您需要克隆仓库：

git clone https://github.com/Cartucho/mAP

运行代码

逐步操作：

1. 创建真实标签文件
2. 将真实标签文件复制到 input/ground-truth/ 文件夹中。
3. 创建检测结果文件
4. 将检测结果文件复制到 input/detection-results/ 文件夹中。
5. 运行代码： python main.py

可选（如果您想查看 动画效果）：

6. 将图像插入 input/images-optional/ 文件夹中。

PASCAL VOC、Darkflow 和 YOLO 用户

在 scripts/extra 文件夹中，您可以找到用于将 PASCAL VOC、darkflow 和 YOLO 文件转换为所需格式的附加脚本。

创建真实标签文件

• 为每张图像创建一个单独的真实标签文本文件。
• 使用 匹配的文件名（例如，图像：“image_1.jpg”，真实标签：“image_1.txt”）。
• 在这些文件中，每行应采用以下格式：

  <class_name> <left> <top> <right> <bottom> [<difficult>]
  

• difficult 参数是可选的，如果您希望计算时忽略某个特定检测，可以使用它。
• 例如，“image_1.txt”：

  tvmonitor 2 10 173 238
  book 439 157 556 241
  book 437 246 518 351 difficult
  pottedplant 272 190 316 259
  

创建检测结果文件

• 为每张图像创建一个单独的检测结果文本文件。
• 使用 匹配的文件名（例如，图像：“image_1.jpg”，检测结果：“image_1.txt”）。
• 在这些文件中，每行应采用以下格式：

  <class_name> <confidence> <left> <top> <right> <bottom>
  

• 例如，“image_1.txt”：

  tvmonitor 0.471781 0 13 174 244
  cup 0.414941 274 226 301 265
  book 0.460851 429 219 528 247
  chair 0.292345 0 199 88 436
  book 0.269833 433 260 506 336
  

作者：

• João Cartucho

欢迎贡献

mAP 快速上手指南

mAP (mean Average Precision) 是一个用于评估目标检测神经网络性能的开源工具。它基于 PASCAL VOC 2012 竞赛标准，通过计算平均精度（AP）和平均精度均值（mAP）来量化模型效果。mAP 值越高（0-100%），表示模型性能越好。

环境准备

本工具主要依赖 Python 运行，可选安装绘图和动画库以可视化结果。

• 操作系统：Linux, macOS, Windows
• 核心依赖：
  • Python (建议 Python 3.x)
• 可选依赖（用于生成图表和动画）：
  • matplotlib：用于绘制精度/召回率曲线。
  • opencv-python：用于生成检测结果的动画演示。

国内加速提示：在中国大陆地区，建议使用国内镜像源安装依赖以提升速度。例如使用清华源： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <包名>

安装步骤

1. 克隆项目仓库 将代码下载到本地：

   git clone https://github.com/Cartucho/mAP
   cd mAP
   

2. 安装可选依赖（推荐安装以便查看完整报告）

   首先升级 pip：

   python -mpip install -U pip
   

   安装 Matplotlib（绘图）：

   # 通用命令
   python -mpip install -U matplotlib
   
   # 或使用国内镜像
   python -mpip install -U matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   安装 OpenCV（动画）：

   # 通用命令
   python -mpip install -U opencv-python
   
   # 或使用国内镜像
   python -mpip install -U opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

使用前需准备好两类数据文件：真实标注文件 (ground-truth) 和 检测结果文件 (detection-results)。

1. 准备数据文件

在项目根目录下创建输入文件夹结构（如果不存在）：

mkdir -p input/ground-truth
mkdir -p input/detection-results
mkdir -p input/images-optional  # 可选：放入原图以生成动画

A. 制作真实标注文件 (ground-truth)

为每张测试图片创建一个 .txt 文件，文件名需与图片名一致（例如 image_1.jpg 对应 image_1.txt）。 将文件放入 input/ground-truth/ 目录。

文件格式（每行一个物体）：

<class_name> <left> <top> <right> <bottom> [<difficult>]

• <class_name>: 类别名称
• <left> <top> <right> <bottom>: 边界框坐标
• [<difficult>]: 可选参数，若标记为 difficult 则该物体不参与评估

示例 (input/ground-truth/image_1.txt)：

tvmonitor 2 10 173 238
book 439 157 556 241
book 437 246 518 351 difficult
pottedplant 272 190 316 259

B. 制作检测结果文件 (detection-results)

同样为每张测试图片创建一个 .txt 文件，文件名与图片名一致。 将文件放入 input/detection-results/ 目录。

文件格式（每行一个检测结果，按置信度排序更佳）：

<class_name> <confidence> <left> <top> <right> <bottom>

• <confidence>: 模型预测的置信度分数

示例 (input/detection-results/image_1.txt)：

tvmonitor 0.471781 0 13 174 244
cup 0.414941 274 226 301 265
book 0.460851 429 219 528 247
chair 0.292345 0 199 88 436
book 0.269833 433 260 506 336

提示：如果你使用的是 PASCAL VOC、Darkflow 或 YOLO 格式的数据，可查看 scripts/extra 文件夹中的脚本进行格式转换。

2. 运行评估

确保文件已放入对应文件夹后，执行以下命令：

python main.py

程序运行结束后，将在终端输出各类别的 AP 值及最终的 mAP 值。如果安装了 matplotlib 和 opencv-python 并放入了可选图片，还会自动生成精度曲线图和检测动画。