用于识别目标检测错误的通用工具箱

████████╗██╗██████╗ ███████╗
╚══██╔══╝██║██╔══██╗██╔════╝
   ██║   ██║██║  ██║█████╗  
   ██║   ██║██║  ██║██╔══╝  
   ██║   ██║██████╔╝███████╗
   ╚═╝   ╚═╝╚═════╝ ╚══════╝

一个易于使用、通用的工具箱，用于计算和评估目标检测及实例分割对整体性能的影响。这是我们的论文代码：TIDE：用于识别目标检测错误的通用工具箱（ArXiv）[ECCV2020 Spotlight]。

请观看我们在 ECCV 2020 的简短视频，了解 TIDE 能做什么：

安装

TIDE 作为一个 Python 包，适用于 Python 3.6 及以上版本，包名为 tidecv。安装方法非常简单，只需使用 pip 即可：

pip3 install tidecv

当前版本为 v1.0.1（变更日志）。

使用

TIDE 可以直接替代 COCO 评估工具包，上手非常容易：

from tidecv import TIDE, datasets

tide = TIDE()
tide.evaluate(datasets.COCO(), datasets.COCOResult('path/to/your/results/file'), mode=TIDE.BOX) # 使用 TIDE.MASK 处理掩码
tide.summarize()  # 在控制台中以表格形式汇总结果
tide.plot()       # 显示汇总图表。指定文件夹后，会将图片输出到该文件夹。

这会在控制台打印出评估摘要表：

-- mask_rcnn_bbox --

bbox AP @ 50: 61.80

                         主要错误
=============================================================
  类型      类别      位置     同时     重复      背景     漏检
-------------------------------------------------------------
   dAP     3.40     6.65     1.18     0.19     3.96     7.53
=============================================================

        特殊错误
=============================
  类型   假阳性   假阴性
-----------------------------
   dAP      16.28      15.57
=============================

以及您模型错误的汇总图表：

Jupyter Notebook

更多详细信息，请参阅示例笔记本。

数据集

目前支持的数据集包括 COCO、LVIS、Pascal 和 Cityscapes。关于如何编写自定义数据集驱动程序的更多细节和文档即将发布！

引用

如果您在项目中使用了 TIDE，请引用以下内容：

@inproceedings{tide-eccv2020,
  author    = {Daniel Bolya and Sean Foley and James Hays and Judy Hoffman},
  title     = {TIDE: A General Toolbox for Identifying Object Detection Errors},
  booktitle = {ECCV},
  year      = {2020},
}

联系方式

如有关于论文或代码的问题，请在此 GitHub 仓库中提交 Issue，或联系 Daniel Bolya。请注意，我可能不会回复邮件，因此 GitHub Issue 是最佳选择。

TIDE 快速上手指南

TIDE (Toolbox for Identifying Object Detection Errors) 是一个用于分析和评估目标检测及实例分割模型错误的通用工具。它能帮助开发者快速定位模型性能瓶颈（如分类错误、定位不准、漏检等），是 COCO 评估工具集的增强替代方案。

环境准备

• 操作系统：Linux, macOS 或 Windows
• Python 版本：Python 3.6 及以上
• 前置依赖：无需额外安装复杂依赖，pip 会自动处理所需库（如 numpy, matplotlib 等）。

安装步骤

推荐使用国内镜像源加速安装（以清华源为例）：

pip3 install tidecv -i https://pypi.tuna.tsinghua.edu.cn/simple

或者使用官方源安装：

pip3 install tidecv

当前稳定版本为 v1.0.1。

基本使用

TIDE 旨在作为 COCO Evaluation toolkit 的直接替代品。以下是最简单的使用流程，用于评估目标检测框（Box）或实例分割掩码（Mask）的结果。

代码示例

创建一个 Python 脚本（例如 run_tide.py），填入以下代码：

from tidecv import TIDE, datasets

# 初始化 TIDE
tide = TIDE()

# 执行评估
# 参数说明:
# 1. datasets.COCO(): 使用标准的 COCO 验证集标注
# 2. datasets.COCOResult('path/to/your/results/file'): 替换为你的模型结果文件路径 (JSON 格式)
# 3. mode=TIDE.BOX: 评估目标检测框; 若评估实例分割请改为 mode=TIDE.MASK
tide.evaluate(datasets.COCO(), datasets.COCOResult('path/to/your/results/file'), mode=TIDE.BOX)

# 在控制台打印详细的错误分析表格
tide.summarize()

# 生成并展示错误分析总结图
# 若指定文件夹路径，图片将保存至该目录，否则直接显示
tide.plot() 

输出解读

运行上述代码后，你将获得两部分核心输出：

1. 控制台表格：量化展示各类错误对平均精度（AP）的影响，包括分类错误 (Cls)、定位错误 (Loc)、重复检测 (Dupe)、背景误检 (Bkg) 和漏检 (Miss)。

   -- mask_rcnn_bbox --
   
   bbox AP @ 50: 61.80
   
                            Main Errors
   =============================================================
     Type      Cls      Loc     Both     Dupe      Bkg     Miss
   -------------------------------------------------------------
      dAP     3.40     6.65     1.18     0.19     3.96     7.53
   =============================================================
   

2. 可视化图表：自动生成一张总结图，直观展示模型的主要错误分布，帮助优先优化方向。

提示：更多高级用法（如自定义数据集、Jupyter Notebook 交互分析）请参考官方 example notebook。