数据集管理框架（Datumaro）

一个用于构建、转换和分析数据集的框架及命令行工具。

VOC 数据集                                  ---> 标注工具
     +                                     /
COCO 数据集 -----> Datumaro ---> 数据集 ------> 模型训练
     +                                     \
CVAT 注释                             ---> 发布、统计等

• 入门指南
• 进阶学习
• 功能特性
• 用户手册
• 开发者文档
• 贡献说明

功能特性

(返回顶部)

• 支持任意方向的数据集读取、写入与转换。

  • CIFAR-10/100（分类）
  • Cityscapes
  • COCO（图像信息、实例标注、人体关键点、字幕、标签、全景分割、场景元素）
  • CVAT
  • ImageNet
  • Kitti（分割、目标检测、3D 点云）
  • LabelMe
  • LFW（分类、行人重识别、地标）
  • MNIST（分类）
  • Open Images
  • PASCAL VOC（分类、目标检测、分割、动作分类、人体布局）
  • TF Detection API（边界框、掩码）
  • YOLO（边界框）

  更多格式及其相关文档请参见 这里。

• 数据集构建

  • 将多个数据集合并为一个
  • 按自定义条件筛选数据集：
    • 移除特定类别的多边形标注
    • 去除未包含特定类别标注的图像
    • 从图像中移除“被遮挡”标注
    • 只保留竖直方向的图像
    • 去除标注中面积过小的边界框
  • 标注转换，例如：
    • 多边形标注转为实例掩码，反之亦然
    • 为掩码标注应用自定义颜色映射
    • 重命名或移除数据集标签
  • 将数据集拆分为多个子集，如“train”、“val”和“test”：
    • 随机拆分
    • 基于标注的任务特定拆分，保持初始标签和属性分布
      • 对于分类任务，按标签拆分
      • 对于目标检测任务，按边界框拆分
      • 对于重识别任务，按标签拆分，避免训练集和测试集中出现相同 ID

• 数据集质量检查

  • 简单错误检查
  • 与模型推理结果对比
  • 合并并比较多个数据集
  • 根据任务类型（分类等）验证标注

• 数据集比较

• 数据集统计信息（图像均值与标准差、标注统计）

请查阅 设计文档 以获取完整功能列表。 使用说明请参阅 用户手册。

贡献说明

(返回顶部)

如果您认为有需要改进的地方，请随时 提交 Issue。我们也欢迎您参与开发，具体步骤请参考我们的 贡献指南。

Datumaro 快速上手指南

Datumaro 是一个用于构建、转换和分析数据集的框架及命令行工具。它支持多种主流数据格式（如 COCO、VOC、YOLO、CVAT 等）之间的相互转换，并提供数据集合并、过滤、拆分及质量检查等功能。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux (推荐), macOS, Windows
• Python 版本：3.8 或更高版本
• 包管理工具：pip (建议升级至最新版)
• 前置依赖：无特殊系统级依赖，核心功能通过 Python 包实现。若需处理特定图像格式，建议安装 opencv-python 或 Pillow。

安装步骤

推荐使用 pip 进行安装。国内用户可使用清华或阿里镜像源以加速下载。

标准安装

pip install datumaro

使用国内镜像源加速安装

pip install datumaro -i https://pypi.tuna.tsinghua.edu.cn/simple

验证安装

安装完成后，运行以下命令检查版本以确认安装成功：

datumaro --version

基本使用

Datumaro 的核心工作流通常包含三个步骤：导入 (Import) -> 转换/操作 (Transform) -> 导出 (Export)。

1. 格式转换示例

将 VOC 格式的数据集转换为 COCO 格式：

datumaro convert --input-path ./voc_dataset --input-format voc --output-path ./coco_dataset --output-format coco

2. 数据集合并与过滤

合并两个不同来源的数据集，并过滤掉不包含 "person" 标签的图片：

# 合并 dataset1 和 dataset2
datumaro merge --paths ./dataset1 ./dataset2 --output-path ./merged_dataset

# 过滤：仅保留包含 'person' 标签的图像
datumaro filter --input-path ./merged_dataset --filter 'item.annotations.filter(lambda a: a.label == "person")' --output-path ./filtered_dataset

3. 数据集拆分

将数据集按 8:1:1 的比例随机拆分为 train, val, test 子集：

datumaro split --input-path ./dataset --splits train:.8 val:.1 test:.1 --output-path ./split_dataset

4. 查看数据集统计信息

快速生成数据集的统计报告（包括图像数量、标注分布等）：

datumaro stats --input-path ./dataset

提示：更多高级用法（如自定义过滤规则、特定任务的数据增强等）请参考官方 用户手册。