优秀的数据集工具

精选的优秀数据集工具列表

• 标注工具
  • 图像
  • 音频
  • 时间序列
  • 文本
• 库

标注工具

图像

• LabeFlow - 用于机器学习项目的开源图像标注工具
• CVAT - 面向计算机视觉的在线交互式视频和图像标注工具
• COCO Annotator - 基于Web的图像分割工具，适用于目标检测、定位和关键点标注
• VoTT - 视觉对象标注工具：一款基于Electron的应用程序，用于从图像和视频中构建端到端的目标检测模型。
• Scalabel - 功能多样且可扩展的工具，支持多种类型的标注
• EVA - EVA 是一个基于 Web 的工具，用于高效地标注视频和图像序列，并具备额外的跟踪功能
• LOST - 在基于 Web 的环境中设计您自己的智能图像标注流程
• Boobs - 快速高效的 BBox 标注工具，支持 YOLO、VOC/COCO 格式
• MuViLab - 帮助您为计算机视觉任务标注视频的工具
• Turkey - 基于 Amazon Mechanical Turk 的 Web UI，用于众包图像分割
• React Image Annotation - 基于 React 构建的可无限定制的图像标注工具
• Point Cloud Annotation Tool - 用于点云中 3D 框的标注
• ImageTagger - 开源在线协作式图像标注平台
• DeepLabel - 跨平台的机器学习图像标注工具
• Visual Object Tagging Tool - 用于构建端到端目标检测模型的 Electron 应用程序
• VGG Image Annotator - 以单个 HTML 文件打包的独立图像标注应用程序
• SMART - 高效构建用于监督式机器学习任务的标注训练数据集
• Pixel Annotation Tool - 使用 OpenCV 的标记分水岭算法对目录中的图像进行标注
• Pixie - 提供边界框、多边形和语义分割功能的 GUI 标注工具
• Turktool - 现代化的 React 应用程序，用于大规模图像边界框标注
• LabelD - 简单的图像标注工具，旨在简化整个流程
• Comma Coloring - 成人填色书形式的图像分割工具
• LabelImg - 图形化图像标注工具，用于在图像中绘制目标边界框
• LCs Finder - 用 C 语言编写的图像标注与目标检测工具
• js-segment-annotator - 基于图像分割的 JavaScript 图像标注工具
• Cytomine - 多千兆像素图像分析工具
• labelme - 使用 Python 进行图像多边形标注（包括多边形、矩形、圆形、直线、点以及图像级别的标记）
• SimpleAnnotate - 开源的视频和图像标注软件，目前仅适用于 OSX
• Sloth - 用于计算机视觉研究的图像和视频数据标注工具
• Fast Annotation Tool - 协作式在线图像标注平台
• Anno-Mage - 通过为 80 种物体类别提供标注建议来帮助您标注图像
• MedTagger - 利用众包方式标注医疗数据集的协作框架
• OpenLabeling - 支持多种标注格式的标注工具
• Alturos.ImageAnnotation - 用于 YOLO 数据标注的协作工具
• Yolo_mark - 用于在图像中标记目标边界框的 GUI 工具
• imglab - 加快并简化图像标注流程，支持多种格式
• OpenLabeler - 开源桌面应用，用于标注目标
• UltimateLabeling - 多功能视频标注 GUI，集成最先进的检测器和跟踪器
• DataGym.ai - 开源的图像和视频资产标注工具

封闭源

• DataTorch - 用于创建和共享数据集的平台。
• Labelbox - 数据标注、数据管理和数据科学平台。其功能包括图像标注、边界框、文本分类等。
• Supervise.ly - 图像标注和数据管理工具，可用于创建图像和视频数据集。
• Prodigy - 提供多种机器学习模型，如图像分类、实体识别和意图检测。
• RectLabel - 用于边界框目标检测和分割的图像标注工具。
• Lionbridge AI - 可快速为数千张图像和视频添加相关标签。
• TrainingData.io - 医学图像标注工具，用于数据标注。支持放射科AI使用的DICOM图像格式。
• Spare5 - 众包服务，适用于数据和图像标注、语言评估等任务。
• Hive - 文本和图像标注服务，帮助您创建训练数据集。
• Figure Eight - 支持音频、计算机视觉、自然语言处理及其他数据任务。
• Dataturks - 提供图像分割、文档中的命名实体识别（NER）标注以及词性标注等功能。
• UBIAI - 易于使用的文本标注工具，专为团队设计，具备最全面的自动标注功能。支持NER、关系抽取、文档分类以及发票标注的OCR标注。
• Playment - 提供的服务包括边界框、点线、多边形、语义分割等。
• Cogito Tech - 图像标注、内容审核、情感分析、聊天机器人训练。
• OCLAVI - 精确标注边界框、多边形、圆形、点和长方体注释。
• Humans in the Loop - 应用场景包括人脸识别、自动驾驶汽车和人物检测。
• WorkAround - 与顶尖公司合作，托管和标注数据、管理项目并构建数据集。
• TaQadam - 基于代理闭环的按需标注服务。
• Zillin - 图像标注服务，支持分类、目标检测和分割，并提供API接入及地理参考图像支持。
• IBM Cloud Annotations - 简单且协作式的图像标注工具，适用于IBM云环境中的团队和个人。
• TrainingSet.AI - 一个平台，旨在解决AI开发中针对图像、视频和点云数据的数据标注环节问题（自动标注、真值生成、标注工具、Web数据集创建、S3集成、团队协作及统计工具）。
• MedSeg - 免费的在线医学标注（分割）服务，结合AI模型使用。
• MVTec深度学习工具 - 为MHALCON的基于深度学习的对象检测和分类提供标注功能。
• Amazon SageMaker Ground Truth - 可通过MTurk、供应商员工或您自己的私有团队进行数据标注。可使用Ground Truth内置的UI（视频、点云、图像、文本、文档处理）或自定义UI。

音频

• Audio Annotator - 用于标注和标记音频文件的JavaScript界面。
• Dynitag - 基于Web的协作式音频标注工具。
• EchoML - 播放、可视化并标注您的音频文件，以用于机器学习。

封闭源

• Figure Eight - 支持音频、计算机视觉、自然语言处理及其他数据任务。

时间序列

• Curve - 集成式的时间序列数据异常检测实验平台。
• TagAnomaly - 异常检测分析与标注工具，专门用于多时间序列。
• time-series-annotator - 实现时间序列的分类任务。
• WDK - 用于促进可穿戴设备活动识别应用开发的工具。

文本

• brat - 满足您所有的文本标注需求。
• doccano - 开源文本标注工具，专为机器学习从业者设计。
• Inception - 语义标注平台，提供智能标注辅助。
• NeuroNER - 使用神经网络进行命名实体识别。
• YEDDA - 用于标注文本、符号甚至表情符号中的片段/实体/事件。
• TALEN - 基于Web的词语序列标注工具。
• WebAnno - 广泛应用于各种语言学标注的基于Web的标注工具。
• MAE - 轻量级、通用型自然语言标注工具。
• Anafora - 基于Web的原始文本标注工具。
• TagEditor - 标注依存关系、词性、命名实体和文本类别。
• ML-Annotate - 支持文本的二元、多标签和多分类标注。

封闭源

• Hive - 文本和图像标注服务，帮助您创建训练数据集。
• Figure Eight - 支持音频、计算机视觉、自然语言处理及其他数据任务。
• LightTag 团队用文本标注工具。

库

音频

• Muda - 用于增强标注后音频数据的Python库。

文本

• DataProfiler - 一个Python库，用于促进数据分析、监控和数据识别。

Awesome Dataset Tools 快速上手指南

awesome-dataset-tools 并非单一的软件工具，而是一个精选的开源数据集工具列表（Awesome List），涵盖了图像、音频、时间序列和文本等多种数据类型的标注工具及相关库。本指南将指导您如何浏览该列表，并快速启动其中几个最具代表性的开源标注工具。

环境准备

由于列表中包含多种不同技术栈的工具，环境要求取决于您选择的具体工具。以下是通用前置依赖：

• 操作系统：Linux (Ubuntu/CentOS), macOS, 或 Windows (部分工具推荐 WSL2)。
• 基础软件：
  • Git: 用于克隆代码仓库。
  • Python 3.8+: 大多数现代标注工具基于 Python。
  • Node.js & npm: 部分基于 Web 的工具需要此环境。
  • Docker (可选但推荐): 许多工具提供 Docker 镜像，可避免环境配置冲突。
• 网络加速：
  • 克隆 GitHub 仓库时，若速度较慢，可使用国内镜像源（如 Gitee 镜像）或配置 Git 代理。
  • Python 包安装推荐使用清华源或阿里源。

安装步骤

以下选取列表中三个最流行且覆盖不同场景的开源工具作为示例：LabelImg (图像)、Doccano (文本) 和 CVAT (视频/图像，Docker 部署)。

1. 图像标注：LabelImg

适用于目标检测（Bounding Box）任务。

# 配置 pip 国内源 (可选)
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 直接通过 pip 安装
pip install labelImg

# 或者从源码安装
git clone https://github.com/tzutalin/labelImg.git
cd labelImg
pip install -r requirements.txt
python setup.py build_ext --inplace

2. 文本标注：Doccano

适用于命名实体识别 (NER)、情感分析等文本任务。

# 使用 Docker 部署 (推荐，最简单)
docker pull doccano/doccano

# 启动容器
docker run --rm -it -p 8000:8000 doccano/doccano

若不使用 Docker，可通过 pip 安装：

pip install doccano
doccano init
doccano createuser --username admin --password password
doccano webserver --port 8000

3. 高级图像/视频标注：CVAT

适用于复杂的计算机视觉任务，支持视频插值和多用户协作。

# 克隆仓库
git clone https://github.com/opencv/cvat.git
cd cvat

# 使用 Docker Compose 构建并启动 (需确保已安装 docker-compose)
docker compose up -d

基本使用

LabelImg (图像)

1. 启动：在终端输入 labelImg 命令。
2. 加载图片：点击左侧 "Open Dir" 选择包含图片的文件夹。
3. 标注：
   • 选择左侧工具栏的矩形工具 (Rectangle)。
   • 在图片上框选物体，弹出对话框输入标签名称（如 person, car）。
4. 保存：点击 "Save" 或设置自动保存，生成对应的 .xml (VOC 格式) 或 .txt (YOLO 格式) 文件。

Doccano (文本)

1. 访问界面：浏览器打开 http://localhost:8000。
2. 登录：使用创建的用户名和密码登录（默认 admin/password，若用 Docker 首次运行需查看日志获取初始密码或通过命令创建）。
3. 创建项目：
   • 点击 "Create Project"。
   • 选择任务类型（如 Sequence labeling for NER）。
4. 导入数据：在 "Dataset" 页面上传 JSONL 或 TXT 格式的文本数据。
5. 开始标注：进入 "Annotation" 页面，选中文本片段并分配标签，点击 "Submit" 保存。

CVAT (图像/视频)

1. 访问界面：浏览器打开 http://localhost:8080。
2. 创建任务：
   • 点击 "Create new task"。
   • 填写名称，选择 Labels（标签类别）。
   • 在 "Data" 选项卡上传图片或视频文件。
3. 标注作业：
   • 进入任务详情页，点击 "Job #1"。
   • 使用左侧工具栏绘制形状（矩形、多边形等）。
   • 对于视频，可利用插值功能自动填充中间帧。
4. 导出数据：完成标注后，在任务页面点击 "Export dataset" 下载 COCO、YOLO、VOC 等格式的数据集。

提示：更多工具（如音频标注的 EchoML、时间序列的 TagAnomaly）的使用方式类似，通常遵循 安装 -> 启动服务/程序 -> 导入数据 -> 标注 -> 导出 的流程。请访问 awesome-dataset-tools 仓库中对应工具的链接获取详细文档。