HaGRID - 手势识别图像数据集

我们推出了一套大型图像数据集 HaGRIDv2（HAnd Gesture Recognition Image Dataset），用于手势识别（HGR）系统。您可以将其用于图像分类或目标检测任务。该数据集有助于构建可在视频会议服务（Zoom、Skype、Discord、Jazz 等）、智能家居系统、汽车行业等领域应用的手势识别系统。此外，我们还发布了一种动态手势识别算法，并在论文中进行了详细描述。该模型完全基于 HaGRIDv2 训练而成，能够在仅使用静态手势训练的情况下实现动态手势的识别。您可以在我们的 仓库 中找到相关代码。

HaGRIDv2 的总大小为 1.5TB，包含 1,086,158 张 FullHD 分辨率的 RGB 图像，分为 33 个手势类别，以及一个全新的“no_gesture”类别，其中包含了特定领域的自然手部姿态。此外，部分图像也标注为“no_gesture”，当画面中存在另一只未做手势的手时即归入此类。这一额外类别共包含 2,164 个样本。数据按用户 user_id 进行划分，训练集占 76%，验证集占 9%，测试集占 15%，具体数量分别为：训练集 821,458 张，验证集 99,200 张，测试集 165,500 张。

该数据集涵盖了 65,977 名不同的个体，至少对应相同数量的独特场景。参与者均为 18 岁以上的人群。数据主要在室内采集，光照条件变化较大，包括人工光源和自然光。此外，数据集中还包括一些极端条件下的图像，例如面向或背对窗户拍摄的情况。参与者需要在距离摄像头 0.5 至 4 米的范围内展示手势。

示例样本及其标注：

更多信息请参阅我们在 arXiv 上发表的论文 链接。

🔥 更新日志

• 2025/02/27：我们发布了 动态手势识别算法。 🙋
  • 提出了一种创新算法，能够在仅使用静态手势训练的情况下实现动态手势识别。
  • 模型完全基于 HaGRIDv2-1M 数据集训练而成。
  • 专为实时应用场景设计，适用于视频会议、智能家居控制、汽车系统等。
  • 开源实现，并在仓库中提供了预训练模型。
• 2024/09/24：我们发布了 HaGRIDv2。 🙏
  • HaGRID 数据集新增了 15 个手势类别，其中包括双手手势。
  • 新增“no_gesture”类别，包含领域特定的自然手部姿态（共 2,164 个样本，按训练/验证/测试分别划分为 1,464、200、500 张）。
  • “no_gesture”类别共包含 200,390 个边界框。
  • 增加了手势检测、手部检测以及全帧分类的新模型。
  • 数据集总大小为 1.5TB。
  • 共有 1,086,158 张 FullHD RGB 图像。
  • 按用户 user_id 划分的训练/验证/测试比例为：821,458 张（76%）/ 99,200 张（9%）/ 165,500 张（15%）。
  • 包含 65,977 名不同个体。
• 2023/09/21：我们发布了 HaGRID 2.0。 ✌️
  • 所有训练和测试文件被合并到一个目录中。
  • 数据进一步清理并补充了新样本。
  • 支持多 GPU 训练和测试。
  • 增加了新的检测模型和全帧分类模型。
  • 数据集总大小为 723GB。
  • 共有 554,800 张 FullHD RGB 图像（清理并更新了类别，增加了种族多样性）。
  • “no_gesture”类别新增 120,105 个样本。
  • 按用户 user_id 划分的训练/验证/测试比例为：410,800 张（74%）/ 54,000 张（10%）/ 90,000 张（16%）。
  • 包含 37,583 名不同个体。
• 2022/06/16：HaGRID（初始数据集） 💪
  • 数据集总大小为 716GB。
  • 共有 552,992 张 FullHD RGB 图像，分为 18 个手势类别。
  • “no_gesture”类别包含 123,589 个样本。
  • 按用户 user_id 划分的训练/测试比例为：509,323 张（92%）/ 43,669 张（8%）。
  • 包含 34,730 名 18 至 65 岁之间的不同个体。
  • 参与者需在距离摄像头 0.5 至 4 米的范围内进行手势展示。

安装

克隆项目并安装所需的 Python 包：

git clone https://github.com/hukenovs/hagrid.git
# 或镜像链接：
cd hagrid
# 使用 conda 或 venv 创建虚拟环境
conda create -n gestures python=3.11 -y
conda activate gestures
# 安装依赖
pip install -r requirements.txt

下载

由于数据量庞大，我们将训练数据集按手势类别拆分为 34 个压缩包。请从以下链接下载并解压：

数据集

dataset annotations: annotations

HaGRIDv2 512px - 轻量版完整数据集，包含 min_side = 512p 的 119.4 GB

或者使用 Python 脚本：

python download.py --save_path <PATH_TO_SAVE> \
                   --annotations \
                   --dataset

运行以下命令并使用 --dataset 参数下载数据集图像。通过 --annotations 参数下载选定阶段的标注文件。

usage: download.py [-h] [-a] [-d] [-t TARGETS [TARGETS ...]] [-p SAVE_PATH]

下载数据集...

可选参数：
  -h, --help            显示此帮助信息并退出
  -a, --annotations     下载标注文件
  -d, --dataset         下载数据集
  -t TARGETS [TARGETS ...], --targets TARGETS [TARGETS ...]
                        下载训练集的目标
  -p SAVE_PATH, --save_path SAVE_PATH
                        保存路径

下载完成后，可以使用以下命令解压压缩包：

unzip <PATH_TO_ARCHIVE> -d <PATH_TO_SAVE>

数据集的结构如下：

├── hagrid_dataset <PATH_TO_DATASET_FOLDER>
│   ├── call
│   │   ├── 00000000.jpg
│   │   ├── 00000001.jpg
│   │   ├── ...
├── hagrid_annotations
│   ├── train <PATH_TO_JSON_TRAIN>
│   │   ├── call.json
│   │   ├── ...
│   ├── val <PATH_TO_JSON_VAL>
│   │   ├── call.json
│   │   ├── ...
│   ├── test <PATH_TO_JSON_TEST>
│   │   ├── call.json
│   │   ├── ...

模型

我们提供了一些在HaGRIDv2数据集上预训练的模型，作为手势分类、手势检测和手部检测任务的经典骨干网络架构基线。

此外，如果您需要检测手部，可以使用在HaGRIDv2数据集上预训练的YOLO检测模型。

然而，如果您只需要识别单个手势，可以使用预训练的全帧分类器，而不是检测器。 要使用全帧模型，请移除no_gesture类别。

python run.py -c train -p configs/<config>

bash ddp_run.sh -g 0,1,2,3 -c train -p configs/<config>

tensorboard --logdir=<workdir>

python run.py -c test -p configs/<config>

bash ddp_run.sh -g 0,1,2,3 -c test -p configs/<config>

演示

python demo.py -p <PATH_TO_CONFIG> --landmarks

全帧分类器演示

python demo_ff.py -p <PATH_TO_CONFIG>

标注

标注由COCO格式的手部和手势边界框组成，格式为[左上角X坐标，左上角Y坐标，宽度，高度]，并附有手势标签。我们提供了user_id字段，允许您自行划分训练/验证/测试数据集；此外，元信息包含自动标注的年龄、性别和种族。

"04c49801-1101-4b4e-82d0-d4607cd01df0": {
    "bboxes": [
        [0.0694444444, 0.3104166667, 0.2666666667, 0.2640625],
        [0.5993055556, 0.2875, 0.2569444444, 0.2760416667]
    ],
    "labels": [
        "thumb_index2",
        "thumb_index2"
    ],
    "united_bbox": [
        [0.0694444444, 0.2875, 0.7868055556, 0.2869791667]
    ],
    "united_label": [
        "thumb_index2"
    ],
    "user_id": "2fe6a9156ff8ca27fbce8ada318c592b",
    "hand_landmarks": [
            [
                [0.37233507701702123, 0.5935673528948108],
                [0.3997604810145188, 0.5925499847441514],
                ...
            ],
            [
                [0.37388438145820907, 0.47547576284667353],
                [0.39460467775730607, 0.4698847093520443],
                ...
            ]
        ]
    "meta": {
        "age": [24.41],
        "gender": ["female"],
        "race": ["White"]
    }

• 键：图像名称，不含扩展名
• Bboxes：每个手的归一化边界框列表[左上角X坐标，左上角Y坐标，宽度，高度]
• Labels：每个手的类别标签列表，例如like、stop、no_gesture
• United_bbox：对于双手手势（如“hand_heart”、“hand_heart2”、“thumb_index2”、“timeout”、“holy”、“take_picture”、“xsign”），是两个手框的合并；对于单手手势，则为null
• United_label：双手手势时的联合类别标签，单手手势时为null
• User ID：受试者ID（可用于将数据划分为训练/验证子集）
• Hand_landmarks：使用MediaPipe地标自动标注的每只手的特征点
• Meta：由FairFace和MiVOLO神经网络自动标注的元信息，包括年龄、性别和种族

边界框

特征点

转换工具

python -m converters.hagrid_to_yolo --cfg <CONFIG_PATH> --mode <'hands' or 'gestures'>

def img2label_paths(img_paths):
    img_paths = list(img_paths)
    # 根据图像路径定义标签路径
    if "train" in img_paths[0]:
        return [x.replace("train", "train_labels").replace(".jpg", ".txt") for x in img_paths]
    elif "test" in img_paths[0]:
        return [x.replace("test", "test_labels").replace(".jpg", ".txt") for x in img_paths]
    elif "val" in img_paths[0]:
        return [x.replace("val", "val_labels").replace(".jpg", ".txt") for x in img_paths]

python -m converters.hagrid_to_coco --cfg <CONFIG_PATH> --mode <'hands' or 'gestures'>

许可证

本作品采用一种变体的 知识共享 署名-相同方式共享 4.0 国际许可协议。

具体许可协议请参阅 此处。

作者与致谢

• Alexander Kapitanov
• Andrey Makhlyarchuk
• Karina Kvanchiani
• Aleksandr Nagaev
• Roman Kraynov
• Anton Nuzhdin

链接

• Github (HaGRIDv2-1M)

• arXiv
• Github (动态手势识别)

引用

您可以使用以下 BibTeX 条目引用该论文：

@misc{nuzhdin2024hagridv21mimagesstatic,
    title={HaGRIDv2: 1M 图像用于静态和动态手势识别}, 
    author={Anton Nuzhdin、Alexander Nagaev、Alexander Sautin、Alexander Kapitanov、Karina Kvanchiani},
    year={2024},
    eprint={2412.01508},
    archivePrefix={arXiv},
    primaryClass={cs.CV},
    url={https://arxiv.org/abs/2412.01508}, 
}

@InProceedings{Kapitanov_2024_WACV,
    author    = {Kapitanov, Alexander、Kvanchiani, Karina、Nagaev, Alexander、Kraynov, Roman、Makhliarchuk, Andrei},
    title     = {HaGRID -- 手势识别图像数据集},
    booktitle = {IEEE/CVF 冬季计算机视觉应用会议（WACV）论文集},
    month     = {一月},
    year      = {2024},
    pages     = {4572-4581}
}

HaGRID 快速上手指南

HaGRID (HAnd Gesture Recognition Image Dataset) 是一个大规模的手势识别图像数据集（最新版本 HaGRIDv2），包含超过 100 万张全高清 RGB 图像，涵盖 33 种手势类别及“无手势”类别。该数据集适用于构建视频会议、智能家居及车载系统中的手势识别应用。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐), macOS, 或 Windows
• Python 版本: 3.11 (官方推荐)
• 存储空间: 完整数据集约为 1.5TB，请确保有足够的磁盘空间。若空间有限，可下载轻量版 (512px, 约 119GB) 或仅下载特定手势类别。
• 依赖管理: 推荐使用 conda 或 venv 创建虚拟环境。

安装步骤

1. 克隆项目代码

首先从 GitHub 克隆仓库到本地：

git clone https://github.com/hukenovs/hagrid.git
cd hagrid

2. 创建并激活虚拟环境

使用 conda 创建 Python 3.11 环境（也可使用 venv）：

conda create -n gestures python=3.11 -y
conda activate gestures

3. 安装依赖包

安装项目所需的 Python 库：

pip install -r requirements.txt

提示: 国内用户若下载缓慢，可添加清华或阿里镜像源加速： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

1. 下载数据集与标注文件

由于数据集巨大，官方将其按手势类别分割为多个压缩包。您可以选择手动下载或使用提供的脚本下载。

方式 A：使用 Python 脚本下载（推荐）

运行 download.py 脚本可以灵活选择下载内容（数据集图片、标注文件或特定类别）。

下载所有标注文件：

python download.py --annotations --save_path ./data

下载特定手势类别的训练数据（例如 "call" 和 "ok"）：

python download.py --dataset --targets call ok --save_path ./data

下载完整数据集（需极大带宽和存储空间，慎用）：

python download.py --dataset --save_path ./data

脚本参数说明：

• -a, --annotations: 下载标注文件 (JSON)
• -d, --dataset: 下载图像数据集
• -t, --targets: 指定要下载的手势类别名称（如 call, fist, peace 等）
• -p, --save_path: 指定保存路径

方式 B：手动下载

访问 README 中的链接表格，按需下载特定手势的 .zip 包及 annotations.zip。下载完成后解压至指定目录。

2. 数据集结构

下载并解压后，目录结构应如下所示：

├── hagrid_dataset (数据图片目录)
│   ├── call
│   │   ├── 00000000.jpg
│   │   └── ...
│   ├── ok
│   │   └── ...
├── hagrid_annotations (标注文件目录)
│   ├── train
│   │   ├── call.json
│   │   └── ...
│   ├── val
│   │   └── ...
│   └── test
│       └── ...

3. 使用预训练模型

HaGRID 提供了基于 YOLOv10 等架构的预训练模型，可直接用于手势检测。

示例：加载 YOLOv10x 手势检测模型 您需要先下载对应的 .pt 权重文件（见原文 Models 章节链接），然后使用 Ultralytics YOLO 库进行推理：

from ultralytics import YOLO

# 加载预训练模型
model = YOLO("YOLOv10x_gestures.pt")

# 执行推理
results = model("path/to/your/image.jpg")

# 显示结果
results[0].show()

可用模型性能参考：

• YOLOv10x: mAP 89.4 (高精度)
• YOLOv10n: mAP 88.2 (轻量级)

对于动态手势识别，请参考其独立仓库 dynamic_gestures。