[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-XIAN-HHappy--handpose_x":3,"tool-XIAN-HHappy--handpose_x":62},[4,18,26,35,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",109154,2,"2026-04-18T11:18:24",[14,15,13],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":32,"last_commit_at":41,"category_tags":42,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[43,13,15,14],"插件",{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":10,"last_commit_at":50,"category_tags":51,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[52,15,13,14],"语言模型",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[14,15,13,61],"视频",{"id":63,"github_repo":64,"name":65,"description_en":66,"description_zh":67,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":75,"owner_location":75,"owner_email":75,"owner_twitter":75,"owner_website":75,"owner_url":76,"languages":77,"stars":82,"forks":83,"last_commit_at":84,"license":85,"difficulty_score":32,"env_os":86,"env_gpu":87,"env_ram":86,"env_deps":88,"category_tags":95,"github_topics":75,"view_count":32,"oss_zip_url":75,"oss_zip_packed_at":75,"status":17,"created_at":96,"updated_at":97,"faqs":98,"releases":99},9404,"XIAN-HHappy\u002Fhandpose_x","handpose_x","手部21个关键点检测，二维手势姿态，手势识别，pytorch,handpose","handpose_x 是一个基于 PyTorch 开发的开源手部姿态分析工具，专注于从普通 RGB 摄像头画面中精准检测手部的 21 个关键骨骼点。它主要解决了在缺乏昂贵深度传感器的情况下，如何低成本实现高精度二维手势追踪与识别的难题，让计算机能够“看懂”复杂的手部动作。\n\n该项目非常适合计算机视觉开发者、AI 研究人员以及希望探索人机交互新形式的工程师使用。无论是构建虚拟键盘、通过手势框选物体进行识别，还是开发静态手势控制系统，handpose_x 都提供了丰富的示例代码和灵活的扩展空间。其独特亮点在于不仅支持标准的深度学习模型（如 ResNet50），还特别优化了 ONNX Runtime 部署方案，同时支持 CPU 和 GPU 加速，便于在多种硬件环境下落地。此外，项目独创性地利用关键点间的二维角度约束关系来定义静态手势（如握拳、比耶等），为数据受限场景提供了一种实用的替代方案。配合公开的大规模多视角数据集，handpose_x 能帮助使用者快速搭建从算法验证到实际应用的原型系统。","# HandPose X  \n手势 21 个关键点检测  ， handpose\n\n## 课程通知 \n*  ![手势交互课程 handpose_x](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXIAN-HHappy_handpose_x_readme_bac4debaaf07.png)\n\n## 如需更多的项目资源和落地方案，可以加入 “DataBall - X ”知识星球 free\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXIAN-HHappy_handpose_x_readme_b51166de2bfb.jpg\" width=\"30%\" alt=\"知识星球\">\n\n## Pinch_Index （交互选择射线）\n\n![video_pinch_line](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXIAN-HHappy_handpose_x_readme_b463f7688339.gif)   \n\n\n\n## 灵巧手\n\n![video_lqs1](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXIAN-HHappy_handpose_x_readme_090b2afe0239.gif)    \n\n## handposex plus 数据集\n* 加入知识星球，获取下载链接\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXIAN-HHappy_handpose_x_readme_a9e76a815269.gif\" width=\"100%\" alt=\"handposex plus\">\n\n## 重要更新\n### 添加 onnx runtime C++ 项目示例支持CPU&GPU，对应项目地址：\n* https:\u002F\u002Fgithub.com\u002FXIAN-HHappy\u002Fonnx_run\n### 添加 onnx 模块，预训练模型中有转好的resnet50-onnx模型，注意：目前不支持rexnetv1\n\n## 项目Wiki\n### 注意：项目的相关资料信息或是更新状态会同步到项目Wiki，以便更好的对该项目进行维护和不断发展，谢谢大家对该项目的关注！\n\n## 项目介绍   \n\n### Star History\n\n[![Star History Chart](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXIAN-HHappy_handpose_x_readme_ff1a3c3cd869.png)](https:\u002F\u002Fwww.star-history.com\u002F#XIAN-HHappy\u002Fhandpose_x&Date)\n\n注意：该项目不包括手部检测部分.\n该项目是对手的21个关键点进行检测，示例如下 ：    \n* 图片示例：  \n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXIAN-HHappy_handpose_x_readme_f4bad8aa95c2.png)    \n* 视频示例：  \n![video](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXIAN-HHappy_handpose_x_readme_50c376937edd.gif)    \n\n## Demo小样    \n* 示例1 - 按键操作     \n  因为考虑到目前没有三维姿态不好识别按键按下三维动作，所以目前采用二维方式。    \n  该示例的原理：通过简单的IOU跟踪，对二维目标如手的边界框或是特定手指的较长时间位置稳定性判断确定触发按键动作的时刻，用特定指尖的二维坐标确定触发位置。    \n  （注意：目前示例并未添加到工程，后期整理后会进行发布，只是一个样例，同时希望同学们自己尝试写自己基于该项目的小应用。）     \n![keyboard](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXIAN-HHappy_handpose_x_readme_64df080adb6a.gif)  \n\n* 示例2 - 手势交互：指定区域物体识别      \n  该示例的出发点是希望通过手势指定用户想要识别的物体。那么就要选中物体的准确边界框才能达到理想识别效果。如果待识别目标边界框太大会引入背景干扰，太小又会时目标特征不完全。所以希望通过手势指定较准确的目标边界框。因为边界框涉及左上、右下两个二维坐标，所以通过两只手的特定指尖来确定。且触发逻辑与示例1相同。           \n  该示例的原理：通过简单的IOU跟踪，对二维目标如手的边界框或是特定手指的较长时间位置稳定性判断确定触发按键动作的时刻，用特定指尖的二维坐标确定触发位置。         \n  （注意：目前示例并未添加到工程，后期整理后会进行发布，只是一个样例，同时希望同学们自己尝试写自己基于该项目的小应用。）     \n  该示例依赖于另外一个物体识别分类项目。  \n\n![keyboard](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXIAN-HHappy_handpose_x_readme_de3fecc90a92.gif)    \n\n* 以下是对书上狗的图片进行分类识别的样例，同学们可以根据自己对应的物体识别分类需求替换对应的分类识别模型即可。    \n\n![recoobj_book](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXIAN-HHappy_handpose_x_readme_4ec5c02b11e4.gif)    \n* [该Demo完整视频](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1nb4y1R7Zh\u002F)       \n\n该物体识别分类项目的地址为：  https:\u002F\u002Fcodechina.csdn.net\u002FEricLee\u002Fclassification     \n\n* 示例3 - 静态手势     \n  通过手关键点的二维角度约束关系定义静态手势。  \n  示例中手势包括：fist five gun love one six three thumbup yeah    \n  目前该示例由于静态手势数据集的限制，目前用手骨骼的二维角度约束定义静态手势，原理如下图,计算向量AC和DE的角度，它们之间的角度大于某一个角度阈值（经验值）定义为弯曲，小于摸一个阈值（经验值）为伸直。    \n  注：这种静态手势识别的方法具有局限性，有条件还是通过模型训练的方法进行静态手势识别。   \n\n![gs](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXIAN-HHappy_handpose_x_readme_a5d90e5475bc.jpg)     \n\n  视频示例如下图：   \n![gesture](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXIAN-HHappy_handpose_x_readme_90c4e12e3114.gif)     \n\n* 示例4 - 静态手势交互（识别）      \n  通过手关键点的二维角度约束关系定义静态手势。     \n  该项目通过手势操作选择分类识别区域或是ocr识别区域，送入分类识别网络或是第三方web识别服务，亦或是检索数据库等应用。   \n\n  原理：通过二维约束获得静态手势，该示例是通过 食指伸直（one） 和 握拳（fist）分别代表范围选择和清空选择区域。    \n  建议最好还是通过分类模型做静态手势识别鲁棒和准确高，目前局限于静态手势训练集的问题用二维约束关系定义静态手势替代。    \n\n![ocrreco](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXIAN-HHappy_handpose_x_readme_dfd276587ab2.gif)       \n* [该Demo完整视频](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1Bb4y1R7sd\u002F)       \n\n## 项目配置  \n### 1、软件  \n* 作者开发环境：  \n* Python 3.7  \n* PyTorch >= 1.5.1  \n* opencv-python  \n### 2、硬件  \n* 普通USB彩色（RGB）网络摄像头    \n\n## 数据集   \n该数据集包括网络图片及数据集\u003C\u003CLarge-scale Multiview 3D Hand Pose Dataset>>筛选动作重复度低的部分图片，进行制作(如有侵权请联系删除)，共49062个样本。         \n\u003C\u003CLarge-scale Multiview 3D Hand Pose Dataset>>数据集，其官网地址 http:\u002F\u002Fwww.rovit.ua.es\u002Fdataset\u002Fmhpdataset\u002F       \n感谢《Large-scale Multiview 3D Hand Pose Dataset》数据集贡献者：Francisco Gomez-Donoso, Sergio Orts-Escolano, and Miguel Cazorla. \"Large-scale Multiview 3D Hand Pose Dataset\". ArXiv e-prints 1707.03742, July 2017.    \n\n* 标注文件示例：   \n![label](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXIAN-HHappy_handpose_x_readme_801a22382bd1.png)   \n\n* [该项目用到的制作数据集下载地址(百度网盘 Password: ara8 )](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1KY7lAFXBTfrFHlApxTY8NA)   \n\n* 如果使用该数据集并发布相关项目或网络资源文章等，请讲述其数据集的出处 \"https:\u002F\u002Fcodechina.csdn.net\u002FEricLee\u002Fhandpose_x\"    \n* 数据集读取脚本为：read_datasets.py,并需要相应更改脚本中的数据集路径。  \n\n## 模型   \n### 1、目前支持的模型 (backbone)\n\n- [x] resnet18 & resnet34 & resnet50 & resnet101\n- [x] squeezenet1_0 & squeezenet1_1\n- [x] ShuffleNet & ShuffleNetV2\n- [x] MobileNetV2\n- [x] rexnetv1\n- [x] shufflenet_v2_x1_5 ,shufflenet_v2_x1_0 , shufflenet_v2_x2_0 (torchvision 版本)\n\n### 2、预训练模型   \n\n* [预训练模型下载地址(百度网盘 Password: 99f3 )](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1Ur6Ikp31XGEuA3hQjYzwIw)        \n\n\n## 项目使用方法  \n### 模型训练  \n* 根目录下运行命令： python train.py       (注意脚本内相关参数配置 )   \n\n### 模型推理  \n* 根目录下运行命令： python inference.py        (注意脚本内相关参数配置 )   \n\n### onnx使用  \n* step1: 设定相关配置包括模型类型和模型参数路径，根目录下运行命令： python model2onnx.py        (注意脚本内相关参数配置 )\n* step2: 设定onnx模型路径，根目录下运行命令： python onnx_inference.py   (注意脚本内相关参数配置 )\n* 建议    \n```\n\n检测手bbox后，进行以下的预处理，crop手图片送入手关键点模型进行推理，   \n可以参考 hand_data_iter\u002Fdatasets.py,数据增强的样本预处理代码部分，   \n关键代码如下：     \n  img 为原图  ，np为numpy  \n  x_min,y_min,x_max,y_max,score = bbox  \n  w_ = max(abs(x_max-x_min),abs(y_max-y_min))  \n\n  w_ = w_*1.1  \n\n  x_mid = (x_max+x_min)\u002F2  \n  y_mid = (y_max+y_min)\u002F2  \n\n  x1,y1,x2,y2 = int(x_mid-w_\u002F2),int(y_mid-w_\u002F2),int(x_mid+w_\u002F2),int(y_mid+w_\u002F2)  \n\n  x1 = np.clip(x1,0,img.shape[1]-1)  \n  x2 = np.clip(x2,0,img.shape[1]-1)  \n\n  y1 = np.clip(y1,0,img.shape[0]-1)  \n  y2 = np.clip(y2,0,img.shape[0]-1)  \n\n```\n\n## 联系方式 （Contact）  \n* E-mails: 305141918@qq.com   \n","# HandPose X  \n手势 21 个关键点检测  ， handpose\n\n## 课程通知 \n*  ![手势交互课程 handpose_x](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXIAN-HHappy_handpose_x_readme_bac4debaaf07.png)\n\n## 如需更多的项目资源和落地方案，可以加入 “DataBall - X ”知识星球 free\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXIAN-HHappy_handpose_x_readme_b51166de2bfb.jpg\" width=\"30%\" alt=\"知识星球\">\n\n## Pinch_Index （交互选择射线）\n\n![video_pinch_line](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXIAN-HHappy_handpose_x_readme_b463f7688339.gif)   \n\n\n\n## 灵巧手\n\n![video_lqs1](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXIAN-HHappy_handpose_x_readme_090b2afe0239.gif)    \n\n## handposex plus 数据集\n* 加入知识星球，获取下载链接\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXIAN-HHappy_handpose_x_readme_a9e76a815269.gif\" width=\"100%\" alt=\"handposex plus\">\n\n## 重要更新\n### 添加 onnx runtime C++ 项目示例支持CPU&GPU，对应项目地址：\n* https:\u002F\u002Fgithub.com\u002FXIAN-HHappy\u002Fonnx_run\n### 添加 onnx 模块，预训练模型中有转好的resnet50-onnx模型，注意：目前不支持rexnetv1\n\n## 项目Wiki\n### 注意：项目的相关资料信息或是更新状态会同步到项目Wiki，以便更好的对该项目进行维护和不断发展，谢谢大家对该项目的关注！\n\n## 项目介绍   \n\n### Star History\n\n[![Star History Chart](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXIAN-HHappy_handpose_x_readme_ff1a3c3cd869.png)](https:\u002F\u002Fwww.star-history.com\u002F#XIAN-HHappy\u002Fhandpose_x&Date)\n\n注意：该项目不包括手部检测部分.\n该项目是对手的21个关键点进行检测，示例如下 ：    \n* 图片示例：  \n![image](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXIAN-HHappy_handpose_x_readme_f4bad8aa95c2.png)    \n* 视频示例：  \n![video](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXIAN-HHappy_handpose_x_readme_50c376937edd.gif)    \n\n## Demo小样    \n* 示例1 - 按键操作     \n  因为考虑到目前没有三维姿态不好识别按键按下三维动作，所以目前采用二维方式。    \n  该示例的原理：通过简单的IOU跟踪，对二维目标如手的边界框或是特定手指的较长时间位置稳定性判断确定触发按键动作的时刻，用特定指尖的二维坐标确定触发位置。    \n  （注意：目前示例并未添加到工程，后期整理后会进行发布，只是一个样例，同时希望同学们自己尝试写自己基于该项目的小应用。）     \n![keyboard](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXIAN-HHappy_handpose_x_readme_64df080adb6a.gif)  \n\n* 示例2 - 手势交互：指定区域物体识别      \n  该示例的出发点是希望通过手势指定用户想要识别的物体。那么就要选中物体的准确边界框才能达到理想识别效果。如果待识别目标边界框太大会引入背景干扰，太小又会时目标特征不完全。所以希望通过手势指定较准确的目标边界框。因为边界框涉及左上、右下两个二维坐标，所以通过两只手的特定指尖来确定。且触发逻辑与示例1相同。           \n  该示例的原理：通过简单的IOU跟踪，对二维目标如手的边界框或是特定手指的较长时间位置稳定性判断确定触发按键动作的时刻，用特定指尖的二维坐标确定触发位置。         \n  （注意：目前示例并未添加到工程，后期整理后会进行发布，只是一个样例，同时希望同学们自己尝试写自己基于该项目的小应用。）     \n  该示例依赖于另外一个物体识别分类项目。  \n\n![keyboard](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXIAN-HHappy_handpose_x_readme_de3fecc90a92.gif)    \n\n* 以下是对书上狗的图片进行分类识别的样例，同学们可以根据自己对应的物体识别分类需求替换对应的分类识别模型即可。    \n\n![recoobj_book](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXIAN-HHappy_handpose_x_readme_4ec5c02b11e4.gif)    \n* [该Demo完整视频](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1nb4y1R7Zh\u002F)       \n\n该物体识别分类项目的地址为：  https:\u002F\u002Fcodechina.csdn.net\u002FEricLee\u002Fclassification     \n\n* 示例3 - 静态手势     \n  通过手关键点的二维角度约束关系定义静态手势。  \n  示例中手势包括：fist five gun love one six three thumbup yeah    \n  目前该示例由于静态手势数据集的限制，目前用手骨骼的二维角度约束定义静态手势，原理如下图,计算向量AC和DE的角度，它们之间的角度大于某一个角度阈值（经验值）定义为弯曲，小于摸一个阈值（经验值）为伸直。    \n  注：这种静态手势识别的方法具有局限性，有条件还是通过模型训练的方法进行静态手势识别。   \n\n![gs](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXIAN-HHappy_handpose_x_readme_a5d90e5475bc.jpg)     \n\n  视频示例如下图：   \n![gesture](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXIAN-HHappy_handpose_x_readme_90c4e12e3114.gif)     \n\n* 示例4 - 静态手势交互（识别）      \n  通过手关键点的二维角度约束关系定义静态手势。     \n  该项目通过手势操作选择分类识别区域或是ocr识别区域，送入分类识别网络或是第三方web识别服务，亦或是检索数据库等应用。   \n\n  原理：通过二维约束获得静态手势，该示例是通过 食指伸直（one） 和 握拳（fist）分别代表范围选择和清空选择区域。    \n  建议最好还是通过分类模型做静态手势识别鲁棒和准确高，目前局限于静态手势训练集的问题用二维约束关系定义静态手势替代。    \n\n![ocrreco](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXIAN-HHappy_handpose_x_readme_dfd276587ab2.gif)       \n* [该Demo完整视频](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1Bb4y1R7sd\u002F)       \n\n## 项目配置  \n### 1、软件  \n* 作者开发环境：  \n* Python 3.7  \n* PyTorch >= 1.5.1  \n* opencv-python  \n### 2、硬件  \n* 普通USB彩色（RGB）网络摄像头    \n\n## 数据集   \n该数据集包括网络图片及数据集\u003C\u003CLarge-scale Multiview 3D Hand Pose Dataset>>筛选动作重复度低的部分图片，进行制作(如有侵权请联系删除)，共49062个样本。         \n\u003C\u003CLarge-scale Multiview 3D Hand Pose Dataset>>数据集，其官网地址 http:\u002F\u002Fwww.rovit.ua.es\u002Fdataset\u002Fmhpdataset\u002F       \n感谢《Large-scale Multiview 3D Hand Pose Dataset》数据集贡献者：Francisco Gomez-Donoso, Sergio Orts-Escolano, and Miguel Cazorla. \"Large-scale Multiview 3D Hand Pose Dataset\". ArXiv e-prints 1707.03742, July 2017.    \n\n* 标注文件示例：   \n![label](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXIAN-HHappy_handpose_x_readme_801a22382bd1.png)   \n\n* [该项目用到的制作数据集下载地址(百度网盘 Password: ara8 )](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1KY7lAFXBTfrFHlApxTY8NA)   \n\n* 如果使用该数据集并发布相关项目或网络资源文章等，请讲述其数据集的出处 \"https:\u002F\u002Fcodechina.csdn.net\u002FEricLee\u002Fhandpose_x\"    \n* 数据集读取脚本为：read_datasets.py,并需要相应更改脚本中的数据集路径。  \n\n## 模型   \n### 1、目前支持的模型 (backbone)\n\n- [x] resnet18 & resnet34 & resnet50 & resnet101\n- [x] squeezenet1_0 & squeezenet1_1\n- [x] ShuffleNet & ShuffleNetV2\n- [x] MobileNetV2\n- [x] rexnetv1\n- [x] shufflenet_v2_x1_5 ,shufflenet_v2_x1_0 , shufflenet_v2_x2_0 (torchvision 版本)\n\n### 2、预训练模型   \n\n* [预训练模型下载地址(百度网盘 Password: 99f3 )](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1Ur6Ikp31XGEuA3hQjYzwIw)        \n\n\n## 项目使用方法  \n### 模型训练  \n* 根目录下运行命令： python train.py       (注意脚本内相关参数配置 )   \n\n### 模型推理  \n* 根目录下运行命令： python inference.py        (注意脚本内相关参数配置 )   \n\n### onnx使用  \n* step1: 设定相关配置包括模型类型和模型参数路径，根目录下运行命令： python model2onnx.py        (注意脚本内相关参数配置 )\n* step2: 设定onnx模型路径，根目录下运行命令： python onnx_inference.py   (注意脚本内相关参数配置 )\n* 建议    \n```\n\n检测手bbox后，进行以下的预处理，crop手图片送入手关键点模型进行推理，   \n可以参考 hand_data_iter\u002Fdatasets.py,数据增强的样本预处理代码部分，   \n关键代码如下：     \n  img 为原图  ，np为numpy  \n  x_min,y_min,x_max,y_max,score = bbox  \n  w_ = max(abs(x_max-x_min),abs(y_max-y_min))  \n\n  w_ = w_*1.1  \n\n  x_mid = (x_max+x_min)\u002F2  \n  y_mid = (y_max+y_min)\u002F2  \n\n  x1,y1,x2,y2 = int(x_mid-w_\u002F2),int(y_mid-w_\u002F2),int(x_mid+w_\u002F2),int(y_mid+w_\u002F2)  \n\n  x1 = np.clip(x1,0,img.shape[1]-1)  \n  x2 = np.clip(x2,0,img.shape[1]-1)  \n\n  y1 = np.clip(y1,0,img.shape[0]-1)  \n  y2 = np.clip(y2,0,img.shape[0]-1)  \n\n```\n\n## 联系方式 （Contact）  \n* E-mails: 305141918@qq.com","# HandPose X 快速上手指南\n\nHandPose X 是一个专注于手部 21 个关键点检测的开源项目。它不包含手部检测（定位）部分，需先获取手部边界框（BBox），再送入本模型进行关键点推理。\n\n## 1. 环境准备\n\n### 系统要求\n- **操作系统**: Linux \u002F Windows \u002F macOS\n- **硬件**: 普通 USB 彩色（RGB）网络摄像头\n- **Python 版本**: Python 3.7+\n\n### 前置依赖\n请确保已安装以下核心库：\n- PyTorch >= 1.5.1\n- opencv-python\n- numpy\n\n建议国内开发者使用清华源或阿里源加速安装：\n```bash\npip install torch torchvision -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\npip install opencv-python numpy -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n## 2. 安装步骤\n\n1. **克隆项目代码**\n   ```bash\n   git clone https:\u002F\u002Fgithub.com\u002FXIAN-HHappy\u002Fhandpose_x.git\n   cd handpose_x\n   ```\n\n2. **下载预训练模型**\n   项目支持多种 Backbone（如 ResNet, MobileNetV2, ShuffleNet 等）。\n   - 下载地址（百度网盘）：[链接](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1Ur6Ikp31XGEuA3hQjYzwIw) (提取码: `99f3`)\n   - 将下载的 `.pth` 模型文件放置于项目根目录或配置脚本中指定的路径。\n\n3. **（可选）准备数据集**\n   如需重新训练，可下载处理后的数据集。\n   - 下载地址（百度网盘）：[链接](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1KY7lAFXBTfrFHlApxTY8NA) (提取码: `ara8`)\n   - 修改 `read_datasets.py` 中的数据集路径。\n\n## 3. 基本使用\n\n### 场景一：模型推理（直接测试）\n在根目录下运行推理脚本，请确保已在 `inference.py` 中配置好模型路径和图片\u002F视频输入源。\n\n```bash\npython inference.py\n```\n\n### 场景二：导出 ONNX 模型并推理\n项目支持导出 ONNX 模型以便在 C++ 或其他环境中部署（支持 CPU & GPU）。\n\n**步骤 1：转换模型**\n配置好模型类型和参数路径后，执行转换：\n```bash\npython model2onnx.py\n```\n*注意：目前预训练模型中包含转好的 `resnet50-onnx` 模型，暂不支持 `rexnetv1`。*\n\n**步骤 2：ONNX 推理**\n配置好生成的 ONNX 模型路径后，执行推理：\n```bash\npython onnx_inference.py\n```\n\n### 关键预处理逻辑\n**重要提示**：本项目仅负责关键点检测。在实际应用中，你需要先通过其他算法（如 YOLO, SSD 等）检测出手部的 BBox，然后按照以下逻辑裁剪图片再送入 HandPose X：\n\n```python\n# img 为原图 (numpy array)\n# bbox 格式：x_min, y_min, x_max, y_max, score\nx_min, y_min, x_max, y_max, score = bbox\n\n# 计算正方形裁剪区域，并扩大 1.1 倍以保留上下文\nw_ = max(abs(x_max - x_min), abs(y_max - y_min))\nw_ = w_ * 1.1\n\nx_mid = (x_max + x_min) \u002F 2\ny_mid = (y_max + y_min) \u002F 2\n\nx1, y1, x2, y2 = int(x_mid - w_\u002F2), int(y_mid - w_\u002F2), int(x_mid + w_\u002F2), int(y_mid + w_\u002F2)\n\n# 边界裁剪防止越界\nx1 = np.clip(x1, 0, img.shape[1]-1)\nx2 = np.clip(x2, 0, img.shape[1]-1)\ny1 = np.clip(y1, 0, img.shape[0]-1)\ny2 = np.clip(y2, 0, img.shape[0]-1)\n\n# 裁剪后的图像 crop_img 即可送入关键点模型\ncrop_img = img[y1:y2, x1:x2]\n```\n\n### 场景三：模型训练\n如需使用自定义数据训练，配置好 `train.py` 中的参数后运行：\n\n```bash\npython train.py\n```","某智慧展厅的开发团队正致力于构建一套无接触式互动导览系统，让参观者仅凭手势即可在数字展墙上框选文物详情或触发语音讲解。\n\n### 没有 handpose_x 时\n- **交互精度低**：传统方案仅能检测手部粗略位置，无法精准定位指尖坐标，导致用户难以精确框选屏幕上的小型文物图标。\n- **手势识别僵硬**：依赖简单的背景差分或颜色分割，无法区分“食指指向”、“握拳清空”等复杂静态手势，误触率极高。\n- **开发门槛高**：团队需自行收集海量数据并训练 21 个关键点模型，耗时数周且难以在普通 USB 摄像头上实现实时推理。\n- **抗干扰能力弱**：当背景光线变化或用户穿着肤色相近衣物时，追踪极易丢失，导致互动体验中断。\n\n### 使用 handpose_x 后\n- **像素级精准操控**：利用 handpose_x 输出的 21 个手部关键点，系统可实时锁定食指指尖坐标，实现毫米级的区域框选与射线交互。\n- **丰富手势语义**：通过计算关键点间的二维角度约束，轻松定义“食指伸直（选择）”与“握拳（重置）”等自然手势，无需额外训练分类模型。\n- **快速落地部署**：直接调用预训练的 ResNet50 ONNX 模型，在普通 CPU 环境下即可流畅运行，将原型开发周期从数周缩短至两天。\n- **鲁棒性显著提升**：基于深度学习的特征提取有效克服了光照变化和背景干扰，确保在展厅复杂光线下依然稳定追踪。\n\nhandpose_x 将复杂的计算机视觉算法封装为易用的关键点检测能力，让低成本摄像头也能拥有工业级的精细手势交互体验。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXIAN-HHappy_handpose_x_b463f768.gif","XIAN-HHappy","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FXIAN-HHappy_f95d6fcb.png",null,"https:\u002F\u002Fgithub.com\u002FXIAN-HHappy",[78],{"name":79,"color":80,"percentage":81},"Python","#3572A5",100,799,136,"2026-04-15T17:16:05","MIT","未说明","非必需。支持 CPU 运行；若使用 GPU，需配合 ONNX Runtime C++ 项目（参考外部链接），README 未指定具体显卡型号、显存或 CUDA 版本。",{"notes":89,"python":90,"dependencies":91},"1. 该项目仅包含手部 21 个关键点检测，不包含手部检测（bbox）部分，推理前需先获取手部边界框并裁剪图像。2. 提供多种骨干网络支持（如 ResNet, MobileNetV2, ShuffleNet 等），但注意 ONNX 模块目前不支持 rexnetv1。3. 静态手势识别示例基于二维角度约束，存在局限性，建议通过模型训练获得更高鲁棒性。4. 预训练模型和数据集需通过百度网盘下载。","3.7",[92,93,94],"PyTorch>=1.5.1","opencv-python","numpy",[15],"2026-03-27T02:49:30.150509","2026-04-19T09:38:42.962859",[],[]]