[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-isarandi--metrabs":3,"tool-isarandi--metrabs":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",143909,2,"2026-04-07T11:33:18",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,"2026-04-06T11:32:50",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":78,"owner_email":79,"owner_twitter":80,"owner_website":81,"owner_url":82,"languages":83,"stars":96,"forks":97,"last_commit_at":98,"license":99,"difficulty_score":32,"env_os":100,"env_gpu":101,"env_ram":100,"env_deps":102,"category_tags":108,"github_topics":111,"view_count":32,"oss_zip_url":120,"oss_zip_packed_at":120,"status":17,"created_at":121,"updated_at":122,"faqs":123,"releases":154},5225,"isarandi\u002Fmetrabs","metrabs","Estimate absolute 3D human poses from RGB images.","metrabs 是一款能够从普通 RGB 图片中精准估算人体绝对 3D 姿态的开源工具。与传统方法仅能输出相对比例的姿态不同，metrabs 的核心优势在于能还原具有真实物理尺度（Metric-Scale）的 3D 坐标，这意味着它能判断人物距离摄像头的实际远近及真实身高，而不仅仅是骨骼的相对位置。此外，它还具备强大的抗截断能力，即使画面中的人物被边缘切割或遮挡，依然能保持高精度的预测结果。\n\n该工具主要解决了单目图像在深度信息缺失和人体不完整情况下，难以重建真实世界尺度 3D 姿态的技术难题。凭借对多种数据集的融合训练及几何感知自编码器的应用，metrabs 在复杂场景下表现卓越，曾荣获 3DPW 挑战赛冠军。\n\nmetrabs 非常适合计算机视觉研究人员、AI 开发者以及需要高精度动作捕捉数据的工程师使用。项目提供了基于 TensorFlow 的独立模型，支持通过几行 Python 代码直接调用推理，同时也兼容 PyTorch 环境，并附带了 Google Colab 演示笔记本，方便用户快速上手验证。需要注意的是，受限于训练数据许可，目前模型仅限非商业用途。无论是用于行为分析、虚","metrabs 是一款能够从普通 RGB 图片中精准估算人体绝对 3D 姿态的开源工具。与传统方法仅能输出相对比例的姿态不同，metrabs 的核心优势在于能还原具有真实物理尺度（Metric-Scale）的 3D 坐标，这意味着它能判断人物距离摄像头的实际远近及真实身高，而不仅仅是骨骼的相对位置。此外，它还具备强大的抗截断能力，即使画面中的人物被边缘切割或遮挡，依然能保持高精度的预测结果。\n\n该工具主要解决了单目图像在深度信息缺失和人体不完整情况下，难以重建真实世界尺度 3D 姿态的技术难题。凭借对多种数据集的融合训练及几何感知自编码器的应用，metrabs 在复杂场景下表现卓越，曾荣获 3DPW 挑战赛冠军。\n\nmetrabs 非常适合计算机视觉研究人员、AI 开发者以及需要高精度动作捕捉数据的工程师使用。项目提供了基于 TensorFlow 的独立模型，支持通过几行 Python 代码直接调用推理，同时也兼容 PyTorch 环境，并附带了 Google Colab 演示笔记本，方便用户快速上手验证。需要注意的是，受限于训练数据许可，目前模型仅限非商业用途。无论是用于行为分析、虚拟人驱动还是机器人交互研究，metrabs 都是一个值得信赖的高效基线方案。","# MeTRAbs Absolute 3D Human Pose Estimator\n\n\u003Ca href=\"https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fisarandi\u002Fmetrabs\u002Fblob\u002Fmaster\u002Fmetrabs_demo.ipynb\" target=\"_parent\">\u003Cimg src=\"https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg\" alt=\"Open In Colab\"\u002F>\u003C\u002Fa>\u003Cbr>\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fmetrabs-metric-scale-truncation-robust\u002F3d-human-pose-estimation-on-3d-poses-in-the)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002F3d-human-pose-estimation-on-3d-poses-in-the?p=metrabs-metric-scale-truncation-robust)\n\n\u003Cp align=\"center\">\u003Cimg src=img\u002Fdemo.gif width=\"60%\">\u003C\u002Fp>\n\u003Cp align=\"center\">\u003Ca href=\"https:\u002F\u002Fyoutu.be\u002F4VFKiiW9RCQ\">\u003Cimg src=img\u002Fthumbnail_video_qual.png width=\"30%\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fyoutu.be\u002FBemM8-Lx47g\">\u003Cimg src=img\u002Fthumbnail_video_conf.png width=\"30%\">\u003C\u002Fa>\u003C\u002Fp>\n\nThis repository contains code for the following paper:\n\n**[MeTRAbs: Metric-Scale Truncation-Robust Heatmaps for Absolute 3D Human Pose Estimation](https:\u002F\u002Farxiv.org\u002Fabs\u002F2007.07227)** \u003Cbr>\n*by István Sárándi, Timm Linder, Kai O. Arras, Bastian Leibe*\u003Cbr>\nIEEE Transactions on Biometrics, Behavior, and Identity Science (T-BIOM), Selected Best Works From\nAutomated Face and Gesture Recognition 2020.\n\nThe repo has been updated to an improved version employed in the following paper: \n\n**[Learning 3D Human Pose Estimation from Dozens of Datasets using a Geometry-Aware Autoencoder to Bridge Between Skeleton Formats ](https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.14474)** \u003Cbr>\n*by István Sárándi, Alexander Hermans, Bastian Leibe*\u003Cbr>\nIEEE\u002FCVF Winter Conference on Applications of Computer Vision (WACV), 2023.\n\n\n## News\n\n* [2023-08-02] Major codebase refactoring, models as described in our [WACV'23 paper](https:\u002F\u002Fistvansarandi.com\u002Fdozens), several components factored out into separate repos, PyTorch support for inference, and more.\n* [2021-12-03] Added new backbones, including the ResNet family from ResNet-18 to ResNet-152\n* [2021-10-19] Released new best-performing [models](docs\u002FMODELS.md) based on EfficientNetV2 and super fast\n  ones using MobileNetV3, simplified [API](docs\u002FAPI.md), multiple skeleton conventions, support for\n  radial\u002Ftangential distortion, improved antialiasing, plausibility filtering and other new\n  features.\n* [2021-10-19] Full codebase migrated to TensorFlow 2 and Keras\n* [2020-11-19] Oral presentation at the IEEE Conference on Automatic Face and Gesture Recognition\n  (FG'20) ([Talk Video](https:\u002F\u002Fyoutu.be\u002FBemM8-Lx47g)\n  and [Slides](https:\u002F\u002Fvision.rwth-aachen.de\u002Fmedia\u002Fpapers\u002F203\u002Fslides_metrabs.pdf))\n* [2020-11-16] Training and evaluation code now released along with dataset pre-processing scripts!\n  Code and models upgraded to Tensorflow 2.\n* [2020-10-06] [Journal paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2007.07227) accepted for publication in the\n  IEEE Transactions on Biometrics, Behavior, and Identity Science (T-BIOM), Best of FG Special Issue\n* [2020-08-23] Short presentation at ECCV2020's 3DPW\n  workshop ([slides](https:\u002F\u002Fvision.rwth-aachen.de\u002Fmedia\u002Fpapers\u002F203\u002Fmetrabs_3dpw_slides.pdf))\n* [2020-08-06] Our method has won\n  the **[3DPW Challenge](https:\u002F\u002Fvirtualhumans.mpi-inf.mpg.de\u002F3DPW_Challenge\u002F)**\n\n## Inference Code\n\nWe release **standalone TensorFlow models** (SavedModel) to allow easy application in downstream\nresearch. After loading the model, you can run inference in a single line of Python **without having\nthis codebase as a dependency**. Try it in action in\n[Google Colab](\nhttps:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fisarandi\u002Fmetrabs\u002Fblob\u002Fmaster\u002Fmetrabs_demo.ipynb).\n\n### Gist of Usage\n\n```python\nimport tensorflow as tf\nimport tensorflow_hub as tfhub\n\nmodel = tfhub.load('https:\u002F\u002Fbit.ly\u002Fmetrabs_l')\nimage = tf.image.decode_jpeg(tf.io.read_file('img\u002Ftest_image_3dpw.jpg'))\npred = model.detect_poses(image)\npred['boxes'], pred['poses2d'], pred['poses3d']\n```\n\nSee also the [demos](demos\u002F) folder for more examples.\n\nNOTE: The models can only be used for **non-commercial** purposes due to the licensing of the used\ntraining datasets.\n\nAlternatively, you can try the experimental PyTorch version:\n\n```bash\nwget -O - https:\u002F\u002Fbit.ly\u002Fmetrabs_l_pt | tar -xzvf -\npython -m metrabs_pytorch.scripts.demo_image --model-dir metrabs_eff2l_384px_800k_28ds_pytorch --image img\u002Ftest_image_3dpw.jpg\n```\n\n### Demos\n\n* [```.\u002Fdemo.py```](demos\u002Fdemo.py) to auto-download the model, predict on a sample image and display the\n  result with Matplotlib or [PoseViz](https:\u002F\u002Fgithub.com\u002Fisarandi\u002Fposeviz) (if installed).\n* [```.\u002Fdemo_video.py```](demos\u002Fdemo_video.py)``` filepath-or-url-to-video.mp4``` to run inference on a video.\n\n### Documentation\n\n- **[How-to Guide with Examples](docs\u002FINFERENCE_GUIDE.md)**\n- **[Full API Reference](docs\u002FAPI.md)**\n\n### Feature Summary\n\n- **Several skeleton conventions** supported through the keyword argument ```skeleton``` (e.g. COCO,\n  SMPL, H36M)\n- **Multi-image (batched) and single-image** predictions both supported\n- **Advanced, parallelized cropping** logic behind the scenes\n    - Anti-aliasing through image pyramid and\n      supersampling, [gamma-correct rescaling](http:\u002F\u002Fwww.ericbrasseur.org\u002Fgamma.html).\n    - GPU-accelerated undistortion of pinhole perspective (homography) and radial\u002Ftangential lens\n      distortions\n- Estimates returned  in **3D world space** (when calibration is provided) and **2D pixel space**\n- Built-in, configurable **test-time augmentation** (TTA) with rotation, flip and brightness (keyword\n  argument ```num_aug``` sets the number of TTA crops per detection)\n- Automatic **suppression of implausible poses** and non-max suppression on the 3D pose level (can be turned off)\n- **Multiple backbones** with different speed-accuracy trade-off (EfficientNetV2, MobileNetV3)\n\n## Training and Evaluation\n\nSee the docs directory.\n\n## BibTeX\n\nIf you find this work useful in your research, please cite it as:\n\n```bibtex\n@article{sarandi2021metrabs,\n  title={{MeTRAbs:} Metric-Scale Truncation-Robust Heatmaps for Absolute 3{D} Human Pose Estimation},\n  author={S\\'ar\\'andi, Istv\\'an and Linder, Timm and Arras, Kai O. and Leibe, Bastian},\n  journal={IEEE Transactions on Biometrics, Behavior, and Identity Science},\n  year={2021},\n  volume={3},\n  number={1},\n  pages={16-30},\n  doi={10.1109\u002FTBIOM.2020.3037257}\n}\n```\n\nThe above paper is an extended journal version of the FG'2020 conference paper:\n\n```bibtex\n@inproceedings{Sarandi20FG,\n  title={Metric-Scale Truncation-Robust Heatmaps for 3{D} Human Pose Estimation},\n  author={S\\'ar\\'andi, Istv\\'an and Linder, Timm and Arras, Kai O. and Leibe, Bastian},\n  booktitle={IEEE International Conference on Automatic Face and Gesture Recognition},\n  pages={677-684},\n  year={2020}\n}\n```\n\nThe newer large-scale models correspond to the WACV'23 paper:\n\n```bibtex\n@inproceedings{Sarandi2023dozens,\n    author = {S\\'ar\\'andi, Istv\\'an and Hermans, Alexander and Leibe, Bastian},\n    title = {Learning {3D} Human Pose Estimation from Dozens of Datasets using a Geometry-Aware Autoencoder to Bridge Between Skeleton Formats},\n    booktitle = {IEEE\u002FCVF Winter Conference on Applications of Computer Vision (WACV)},\n    year = {2023}\n} \n```\n\n## Contact\n\nCode in this repository was written by [István Sárándi](https:\u002F\u002Fisarandi.github.io) (RWTH Aachen\nUniversity) unless indicated otherwise.\n\nGot any questions or feedback? Drop a mail to sarandi@vision.rwth-aachen.de!\n","# MeTRAbs 绝对 3D 人体姿态估计器\n\n\u003Ca href=\"https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fisarandi\u002Fmetrabs\u002Fblob\u002Fmaster\u002Fmetrabs_demo.ipynb\" target=\"_parent\">\u003Cimg src=\"https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg\" alt=\"在 Colab 中打开\"\u002F>\u003C\u002Fa>\u003Cbr>\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fmetrabs-metric-scale-truncation-robust\u002F3d-human-pose-estimation-on-3d-poses-in-the)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002F3d-human-pose-estimation-on-3d-poses-in-the?p=metrabs-metric-scale-truncation-robust)\n\n\u003Cp align=\"center\">\u003Cimg src=img\u002Fdemo.gif width=\"60%\">\u003C\u002Fp>\n\u003Cp align=\"center\">\u003Ca href=\"https:\u002F\u002Fyoutu.be\u002F4VFKiiW9RCQ\">\u003Cimg src=img\u002Fthumbnail_video_qual.png width=\"30%\">\u003C\u002Fa>\n\u003Ca href=\"https:\u002F\u002Fyoutu.be\u002FBemM8-Lx47g\">\u003Cimg src=img\u002Fthumbnail_video_conf.png width=\"30%\">\u003C\u002Fa>\u003C\u002Fp>\n\n本仓库包含以下论文的代码：\n\n**[MeTRAbs：用于绝对 3D 人体姿态估计的度量尺度截断鲁棒热图](https:\u002F\u002Farxiv.org\u002Fabs\u002F2007.07227)** \u003Cbr>\n*作者：伊斯特万·萨兰迪、蒂姆·林德、凯·O·阿拉斯、巴斯蒂安·莱贝*\u003Cbr>\nIEEE 生物特征、行为与身份科学汇刊（T-BIOM），自动人脸与手势识别 2020 年精选最佳成果。\n\n该仓库已更新至改进版本，应用于以下论文：\n\n**[利用几何感知自编码器桥接骨骼格式，从数十个数据集学习 3D 人体姿态估计](https:\u002F\u002Farxiv.org\u002Fabs\u002F2212.14474)** \u003Cbr>\n*作者：伊斯特万·萨兰迪、亚历山大·赫尔曼斯、巴斯蒂安·莱贝*\u003Cbr>\nIEEE\u002FCVF 计算机视觉应用冬季会议（WACV），2023 年。\n\n## 新闻\n\n* [2023-08-02] 大规模代码库重构，模型如我们在[WACV'23论文](https:\u002F\u002Fistvansarandi.com\u002Fdozens)中所述，多个组件被拆分到独立仓库，新增 PyTorch 推理支持等。\n* [2021-12-03] 增加了新的骨干网络，包括从 ResNet-18 到 ResNet-152 的 ResNet 系列。\n* [2021-10-19] 发布了基于 EfficientNetV2 的最新最优模型以及使用 MobileNetV3 的超快速模型，简化了[API](docs\u002FAPI.md)，支持多种骨骼约定，可处理径向\u002F切向畸变，改进了抗锯齿处理、合理性过滤等功能。\n* [2021-10-19] 整个代码库迁移到 TensorFlow 2 和 Keras。\n* [2020-11-19] 在 IEEE 自动人脸与手势识别会议（FG'20）上作口头报告（[演讲视频](https:\u002F\u002Fyoutu.be\u002FBemM8-Lx47g)和[幻灯片](https:\u002F\u002Fvision.rwth-aachen.de\u002Fmedia\u002Fpapers\u002F203\u002Fslides_metrabs.pdf))。\n* [2020-11-16] 训练与评估代码现已发布，并附带数据集预处理脚本！代码和模型升级至 Tensorflow 2。\n* [2020-10-06] [期刊论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2007.07227)被接受发表于 IEEE 生物特征、行为与身份科学汇刊（T-BIOM），FG 特别期最佳论文。\n* [2020-08-23] 在 ECCV2020 的 3DPW 工作坊上作了简短报告（[幻灯片](https:\u002F\u002Fvision.rwth-aachen.de\u002Fmedia\u002Fpapers\u002F203\u002Fmetrabs_3dpw_slides.pdf)）。\n* [2020-08-06] 我们的方法赢得了**[3DPW 挑战赛](https:\u002F\u002Fvirtualhumans.mpi-inf.mpg.de\u002F3DPW_Challenge\u002F)**。\n\n## 推理代码\n\n我们发布了**独立的 TensorFlow 模型**（SavedModel），以便于下游研究中的应用。加载模型后，您可以在一行 Python 代码中进行推理，**无需依赖本代码库**。您可以在[Google Colab](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fisarandi\u002Fmetrabs\u002Fblob\u002Fmaster\u002Fmetrabs_demo.ipynb)中试用。\n\n### 使用概要\n\n```python\nimport tensorflow as tf\nimport tensorflow_hub as tfhub\n\nmodel = tfhub.load('https:\u002F\u002Fbit.ly\u002Fmetrabs_l')\nimage = tf.image.decode_jpeg(tf.io.read_file('img\u002Ftest_image_3dpw.jpg'))\npred = model.detect_poses(image)\npred['boxes'], pred['poses2d'], pred['poses3d']\n```\n\n更多示例请参阅[demos\u002F](demos\u002F)文件夹。\n\n注意：由于所用训练数据集的许可限制，这些模型仅可用于**非商业用途**。\n\n或者，您可以尝试实验性的 PyTorch 版本：\n\n```bash\nwget -O - https:\u002F\u002Fbit.ly\u002Fmetrabs_l_pt | tar -xzvf -\npython -m metrabs_pytorch.scripts.demo_image --model-dir metrabs_eff2l_384px_800k_28ds_pytorch --image img\u002Ftest_image_3dpw.jpg\n```\n\n### 演示\n\n* [```.\u002Fdemo.py```](demos\u002Fdemo.py) 可自动下载模型，对示例图像进行预测，并使用 Matplotlib 或[PoseViz](https:\u002F\u002Fgithub.com\u002Fisarandi\u002Fposeviz)（若已安装）显示结果。\n* [```.\u002Fdemo_video.py```](demos\u002Fdemo_video.py) ```filepath-or-url-to-video.mp4``` 可对视频进行推理。\n\n### 文档\n\n- **[带有示例的使用指南](docs\u002FINFERENCE_GUIDE.md)**\n- **[完整 API 参考](docs\u002FAPI.md)**\n\n### 功能概览\n\n- 通过关键字参数 ```skeleton``` 支持**多种骨骼约定**（如 COCO、SMPL、H36M）。\n- 同时支持**多张图像（批量）和单张图像**预测。\n- 背后采用**先进的并行化裁剪**逻辑：\n    - 通过图像金字塔和超采样实现抗锯齿处理，以及[伽玛校正缩放](http:\u002F\u002Fwww.ericbrasseur.org\u002Fgamma.html)。\n    - GPU 加速的针孔透视（单应变换）及径向\u002F切向镜头畸变校正。\n- 估计结果以**3D 世界坐标系**（提供标定信息时）和**2D 像素坐标系**返回。\n- 内置可配置的**测试时增强**（TTA），包括旋转、翻转和亮度调整（关键字参数 ```num_aug``` 设置每次检测的 TTA 图像数量）。\n- 自动**抑制不合理姿态**，并在 3D 姿态层面进行非极大值抑制（可关闭）。\n- **多种骨干网络**，具有不同的速度-精度权衡（EfficientNetV2、MobileNetV3）。\n\n## 训练与评估\n\n请参阅 docs 目录。\n\n## BibTeX\n\n如果您在研究中使用了本工作，请按以下格式引用：\n\n```bibtex\n@article{sarandi2021metrabs,\n  title={{MeTRAbs:} 基于度量尺度且对截断鲁棒的热图用于绝对3{D}人体姿态估计},\n  author={S\\'ar\\'andi, Istv\\'an and Linder, Timm and Arras, Kai O. and Leibe, Bastian},\n  journal={IEEE生物特征、行为与身份科学汇刊},\n  year={2021},\n  volume={3},\n  number={1},\n  pages={16-30},\n  doi={10.1109\u002FTBIOM.2020.3037257}\n}\n```\n\n上述论文是 FG'2020 会议论文的扩展期刊版本：\n\n```bibtex\n@inproceedings{Sarandi20FG,\n  title={基于度量尺度且对截断鲁棒的热图用于3{D}人体姿态估计},\n  author={S\\'ar\\'andi, Istv\\'an and Linder, Timm and Arras, Kai O. and Leibe, Bastian},\n  booktitle={IEEE国际自动人脸与手势识别会议},\n  pages={677-684},\n  year={2020}\n}\n```\n\n较新的大规模模型对应于 WACV'23 论文：\n\n```bibtex\n@inproceedings{Sarandi2023dozens,\n    author = {S\\'ar\\'andi, Istv\\'an and Hermans, Alexander and Leibe, Bastian},\n    title = {利用几何感知自编码器桥接骨骼格式，从数十个数据集学习{3D}人体姿态估计},\n    booktitle = {IEEE\u002FCVF冬季计算机视觉应用会议（WACV）},\n    year = {2023}\n} \n```\n\n## 联系方式\n\n本仓库中的代码由 [István Sárándi](https:\u002F\u002Fisarandi.github.io)（亚琛工业大学）编写，除非另有说明。\n\n您有任何问题或反馈吗？请发送邮件至 sarandi@vision.rwth-aachen.de！","# MeTRAbs 快速上手指南\n\nMeTRAbs 是一个用于绝对 3D 人体姿态估计的开源工具，支持从单张图像或视频中提取具有真实尺度（Metric-Scale）的 3D 骨架数据。它具备抗截断、多骨架格式支持（如 COCO, SMPL, H36M）以及高性能推理等特点。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux 或 macOS (Windows 需通过 WSL2 运行)\n*   **Python**: 3.8 或更高版本\n*   **GPU**: 推荐使用 NVIDIA GPU 以加速推理（可选，CPU 亦可运行但速度较慢）\n*   **核心依赖**:\n    *   TensorFlow 2.x (官方主推版本)\n    *   PyTorch (实验性支持)\n    *   `tensorflow-hub`\n    *   `opencv-python` (用于视频处理)\n    *   `matplotlib` (用于可视化)\n\n建议创建一个独立的虚拟环境：\n```bash\npython -m venv metrabs_env\nsource metrabs_env\u002Fbin\u002Factivate  # Windows 用户使用: metrabs_env\\Scripts\\activate\n```\n\n安装基础依赖：\n```bash\npip install tensorflow tensorflow-hub opencv-python matplotlib\n# 如果使用 PyTorch 版本，请额外安装：\n# pip install torch torchvision\n```\n\n> **注意**：由于网络原因，国内用户安装 TensorFlow 或下载模型时可能较慢。建议使用清华源或阿里源加速 pip 安装：\n> `pip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple tensorflow tensorflow-hub`\n\n## 安装步骤\n\nMeTRAbs 的核心优势在于提供了独立的 **SavedModel**，您可以直接通过 TensorFlow Hub 加载预训练模型，无需克隆整个代码库即可进行推理。\n\n### 方案 A：直接使用 TensorFlow Hub（推荐）\n\n无需本地安装源码，直接在 Python 中加载云端模型。\n\n1.  确保已安装 `tensorflow` 和 `tensorflow-hub`。\n2.  模型将自动下载并缓存到本地（首次运行需联网）。\n\n### 方案 B：使用 PyTorch 实验版本\n\n如果您更习惯使用 PyTorch，可以下载转换后的模型文件。\n\n```bash\n# 下载并解压 PyTorch 模型\nwget -O - https:\u002F\u002Fbit.ly\u002Fmetrabs_l_pt | tar -xzvf -\n\n# 克隆仓库以获取演示脚本（仅用于运行 demo 脚本，非必须依赖）\ngit clone https:\u002F\u002Fgithub.com\u002Fisarandi\u002Fmetrabs.git\ncd metrabs\n```\n\n## 基本使用\n\n### 1. TensorFlow 版本（单行推理）\n\n这是最简单的使用方式。加载模型后，只需一行代码即可完成从图像读取到 3D 姿态预测的全过程。\n\n```python\nimport tensorflow as tf\nimport tensorflow_hub as tfhub\n\n# 加载预训练模型 (自动下载)\n# 可选模型标识：metrabs_l (大模型), metrabs_m (中模型), metrabs_s (小模型)\nmodel = tfhub.load('https:\u002F\u002Fbit.ly\u002Fmetrabs_l')\n\n# 读取并解码图像\nimage = tf.image.decode_jpeg(tf.io.read_file('img\u002Ftest_image_3dpw.jpg'))\n\n# 执行推理\npred = model.detect_poses(image)\n\n# 输出结果\n# boxes: 检测框坐标\n# poses2d: 2D 像素坐标\n# poses3d: 3D 世界坐标 (米为单位)\nprint(pred['boxes'], pred['poses2d'], pred['poses3d'])\n```\n\n### 2. PyTorch 版本（命令行演示）\n\n如果您使用了方案 B 安装了 PyTorch 模型，可以通过命令行直接对图片进行测试：\n\n```bash\npython -m metrabs_pytorch.scripts.demo_image --model-dir metrabs_eff2l_384px_800k_28ds_pytorch --image img\u002Ftest_image_3dpw.jpg\n```\n\n### 3. 进阶功能提示\n\n*   **视频处理**: 使用仓库中的 `demos\u002Fdemo_video.py` 脚本，传入视频路径或 URL 即可处理视频流。\n*   **多骨架格式**: 在调用 `detect_poses` 时，可通过参数 `skeleton` 指定输出格式（例如 `'coco'`, `'smpl'`, `'h36m'`）。\n*   **测试时增强 (TTA)**: 通过设置 `num_aug` 参数开启旋转、翻转等增强策略以提高精度。\n\n> **许可说明**：由于训练数据集的许可限制，下载的预训练模型仅限**非商业用途**使用。","某智能健身创业团队正在开发一款仅需手机摄像头即可纠正用户动作的居家健身 App，需要精准获取用户在三维空间中的肢体坐标。\n\n### 没有 metrabs 时\n- **缺乏真实尺度参考**：传统算法输出的 3D 姿态是相对比例，无法区分用户是在做小幅度的拉伸还是大幅度的深蹲，导致计数和幅度判定严重失准。\n- **抗遮挡能力弱**：当用户手臂交叉或身体部分被家具遮挡时，模型极易丢失关键点或产生肢体扭曲，造成纠错提示频繁误报。\n- **部署门槛高**：为了获得绝对尺度，往往需要额外引入深度相机（如 Kinect）或多视角标定，极大增加了硬件成本和用户的使用复杂度。\n- **数据格式混乱**：不同数据集的骨骼定义不一致，研发团队需耗费大量时间编写代码进行格式转换和对齐，拖慢了迭代速度。\n\n### 使用 metrabs 后\n- **直接输出米制单位**：metrabs 能直接从单张 RGB 图像中估算出具有真实物理尺度（米）的 3D 坐标，让 App 能精确计算用户的下蹲深度和关节角度。\n- **鲁棒性显著提升**：凭借对截断和遮挡的优化处理，即使用户半身被沙发遮挡或手臂重叠，metrabs 仍能稳定还原合理的骨骼结构，减少误判。\n- **纯视觉低成本方案**：无需任何深度传感器或复杂标定，仅凭普通手机摄像头即可运行，让用户随时随地都能开启专业级私教模式。\n- **开箱即用的集成**：通过 TensorFlow Hub 加载预训练模型，几行代码即可获取标准化的 2D\u002F3D 姿态数据，团队将原本两周的算法调试期缩短至半天。\n\nmetrabs 通过将单目视频转化为具备真实物理尺度的 3D 动作数据，让低成本设备也能实现专业级的运动捕捉与分析。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fisarandi_metrabs_0f02dadc.png","isarandi","István Sárándi","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fisarandi_4a0f58d9.jpg","Postdoc in computer vision and machine learning, making machines see people better","Real Virtual Humans, University of Tübingen","Tübingen, Germany","istvan.sarandi@uni-tuebingen.de","Istvan_Sarandi","IstvanSarandi.com","https:\u002F\u002Fgithub.com\u002Fisarandi",[84,88,92],{"name":85,"color":86,"percentage":87},"Python","#3572A5",52.2,{"name":89,"color":90,"percentage":91},"Jupyter Notebook","#DA5B0B",47.1,{"name":93,"color":94,"percentage":95},"Shell","#89e051",0.7,571,81,"2026-04-07T08:33:58","MIT","未说明","推理支持 GPU 加速（特别是去畸变和抗锯齿功能），但未明确指定必需的最小显存或具体型号；训练环境通常隐含需要 NVIDIA GPU",{"notes":103,"python":100,"dependencies":104},"该项目主要基于 TensorFlow 2 和 Keras，同时也提供了实验性的 PyTorch 版本。模型仅可用于非商业目的（受训练数据集许可限制）。支持多种骨架格式（如 COCO, SMPL, H36M）。提供独立的 SavedModel 以便在不依赖此代码库的情况下进行推理。",[105,106,107],"tensorflow>=2.0","tensorflow_hub","torch (可选，用于实验性 PyTorch 版本)",[109,15,14,110],"其他","视频",[112,113,114,115,116,117,118,119],"human-pose-estimation","tensorflow2","deep-learning","motion-capture","computer-vision","machine-learning","tensorflow","3d-human-pose",null,"2026-03-27T02:49:30.150509","2026-04-08T03:54:14.368225",[124,129,134,139,144,149],{"id":125,"question_zh":126,"answer_zh":127,"source_url":128},23699,"如何指定世界坐标系（World Coordinate）？如果不设置外参矩阵会发生什么？","如果不设置外参矩阵（extrinsic matrix），世界空间将默认等于相机空间。如果您希望定义一个不同于相机空间的世界空间，需要设置外参矩阵。在这种情况下，还需要在 `detect_poses` 函数和 `PoseViz` 构造函数中设置 `world_up` 参数。请注意，PoseViz 只是一个可视化工具，它本身不定义独立的世界空间。","https:\u002F\u002Fgithub.com\u002Fisarandi\u002Fmetrabs\u002Fissues\u002F52",{"id":130,"question_zh":131,"answer_zh":132,"source_url":133},23700,"MeTRAbs 是否直接输出 SMPL 格式的旋转参数或运动学骨架？","MeTRAbs 本身不估计旋转参数，它只估计关节点的位置坐标。该模型可以根据训练数据的不同，以多种格式（包括 SMPL 关节约定）输出关节位置，但不会直接输出旋转参数或完整的运动学骨架。如果您需要 SMPL 网格或内部关节位置，需要根据输出的关节点自行进行映射或后续处理。","https:\u002F\u002Fgithub.com\u002Fisarandi\u002Fmetrabs\u002Fissues\u002F80",{"id":135,"question_zh":136,"answer_zh":137,"source_url":138},23701,"运行 PyTorch 演示脚本时遇到 'DATA_ROOT' 环境变量缺失错误怎么办？","大多数代码都期望存在 `DATA_ROOT` 环境变量，即使其为空。您只需要设置该环境变量即可解决报错。所有必要的文件（如 `skeleton_infos.pkl`, `joint_transform_matrix.npy` 等）通常都包含在可下载的归档文件中。此外，注意 EfficientNet-M 模型仅在早期的 6 数据集组合上训练过，最新的 WACV'23 模型仅提供 S 和 L 变体的 PyTorch 版本。","https:\u002F\u002Fgithub.com\u002Fisarandi\u002Fmetrabs\u002Fissues\u002F72",{"id":140,"question_zh":141,"answer_zh":142,"source_url":143},23702,"运行视频演示脚本时报错找不到 ffmpeg 如何解决？","此问题通常与 TensorFlow 的依赖项有关，且独立于本仓库。您不必强制使用 TensorFlow 内置的 ffmpeg。解决方案是自行加载图像帧，例如使用 `imageio-ffmpeg` 库读取视频帧，然后将其输入模型进行处理。","https:\u002F\u002Fgithub.com\u002Fisarandi\u002Fmetrabs\u002Fissues\u002F67",{"id":145,"question_zh":146,"answer_zh":147,"source_url":148},23703,"尝试使用 TensorRT 优化模型时遇到段错误（segfault）或有兼容性问题怎么办？","如果在 Python 环境中使用 `tf-trt` 转换模型时遇到段错误，这通常是 Nvidia 侧或环境配置的问题。有用户反馈指出，Python 版本可能存在环境问题，但使用 C++ 版本配合 `tiny-tensorrt` 可以正常工作。建议尝试使用 Nvidia 推理引擎运行官方模型以排查是设置问题还是编译模型的问题。","https:\u002F\u002Fgithub.com\u002Fisarandi\u002Fmetrabs\u002Fissues\u002F26",{"id":150,"question_zh":151,"answer_zh":152,"source_url":153},23704,"是否有基于 3DPW 数据集训练的模型或相关评估结果？","作者已在新论文（WACV'23）中发布了在更多数据集上训练的更新、更好的模型。由于数据集、评估协议、指标和模型配置的组合非常多，GitHub 页面上仅展示了一部分精选结果。如果您需要特定数据集（如 3DPW、3DHP 或 MuPoTS）的具体评估结果（如 MPJPE\u002FPA-MPJPE），可以直接向作者询问，作者表示可以分享所需的各类评估数据。","https:\u002F\u002Fgithub.com\u002Fisarandi\u002Fmetrabs\u002Fissues\u002F48",[]]