[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-YuliangXiu--ICON":3,"tool-YuliangXiu--ICON":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":80,"owner_email":81,"owner_twitter":82,"owner_website":83,"owner_url":84,"languages":85,"stars":98,"forks":99,"last_commit_at":100,"license":101,"difficulty_score":102,"env_os":103,"env_gpu":104,"env_ram":103,"env_deps":105,"category_tags":118,"github_topics":119,"view_count":23,"oss_zip_url":139,"oss_zip_packed_at":139,"status":16,"created_at":140,"updated_at":141,"faqs":142,"releases":172},2665,"YuliangXiu\u002FICON","ICON","[CVPR'22] ICON: Implicit Clothed humans Obtained from Normals","ICON 是一款基于深度学习的开源项目，旨在从单张或多张人物照片中重建高精度的三维穿衣人体模型。它主要解决了传统方法难以在保留复杂衣物褶皱、宽松服饰细节的同时，准确还原人体姿态与几何形状的难题。通过利用法线图（Normals）作为中间表示，ICON 能够隐式地学习并生成逼真的三维网格，即使在衣物遮挡严重的情况下也能表现出色。\n\n该项目适合计算机视觉研究人员、3D 内容开发者以及数字人造型设计师使用。对于希望快速验证算法的研究者，官方提供了 Colab 笔记本和 Hugging Face 在线体验空间；对于开发者，项目基于 PyTorch 和 PyTorch Lightning 构建，代码结构清晰且已开放训练流程，便于二次开发与集成。\n\nICON 的核心技术亮点在于其“隐式表达”架构，不依赖显式的模板匹配，而是直接从图像特征推导三维几何，从而显著提升了对非刚性衣物变形的适应能力。此外，后续更新还引入了衣物细化模块，进一步增强了生成模型的纹理与结构真实感。作为 CVPR 2022 的接收论文成果，ICON 为虚拟试衣、元宇宙化身创建及影视特效制作提供了强有力的技术支撑。","\u003C!-- PROJECT LOGO -->\n\n\u003Cp align=\"center\">\n\n  \u003Ch1 align=\"center\">ICON: Implicit Clothed humans Obtained from Normals\u003C\u002Fh1>\n  \u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fps.is.tuebingen.mpg.de\u002Fperson\u002Fyxiu\">\u003Cstrong>Yuliang Xiu\u003C\u002Fstrong>\u003C\u002Fa>\n    ·\n    \u003Ca href=\"https:\u002F\u002Fps.is.tuebingen.mpg.de\u002Fperson\u002Fjyang\">\u003Cstrong>Jinlong Yang\u003C\u002Fstrong>\u003C\u002Fa>\n    ·\n    \u003Ca href=\"https:\u002F\u002Fps.is.mpg.de\u002F~dtzionas\">\u003Cstrong>Dimitrios Tzionas\u003C\u002Fstrong>\u003C\u002Fa>\n    ·\n    \u003Ca href=\"https:\u002F\u002Fps.is.tuebingen.mpg.de\u002Fperson\u002Fblack\">\u003Cstrong>Michael J. Black\u003C\u002Fstrong>\u003C\u002Fa>\n  \u003C\u002Fp>\n  \u003Ch2 align=\"center\">CVPR 2022\u003C\u002Fh2>\n  \u003Cdiv align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYuliangXiu_ICON_readme_4e1277b3b00b.gif\" alt=\"Logo\" width=\"100%\">\n  \u003C\u002Fdiv>\n\n  \u003Cp align=\"center\">\n  \u003Cbr>\n    \u003Ca href=\"https:\u002F\u002Fpytorch.org\u002Fget-started\u002Flocally\u002F\">\u003Cimg alt=\"PyTorch\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPyTorch-ee4c2c?logo=pytorch&logoColor=white\">\u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fpytorchlightning.ai\u002F\">\u003Cimg alt=\"Lightning\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-Lightning-792ee5?logo=pytorchlightning&logoColor=white\">\u003C\u002Fa>\n    \u003Ca href='https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1-AWeWhPvCTBX0KfMtgtMk10uPU05ihoA?usp=sharing' style='padding-left: 0.5rem;'>\u003Cimg src='https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg' alt='Google Colab'>\u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FYuliang\u002FICON\"  style='padding-left: 0.5rem;'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-orange'>\u003C\u002Fa>\u003Cbr>\u003C\u002Fbr>\n    \u003Ca href='https:\u002F\u002Farxiv.org\u002Fabs\u002F2112.09127'>\n      \u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPaper-PDF-green?style=for-the-badge&logo=arXiv&logoColor=green' alt='Paper PDF'>\n    \u003C\u002Fa>\n    \u003Ca href='https:\u002F\u002Ficon.is.tue.mpg.de\u002F' style='padding-left: 0.5rem;'>\n      \u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FICON-Page-orange?style=for-the-badge&logo=Google%20chrome&logoColor=orange' alt='Project Page'>\n    \u003Ca href=\"https:\u002F\u002Fdiscord.gg\u002FVqa7KBGRyk\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fdiscord\u002F940240966844035082?color=7289DA&labelColor=4a64bd&logo=discord&logoColor=white&style=for-the-badge\">\u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fyoutu.be\u002FhZd6AYin2DE\">\u003Cimg alt=\"youtube views\" title=\"Subscribe to my YouTube channel\" src=\"https:\u002F\u002Fimg.shields.io\u002Fyoutube\u002Fviews\u002FhZd6AYin2DE?logo=youtube&labelColor=ce4630&style=for-the-badge\"\u002F>\u003C\u002Fa>\n  \u003C\u002Fp>\n\u003C\u002Fp>\n\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\n## News :triangular_flag_on_post:\n\n- [2022\u002F12\u002F15] ICON belongs to the past, [ECON](https:\u002F\u002Fgithub.com\u002FYuliangXiu\u002FECON) is the future!\n- [2022\u002F09\u002F12] Apply [KeypointNeRF](https:\u002F\u002Fmarkomih.github.io\u002FKeypointNeRF\u002F) on ICON, quantitative numbers in [evaluation](docs\u002Fevaluation.md#benchmark-train-on-thuman20-test-on-cape)\n- [2022\u002F07\u002F30] \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FYuliang\u002FICON\"  style='padding-left: 0.5rem;'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-orange'>\u003C\u002Fa> \u003Ca href='https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1-AWeWhPvCTBX0KfMtgtMk10uPU05ihoA?usp=sharing' style='padding-left: 0.5rem;'>\u003Cimg src='https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg' alt='Google Colab'>\u003C\u002Fa> are both available\n- [2022\u002F07\u002F26] New cloth-refinement module is released, try `-loop_cloth`\n- [2022\u002F06\u002F13] ETH Zürich students from 3DV course create an add-on for [garment-extraction](docs\u002Fgarment-extraction.md)\n- [2022\u002F05\u002F16] \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FArthur151\u002FROMP\">BEV\u003C\u002Fa> is supported as optional HPS by \u003Ca href=\"https:\u002F\u002Fscholar.google.com\u002Fcitations?hl=en&user=fkGxgrsAAAAJ\">Yu Sun\u003C\u002Fa>, see [commit #060e265](https:\u002F\u002Fgithub.com\u002FYuliangXiu\u002FICON\u002Fcommit\u002F060e265bd253c6a34e65c9d0a5288c6d7ffaf68e)\n- [2022\u002F05\u002F15] Training code is released, please check [Training Instruction](docs\u002Ftraining.md)\n- [2022\u002F04\u002F26] \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FJeff-sjtu\u002FHybrIK\">HybrIK (SMPL)\u003C\u002Fa> is supported as optional HPS by \u003Ca href=\"https:\u002F\u002Fjeffli.site\u002F\">Jiefeng Li\u003C\u002Fa>, see [commit #3663704](https:\u002F\u002Fgithub.com\u002FYuliangXiu\u002FICON\u002Fcommit\u002F36637046dcbb5667cdfbee3b9c91b934d4c5dd05)\n- [2022\u002F03\u002F05] \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FYadiraF\u002FPIXIE\">PIXIE (SMPL-X)\u003C\u002Fa>, \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fmkocabas\u002FPARE\">PARE (SMPL)\u003C\u002Fa>, \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FHongwenZhang\u002FPyMAF\">PyMAF (SMPL)\u003C\u002Fa> are all supported as optional HPS\n\n\u003Cbr>\n\n\u003C!-- TABLE OF CONTENTS -->\n\u003Cdetails open=\"open\" style='padding: 10px; border-radius:5px 30px 30px 5px; border-style: solid; border-width: 1px;'>\n  \u003Csummary>Table of Contents\u003C\u002Fsummary>\n  \u003Col>\n    \u003Cli>\n      \u003Ca href=\"#who-needs-ICON\">Who needs ICON\u003C\u002Fa>\n    \u003C\u002Fli>\n    \u003Cli>\n      \u003Ca href=\"#instructions\">Instructions\u003C\u002Fa>\n    \u003C\u002Fli>\n    \u003Cli>\n      \u003Ca href=\"#running-demo\">Running Demo\u003C\u002Fa>\n    \u003C\u002Fli>\n    \u003Cli>\n      \u003Ca href=\"#citation\">Citation\u003C\u002Fa>\n    \u003C\u002Fli>\n  \u003C\u002Fol>\n\u003C\u002Fdetails>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\n## Who needs ICON?\n\n- If you want to **Train & Evaluate** on **PIFu \u002F PaMIR \u002F ICON** using your own data, please check [dataset.md](.\u002Fdocs\u002Fdataset.md) to prepare dataset, [training.md](.\u002Fdocs\u002Ftraining.md) for training, and [evaluation.md](.\u002Fdocs\u002Fevaluation.md) for benchmark evaluation.\n\n- Given a raw RGB image, you could get:\n  - image (png):\n    - segmented human RGB\n    - normal maps of body and cloth\n    - pixel-aligned normal-RGB overlap\n  - mesh (obj):\n    - SMPL-(X) body from _PyMAF, PIXIE, PARE, HybrIK, BEV_\n    - 3D clothed human reconstruction\n    - 3D garments (requires 2D mask)\n  - video (mp4):\n    - self-rotated clothed human\n\n|    ![Intermediate Results](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYuliangXiu_ICON_readme_c47d7dd94a5f.png)     |\n| :-------------------------------------------------------------: |\n|                  _ICON's intermediate results_                  |\n|         ![Iterative Refinement](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYuliangXiu_ICON_readme_9258feeb33bd.gif)          |\n|                  _ICON's SMPL Pose Refinement_                  |\n|             _![Final Results](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYuliangXiu_ICON_readme_6d240117a3ad.gif)_              |\n| _Image -- overlapped normal prediction -- ICON -- refined ICON_ |\n|                ![3D Garment](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYuliangXiu_ICON_readme_f9e06cfb6b6d.gif)                |\n|         _3D Garment extracted from ICON using 2D mask_          |\n\n\u003Cbr>\n\n## Instructions\n\n- See [docs\u002Finstallation.md](docs\u002Finstallation.md) to install all the required packages and setup the models\n- See [docs\u002Fdataset.md](docs\u002Fdataset.md) to synthesize the train\u002Fval\u002Ftest dataset from THuman2.0\n- See [docs\u002Ftraining.md](docs\u002Ftraining.md) to train your own model using THuman2.0\n- See [docs\u002Fevaluation.md](docs\u002Fevaluation.md) to benchmark trained models on CAPE testset\n- Add-on: [Garment Extraction from Fashion Images](docs\u002Fgarment-extraction.md), supported by ETH Zürich students as 3DV course project.\n\n\u003Cbr>\n\n## Running Demo\n\n```bash\ncd ICON\n\n# model_type:\n#   \"pifu\"            reimplemented PIFu\n#   \"pamir\"           reimplemented PaMIR\n#   \"icon-filter\"     ICON w\u002F global encoder (continous local wrinkles)\n#   \"icon-nofilter\"   ICON w\u002Fo global encoder (correct global pose)\n#   \"icon-keypoint\"   ICON w\u002F relative-spatial encoding (insight from KeypointNeRF)\n\npython -m apps.infer -cfg .\u002Fconfigs\u002Ficon-filter.yaml -gpu 0 -in_dir .\u002Fexamples -out_dir .\u002Fresults -export_video -loop_smpl 100 -loop_cloth 200 -hps_type pixie\n\n```\n\n## More Qualitative Results\n\n|              ![Comparison](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYuliangXiu_ICON_readme_566b72c31f1b.gif)               |\n| :----------------------------------------------------------: |\n|       _Comparison with other state-of-the-art methods_       |\n|              ![extreme](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYuliangXiu_ICON_readme_59c513de7e6d.png)              |\n| _Predicted normals on in-the-wild images with extreme poses_ |\n\n\u003Cbr\u002F>\n\u003Cbr\u002F>\n\n## Citation\n\n```bibtex\n@inproceedings{xiu2022icon,\n  title     = {{ICON}: {I}mplicit {C}lothed humans {O}btained from {N}ormals},\n  author    = {Xiu, Yuliang and Yang, Jinlong and Tzionas, Dimitrios and Black, Michael J.},\n  booktitle = {Proceedings of the IEEE\u002FCVF Conference on Computer Vision and Pattern Recognition (CVPR)},\n  month     = {June},\n  year      = {2022},\n  pages     = {13296-13306}\n}\n```\n\n## Acknowledgments\n\nWe thank [Yao Feng](https:\u002F\u002Fps.is.mpg.de\u002Fperson\u002Fyfeng), [Soubhik Sanyal](https:\u002F\u002Fps.is.mpg.de\u002Fperson\u002Fssanyal), [Qianli Ma](https:\u002F\u002Fps.is.mpg.de\u002Fperson\u002Fqma), [Xu Chen](https:\u002F\u002Fait.ethz.ch\u002Fpeople\u002Fxu\u002F), [Hongwei Yi](https:\u002F\u002Fps.is.mpg.de\u002Fperson\u002Fhyi), [Chun-Hao Paul Huang](https:\u002F\u002Fps.is.mpg.de\u002Fperson\u002Fchuang2), and [Weiyang Liu](https:\u002F\u002Fwyliu.com\u002F) for their feedback and discussions, [Tsvetelina Alexiadis](https:\u002F\u002Fps.is.mpg.de\u002Fperson\u002Ftalexiadis) for her help with the AMT perceptual study, [Taylor McConnell](https:\u002F\u002Fps.is.mpg.de\u002Fperson\u002Ftmcconnell) for her voice over, [Benjamin Pellkofer](https:\u002F\u002Fis.mpg.de\u002Fperson\u002Fbpellkofer) for webpage, and [Yuanlu Xu](https:\u002F\u002Fweb.cs.ucla.edu\u002F~yuanluxu\u002F)'s help in comparing with ARCH and ARCH++.\n\nSpecial thanks to [Vassilis Choutas](https:\u002F\u002Fps.is.mpg.de\u002Fperson\u002Fvchoutas) for sharing the code of [bvh-distance-queries](https:\u002F\u002Fgithub.com\u002FYuliangXiu\u002Fbvh-distance-queries)\n\nHere are some great resources we benefit from:\n\n- [MonoPortDataset](https:\u002F\u002Fgithub.com\u002FProject-Splinter\u002FMonoPortDataset) for Data Processing\n- [PaMIR](https:\u002F\u002Fgithub.com\u002FZhengZerong\u002FPaMIR), [PIFu](https:\u002F\u002Fgithub.com\u002Fshunsukesaito\u002FPIFu), [PIFuHD](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fpifuhd), and [MonoPort](https:\u002F\u002Fgithub.com\u002FProject-Splinter\u002FMonoPort) for Benchmark\n- [SCANimate](https:\u002F\u002Fgithub.com\u002Fshunsukesaito\u002FSCANimate) and [AIST++](https:\u002F\u002Fgithub.com\u002Fgoogle\u002Faistplusplus_api) for Animation\n- [rembg](https:\u002F\u002Fgithub.com\u002Fdanielgatis\u002Frembg) for Human Segmentation\n- [PyTorch-NICP](https:\u002F\u002Fgithub.com\u002Fwuhaozhe\u002Fpytorch-nicp) for normal-based non-rigid refinement\n- [smplx](https:\u002F\u002Fgithub.com\u002Fvchoutas\u002Fsmplx), [PARE](https:\u002F\u002Fgithub.com\u002Fmkocabas\u002FPARE), [PyMAF](https:\u002F\u002Fgithub.com\u002FHongwenZhang\u002FPyMAF), [PIXIE](https:\u002F\u002Fgithub.com\u002FYadiraF\u002FPIXIE), [BEV](https:\u002F\u002Fgithub.com\u002FArthur151\u002FROMP), and [HybrIK](https:\u002F\u002Fgithub.com\u002FJeff-sjtu\u002FHybrIK) for Human Pose & Shape Estimation\n- [CAPE](https:\u002F\u002Fgithub.com\u002Fqianlim\u002FCAPE) and [THuman](https:\u002F\u002Fgithub.com\u002FZhengZerong\u002FDeepHuman\u002Ftree\u002Fmaster\u002FTHUmanDataset) for Dataset\n- [PyTorch3D](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fpytorch3d) for Differential Rendering\n\nSome images used in the qualitative examples come from [pinterest.com](https:\u002F\u002Fwww.pinterest.com\u002F).\n\nThis project has received funding from the European Union’s Horizon 2020 research and innovation programme under the Marie Skłodowska-Curie grant agreement No.860768 ([CLIPE Project](https:\u002F\u002Fwww.clipe-itn.eu)).\n\n## Contributors\n\nKudos to all of our amazing contributors! ICON thrives through open-source. In that spirit, we welcome all kinds of contributions from the community.\n\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fyuliangxiu\u002FICON\u002Fgraphs\u002Fcontributors\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYuliangXiu_ICON_readme_d5d54c3677c7.png\" \u002F>\n\u003C\u002Fa>\n\n_Contributor avatars are randomly shuffled._\n\n---\n\n\u003Cbr>\n\n## License\n\nThis code and model are available for non-commercial scientific research purposes as defined in the [LICENSE](LICENSE) file. By downloading and using the code and model you agree to the terms in the [LICENSE](LICENSE).\n\n## Disclosure\n\nMJB has received research gift funds from Adobe, Intel, Nvidia, Meta\u002FFacebook, and Amazon. MJB has financial interests in Amazon, Datagen Technologies, and Meshcapade GmbH. While MJB was a part-time employee of Amazon during this project, his research was performed solely at, and funded solely by, the Max Planck Society.\n\n## Contact\n\nFor more questions, please contact icon@tue.mpg.de\n\nFor commercial licensing, please contact ps-licensing@tue.mpg.de\n","\u003C!-- 项目Logo -->\n\n\u003Cp align=\"center\">\n\n  \u003Ch1 align=\"center\">ICON：基于法线的隐式穿衣人体重建\u003C\u002Fh1>\n  \u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fps.is.tuebingen.mpg.de\u002Fperson\u002Fyxiu\">\u003Cstrong>Yuliang Xiu\u003C\u002Fstrong>\u003C\u002Fa>\n    ·\n    \u003Ca href=\"https:\u002F\u002Fps.is.tuebingen.mpg.de\u002Fperson\u002Fjyang\">\u003Cstrong>Jinlong Yang\u003C\u002Fstrong>\u003C\u002Fa>\n    ·\n    \u003Ca href=\"https:\u002F\u002Fps.is.mpg.de\u002F~dtzionas\">\u003Cstrong>Dimitrios Tzionas\u003C\u002Fstrong>\u003C\u002Fa>\n    ·\n    \u003Ca href=\"https:\u002F\u002Fps.is.tuebingen.mpg.de\u002Fperson\u002Fblack\">\u003Cstrong>Michael J. Black\u003C\u002Fstrong>\u003C\u002Fa>\n  \u003C\u002Fp>\n  \u003Ch2 align=\"center\">CVPR 2022\u003C\u002Fh2>\n  \u003Cdiv align=\"center\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYuliangXiu_ICON_readme_4e1277b3b00b.gif\" alt=\"Logo\" width=\"100%\">\n  \u003C\u002Fdiv>\n\n  \u003Cp align=\"center\">\n  \u003Cbr>\n    \u003Ca href=\"https:\u002F\u002Fpytorch.org\u002Fget-started\u002Flocally\u002F\">\u003Cimg alt=\"PyTorch\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPyTorch-ee4c2c?logo=pytorch&logoColor=white\">\u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fpytorchlightning.ai\u002F\">\u003Cimg alt=\"Lightning\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-Lightning-792ee5?logo=pytorchlightning&logoColor=white\">\u003C\u002Fa>\n    \u003Ca href='https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1-AWeWhPvCTBX0KfMtgtMk10uPU05ihoA?usp=sharing' style='padding-left: 0.5rem;'>\u003Cimg src='https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg' alt='Google Colab'>\u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FYuliang\u002FICON\"  style='padding-left: 0.5rem;'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-orange'>\u003C\u002Fa>\u003Cbr>\u003C\u002Fbr>\n    \u003Ca href='https:\u002F\u002Farxiv.org\u002Fabs\u002F2112.09127'>\n      \u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPaper-PDF-green?style=for-the-badge&logo=arXiv&logoColor=green' alt='Paper PDF'>\n    \u003C\u002Fa>\n    \u003Ca href='https:\u002F\u002Ficon.is.tue.mpg.de\u002F' style='padding-left: 0.5rem;'>\n      \u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FICON-Page-orange?style=for-the-badge&logo=Google%20chrome&logoColor=orange' alt='Project Page'>\n    \u003Ca href=\"https:\u002F\u002Fdiscord.gg\u002FVqa7KBGRyk\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fdiscord\u002F940240966844035082?color=7289DA&labelColor=4a64bd&logo=discord&logoColor=white&style=for-the-badge\">\u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fyoutu.be\u002FhZd6AYin2DE\">\u003Cimg alt=\"youtube views\" title=\"Subscribe to my YouTube channel\" src=\"https:\u002F\u002Fimg.shields.io\u002Fyoutube\u002Fviews\u002FhZd6AYin2DE?logo=youtube&labelColor=ce4630&style=for-the-badge\"\u002F>\u003C\u002Fa>\n  \u003C\u002Fp>\n\u003C\u002Fp>\n\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\n## 新闻 :triangular_flag_on_post:\n\n- [2022\u002F12\u002F15] ICON已成为过去，[ECON](https:\u002F\u002Fgithub.com\u002FYuliangXiu\u002FECON)才是未来！\n- [2022\u002F09\u002F12] 将[KeypointNeRF](https:\u002F\u002Fmarkomih.github.io\u002FKeypointNeRF\u002F)应用于ICON，在[evaluation](docs\u002Fevaluation.md#benchmark-train-on-thuman20-test-on-cape)中取得了量化结果\n- [2022\u002F07\u002F30] \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FYuliang\u002FICON\"  style='padding-left: 0.5rem;'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-orange'>\u003C\u002Fa> 和 \u003Ca href='https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1-AWeWhPvCTBX0KfMtgtMk10uPU05ihoA?usp=sharing' style='padding-left: 0.5rem;'>\u003Cimg src='https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg' alt='Google Colab'>\u003C\u002Fa> 均已上线\n- [2022\u002F07\u002F26] 发布了新的衣物细化模块，请尝试使用`-loop_cloth`\n- [2022\u002F06\u002F13] 苏黎世联邦理工学院3DV课程的学生为[garment-extraction](docs\u002Fgarment-extraction.md)创建了一个插件\n- [2022\u002F05\u002F16] \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FArthur151\u002FROMP\">BEV\u003C\u002Fa>由\u003Ca href=\"https:\u002F\u002Fscholar.google.com\u002Fcitations?hl=en&user=fkGxgrsAAAAJ\">Yu Sun\u003C\u002Fa>支持作为可选的人体姿态估计方法，详情请参见[commit #060e265](https:\u002F\u002Fgithub.com\u002FYuliangXiu\u002FICON\u002Fcommit\u002F060e265bd253c6a34e65c9d0a5288c6d7ffaf68e)\n- [2022\u002F05\u002F15] 训练代码已发布，请查看[Training Instruction](docs\u002Ftraining.md)\n- [2022\u002F04\u002F26] \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FJeff-sjtu\u002FHybrIK\">HybrIK (SMPL)\u003C\u002Fa>由\u003Ca href=\"https:\u002F\u002Fjeffli.site\u002F\">Jiefeng Li\u003C\u002Fa>支持作为可选的人体姿态估计方法，详情请参见[commit #3663704](https:\u002F\u002Fgithub.com\u002FYuliangXiu\u002FICON\u002Fcommit\u002F36637046dcbb5667cdfbee3b9c91b934d4c5dd05)\n- [2022\u002F03\u002F05] \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FYadiraF\u002FPIXIE\">PIXIE (SMPL-X)\u003C\u002Fa>, \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fmkocabas\u002FPARE\">PARE (SMPL)\u003C\u002Fa>, \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FHongwenZhang\u002FPyMAF\">PyMAF (SMPL)\u003C\u002Fa>均被支持为可选的人体姿态估计方法\n\n\u003Cbr>\n\n\u003C!-- 目录 -->\n\u003Cdetails open=\"open\" style='padding: 10px; border-radius:5px 30px 30px 5px; border-style: solid; border-width: 1px;'>\n  \u003Csummary>目录\u003C\u002Fsummary>\n  \u003Col>\n    \u003Cli>\n      \u003Ca href=\"#who-needs-ICON\">谁需要ICON\u003C\u002Fa>\n    \u003C\u002Fli>\n    \u003Cli>\n      \u003Ca href=\"#instructions\">使用说明\u003C\u002Fa>\n    \u003C\u002Fli>\n    \u003Cli>\n      \u003Ca href=\"#running-demo\">演示运行\u003C\u002Fa>\n    \u003C\u002Fli>\n    \u003Cli>\n      \u003Ca href=\"#citation\">引用\u003C\u002Fa>\n    \u003C\u002Fli>\n  \u003C\u002Fol>\n\u003C\u002Fdetails>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\n## 谁需要ICON？\n\n- 如果您希望使用自己的数据在**PIFu \u002F PaMIR \u002F ICON**上进行**训练和评估**，请查阅[dataset.md](.\u002Fdocs\u002Fdataset.md)准备数据集，[training.md](.\u002Fdocs\u002Ftraining.md)进行训练，以及[evaluation.md](.\u002Fdocs\u002Fevaluation.md)进行基准评估。\n\n- 给定一张原始RGB图像，您可以得到：\n  - 图像（png）：\n    - 分割出的人体RGB图像\n    - 身体和衣物的法线图\n    - 法线与RGB的像素级对齐叠加\n  - 网格（obj）：\n    - 由_PyMAF、PIXIE、PARE、HybrIK、BEV_生成的SMPL-(X)人体模型\n    - 3D穿衣人体重建\n    - 3D服装（需要2D掩码）\n  - 视频（mp4）：\n    - 自旋的穿衣人体\n\n|    ![中间结果](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYuliangXiu_ICON_readme_c47d7dd94a5f.png)     |\n| :-------------------------------------------------------------: |\n|                  _ICON的中间结果_                  |\n|         ![迭代细化](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYuliangXiu_ICON_readme_9258feeb33bd.gif)          |\n|                  _ICON的SMPL姿态细化_                  |\n|             _![最终结果](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYuliangXiu_ICON_readme_6d240117a3ad.gif)_              |\n| _图像 -- 叠加的法线预测 -- ICON -- 细化后的ICON_ |\n|                ![3D服装](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYuliangXiu_ICON_readme_f9e06cfb6b6d.gif)                |\n|         _从ICON中通过2D掩码提取的3D服装_          |\n\n\u003Cbr>\n\n## 使用说明\n\n- 请参阅[docs\u002Finstallation.md](docs\u002Finstallation.md)以安装所有必要的软件包并设置模型\n- 请参阅[docs\u002Fdataset.md](docs\u002Fdataset.md)以从THuman2.0合成训练\u002F验证\u002F测试数据集\n- 请参阅[docs\u002Ftraining.md](docs\u002Ftraining.md)以使用THuman2.0训练您自己的模型\n- 请参阅[docs\u002Fevaluation.md](docs\u002Fevaluation.md)以在CAPE测试集上评估训练好的模型\n- 插件：[时尚图像中的服装提取](docs\u002Fgarment-extraction.md)，由苏黎世联邦理工学院学生作为3DV课程项目支持。\n\n\u003Cbr>\n\n## 演示运行\n\n```bash\ncd ICON\n\n# model_type:\n#   \"pifu\"            重新实现的PIFu\n#   \"pamir\"           重新实现的PaMIR\n#   \"icon-filter\"     带全局编码器的ICON（连续的局部褶皱）\n#   \"icon-nofilter\"   不带全局编码器的ICON（校正全局姿态）\n#   \"icon-keypoint\"   带相对空间编码的ICON（来自KeypointNeRF的见解）\n\npython -m apps.infer -cfg .\u002Fconfigs\u002Ficon-filter.yaml -gpu 0 -in_dir .\u002Fexamples -out_dir .\u002Fresults -export_video -loop_smpl 100 -loop_cloth 200 -hps_type pixie\n\n```\n\n## 更多定性结果\n\n|              ![Comparison](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYuliangXiu_ICON_readme_566b72c31f1b.gif)               |\n| :----------------------------------------------------------: |\n|       _与其他最先进方法的对比_       |\n|              ![extreme](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYuliangXiu_ICON_readme_59c513de7e6d.png)              |\n| _在具有极端姿态的野外图像上预测的法线_ |\n\n\u003Cbr\u002F>\n\u003Cbr\u002F>\n\n## 引用\n\n```bibtex\n@inproceedings{xiu2022icon,\n  title     = {{ICON}: {I}mplicit {C}lothed humans {O}btained from {N}ormals},\n  author    = {Xiu, Yuliang and Yang, Jinlong and Tzionas, Dimitrios and Black, Michael J.},\n  booktitle = {Proceedings of the IEEE\u002FCVF Conference on Computer Vision and Pattern Recognition (CVPR)},\n  month     = {June},\n  year      = {2022},\n  pages     = {13296-13306}\n}\n```\n\n## 致谢\n\n我们感谢 [Yao Feng](https:\u002F\u002Fps.is.mpg.de\u002Fperson\u002Fyfeng)、[Soubhik Sanyal](https:\u002F\u002Fps.is.mpg.de\u002Fperson\u002Fssanyal)、[Qianli Ma](https:\u002F\u002Fps.is.mpg.de\u002Fperson\u002Fqma)、[Xu Chen](https:\u002F\u002Fait.ethz.ch\u002Fpeople\u002Fxu\u002F)、[Hongwei Yi](https:\u002F\u002Fps.is.mpg.de\u002Fperson\u002Fhyi)、[Chun-Hao Paul Huang](https:\u002F\u002Fps.is.mpg.de\u002Fperson\u002Fchuang2) 和 [Weiyang Liu](https:\u002F\u002Fwyliu.com\u002F) 提供的反馈和讨论；感谢 [Tsvetelina Alexiadis](https:\u002F\u002Fps.is.mpg.de\u002Fperson\u002Ftalexiadis) 在 AMT 感知研究方面的帮助；感谢 [Taylor McConnell](https:\u002F\u002Fps.is.mpg.de\u002Fperson\u002Ftmcconnell) 的配音；感谢 [Benjamin Pellkofer](https:\u002F\u002Fis.mpg.de\u002Fperson\u002Fbpellkofer) 负责网页设计；以及感谢 [Yuanlu Xu](https:\u002F\u002Fweb.cs.ucla.edu\u002F~yuanluxu\u002F) 在与 ARCH 和 ARCH++ 对比方面提供的帮助。\n\n特别感谢 [Vassilis Choutas](https:\u002F\u002Fps.is.mpg.de\u002Fperson\u002Fvchoutas) 分享了 [bvh-distance-queries](https:\u002F\u002Fgithub.com\u002FYuliangXiu\u002Fbvh-distance-queries) 的代码。\n\n以下是一些我们受益匪浅的重要资源：\n\n- [MonoPortDataset](https:\u002F\u002Fgithub.com\u002FProject-Splinter\u002FMonoPortDataset) 用于数据处理。\n- [PaMIR](https:\u002F\u002Fgithub.com\u002FZhengZerong\u002FPaMIR)、[PIFu](https:\u002F\u002Fgithub.com\u002Fshunsukesaito\u002FPIFu)、[PIFuHD](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fpifuhd) 和 [MonoPort](https:\u002F\u002Fgithub.com\u002FProject-Splinter\u002FMonoPort) 用于基准测试。\n- [SCANimate](https:\u002F\u002Fgithub.com\u002Fshunsukesaito\u002FSCANimate) 和 [AIST++](https:\u002F\u002Fgithub.com\u002Fgoogle\u002Faistplusplus_api) 用于动画制作。\n- [rembg](https:\u002F\u002Fgithub.com\u002Fdanielgatis\u002Frembg) 用于人体分割。\n- [PyTorch-NICP](https:\u002F\u002Fgithub.com\u002Fwuhaozhe\u002Fpytorch-nicp) 用于基于法线的非刚性精修。\n- [smplx](https:\u002F\u002Fgithub.com\u002Fvchoutas\u002Fsmplx)、[PARE](https:\u002F\u002Fgithub.com\u002Fmkocabas\u002FPARE)、[PyMAF](https:\u002F\u002Fgithub.com\u002FHongwenZhang\u002FPyMAF)、[PIXIE](https:\u002F\u002Fgithub.com\u002FYadiraF\u002FPIXIE)、[BEV](https:\u002F\u002Fgithub.com\u002FArthur151\u002FROMP) 和 [HybrIK](https:\u002F\u002Fgithub.com\u002FJeff-sjtu\u002FHybrIK) 用于人体姿态和形状估计。\n- [CAPE](https:\u002F\u002Fgithub.com\u002Fqianlim\u002FCAPE) 和 [THuman](https:\u002F\u002Fgithub.com\u002FZhengZerong\u002FDeepHuman\u002Ftree\u002Fmaster\u002FTHUmanDataset) 用于数据集。\n- [PyTorch3D](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fpytorch3d) 用于微分渲染。\n\n定性示例中使用的一些图片来自 [pinterest.com](https:\u002F\u002Fwww.pinterest.com\u002F)。\n\n本项目获得了欧盟“地平线2020”研究与创新计划下玛丽·斯克沃多夫斯卡-居里资助协议第860768号（[CLIPE项目](https:\u002F\u002Fwww.clipe-itn.eu)）的支持。\n\n## 贡献者\n\n向所有杰出的贡献者致敬！ICON 依靠开源得以蓬勃发展。秉承这一精神，我们欢迎社区的各种贡献。\n\n\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fyuliangxiu\u002FICON\u002Fgraphs\u002Fcontributors\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYuliangXiu_ICON_readme_d5d54c3677c7.png\" \u002F>\n\u003C\u002Fa>\n\n_贡献者头像随机排列。_\n\n---\n\n\u003Cbr>\n\n## 许可证\n\n本代码和模型仅可用于 [LICENSE](LICENSE) 文件中定义的非商业性科学研究目的。下载并使用该代码和模型即表示您同意 [LICENSE](LICENSE) 中的条款。\n\n## 披露\n\nMJB 曾收到来自 Adobe、Intel、Nvidia、Meta\u002FFacebook 和 Amazon 的研究捐赠资金。MJB 在 Amazon、Datagen Technologies 和 Meshcapade GmbH 拥有经济利益。尽管 MJB 在本项目期间曾是 Amazon 的兼职员工，但其研究工作完全在马克斯·普朗克学会进行，并由该学会全额资助。\n\n## 联系方式\n\n如有更多问题，请联系 icon@tue.mpg.de。\n\n如需商业授权，请联系 ps-licensing@tue.mpg.de。","# ICON 快速上手指南\n\nICON (Implicit Clothed humans Obtained from Normals) 是一个基于单张 RGB 图像重建三维穿衣人体网格的开源项目。本指南将帮助你快速在本地部署并运行演示。\n\n## 1. 环境准备\n\n在开始之前，请确保你的系统满足以下要求：\n\n*   **操作系统**: Linux (推荐 Ubuntu 18.04\u002F20.04)\n*   **GPU**: NVIDIA 显卡 (支持 CUDA)，显存建议 8GB 以上\n*   **Python**: 3.8 或更高版本\n*   **前置依赖**:\n    *   PyTorch (需匹配你的 CUDA 版本)\n    *   PyTorch Lightning\n    *   Git, CMake, Build-essential\n\n**国内加速建议**：\n在安装 Python 依赖时，推荐使用清华或阿里镜像源以加快下载速度：\n```bash\npip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n## 2. 安装步骤\n\n### 第一步：克隆项目\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FYuliangXiu\u002FICON.git\ncd ICON\n```\n\n### 第二步：创建虚拟环境并安装依赖\n建议使用 Conda 管理环境（如未安装，请先安装 Miniconda）：\n\n```bash\n# 创建名为 icon 的环境，指定 Python 3.8\nconda create -n icon python=3.8 -y\nconda activate icon\n\n# 安装 PyTorch (请根据实际 CUDA 版本调整，此处以 CUDA 11.3 为例)\n# 国内用户可使用清华源加速\npip install torch torchvision torchaudio --extra-index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu113 -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n\n# 安装 PyTorch Lightning\npip install pytorch-lightning -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n\n# 安装项目其他依赖\npip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n### 第三步：下载预训练模型与数据\n项目需要下载预训练权重和部分基础数据。请运行官方提供的脚本（需科学上网或自行寻找镜像）：\n\n```bash\n# 下载模型和数据 (脚本内部包含 wget 命令)\nbash scripts\u002Fdownload_models.sh\nbash scripts\u002Fdownload_data.sh\n```\n*注意：如果下载速度慢，可手动打开 `scripts\u002Fdownload_models.sh` 查看链接，使用迅雷或国内代理下载后放入对应目录。*\n\n### 第四步：安装额外依赖 (如需)\n如果涉及网格处理或特定渲染功能，可能需要编译部分 C++ 扩展：\n```bash\npip install git+https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fpytorch3d.git@stable -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n## 3. 基本使用\n\n安装完成后，你可以直接使用示例图片进行推理测试。以下命令将读取 `.\u002Fexamples` 目录下的图片，生成 3D 模型 (.obj) 和旋转视频 (.mp4)。\n\n**运行演示命令：**\n\n```bash\ncd ICON\n\npython -m apps.infer -cfg .\u002Fconfigs\u002Ficon-filter.yaml -gpu 0 -in_dir .\u002Fexamples -out_dir .\u002Fresults -export_video -loop_smpl 100 -loop_cloth 200 -hps_type pixie\n```\n\n**参数说明：**\n*   `-cfg`: 配置文件，`icon-filter` 适用于保留衣物褶皱细节，`icon-nofilter` 适用于修正全局姿态。\n*   `-in_dir`: 输入图片目录（支持单张或多张 RGB 图像）。\n*   `-out_dir`: 输出结果目录。\n*   `-export_video`: 生成人体自旋转视频。\n*   `-hps_type`: 人体姿态估计模型类型，可选 `pixie`, `pare`, `pymaf`, `hybrik`, `bev` 等（默认推荐 `pixie`）。\n*   `-loop_smpl` \u002F `-loop_cloth`: 迭代优化次数，数值越高细节越好但耗时越长。\n\n**输出结果：**\n运行结束后，请在 `.\u002Fresults` 目录下查看：\n*   `xxx_normal.png`: 预测的法线图\n*   `xxx_icon.obj`: 重建的 3D 穿衣人体网格\n*   `xxx_icon.mp4`: 3D 模型旋转展示视频","某虚拟时尚初创团队需要快速将网红博主的单人照片转化为高保真 3D 数字人模型，用于元宇宙秀场的服装展示。\n\n### 没有 ICON 时\n- **几何细节丢失严重**：传统基于 SMPL 参数化的方法只能生成光滑的“塑料感”人体，完全无法还原衣物褶皱、裙摆纹理等高频几何细节。\n- **依赖昂贵硬件与漫长流程**：若要获得精细模型，必须搭建多视角相机阵列进行扫描，或使用耗时数小时的神经辐射场（NeRF）训练，无法满足“当日出图”的运营需求。\n- **拓扑结构难以复用**：生成的网格拓扑混乱，无法直接绑定标准骨骼动画，导致模型只能静态展示，无法让虚拟人走秀或跳舞。\n- **单图重建能力缺失**：现有开源方案大多严格要求多视角输入，面对社交媒体上仅有的单张正面照片时束手无策。\n\n### 使用 ICON 后\n- **隐式场还原衣物质感**：ICON 利用法线图引导隐式表示，能从单张照片中精准推断并重建出复杂的衣物褶皱和宽松轮廓，视觉效果逼近真实扫描。\n- **单图分钟级快速生成**：无需多视角设备，仅需一张普通 RGB 照片，配合预训练权重即可在消费级显卡上几分钟内完成高保真建模。\n- **原生兼容标准动画管线**：输出的模型自动对齐 SMPL 拓扑结构，可直接导入 Maya 或 Unity 绑定骨骼，瞬间让静态照片变成可驱动的动态数字人。\n- **大幅降低数据采集门槛**：彻底摆脱了对专业扫描棚的依赖，运营人员直接抓取网络图片即可批量生产高质量的 3D 资产。\n\nICON 成功打破了单目图像到可动画化高保真 3D 人体的技术壁垒，让数字人内容生产从“实验室重资产模式”转向了“轻量级规模化应用”。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FYuliangXiu_ICON_c47d7dd9.png","YuliangXiu","Yuliang Xiu","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FYuliangXiu_45b35d81.jpg","Assistant Professor at Westlake University, Graphics & Vision, Digital Humans","Westlake University","Hangzhou","xiuyuliang@westlake.edu.cn","yuliangxiu","https:\u002F\u002Fxiuyuliang.cn","https:\u002F\u002Fgithub.com\u002FYuliangXiu",[86,90,94],{"name":87,"color":88,"percentage":89},"Python","#3572A5",97.9,{"name":91,"color":92,"percentage":93},"GLSL","#5686a5",1.5,{"name":95,"color":96,"percentage":97},"Shell","#89e051",0.6,1661,222,"2026-04-02T14:36:11","NOASSERTION",4,"未说明","需要 NVIDIA GPU (运行命令示例中包含 -gpu 参数)，具体型号和显存大小未说明",{"notes":106,"python":103,"dependencies":107},"该项目支持多种人体姿态估计模型（HPS）作为可选后端，包括 PIXIE, PARE, PyMAF, HybrIK, BEV。运行演示时需要下载预训练模型。详细的环境安装步骤请参考项目文档 docs\u002Finstallation.md。项目主要用于从单张 RGB 图像重建穿着衣服的 3D 人体模型。",[108,109,110,111,112,113,114,115,116,117],"PyTorch","PyTorch Lightning","smplx","PyTorch3D","rembg","PARE","PyMAF","PIXIE","HybrIK","BEV",[13,52,54,14],[120,121,122,123,124,125,126,110,127,128,129,130,131,132,133,134,135,136,137,138],"implicit-functions","virtual-humans","computer-vision","computer-graphics","animation","3d-reconstruction","human-pose-estimation","smpl-model","normal-maps","mesh-deformation","pytorch","metaverse","pifu","pifuhd","cloth-simulation","pose-estimation","avatar-generator","smpl-body","smpl",null,"2026-03-27T02:49:30.150509","2026-04-06T07:12:46.440089",[143,148,153,158,163,168],{"id":144,"question_zh":145,"answer_zh":146,"source_url":147},12361,"ICON 项目推荐的 PyTorch 版本是多少？依赖库需要如何管理？","建议使用与作者测试环境一致的 PyTorch 版本（具体版本可参考项目 Issue 中的截图，通常为较新的稳定版）。关键原则是：`bvh` 和 `PyTorch3D` 等库紧密依赖特定的 PyTorch 版本，因此每次更改 PyTorch 版本后，必须卸载并重新安装这些依赖库，否则会导致运行时错误。","https:\u002F\u002Fgithub.com\u002FYuliangXiu\u002FICON\u002Fissues\u002F13",{"id":149,"question_zh":150,"answer_zh":151,"source_url":152},12356,"运行渲染脚本时遇到 'OpenGL.raw.EGL._errors.EGLError: EGL_NOT_INITIALIZED' 错误如何解决？","可以通过修改代码或设置环境变量来解决。方法一：将代码中的 `egl_display = egl.eglGetDisplay(egl.EGL_DEFAULT_DISPLAY)` 替换为 `egl_display = create_initialized_headless_egl_display()`（参考 PIFu 项目的修复方案）。方法二：设置环境变量 `export PYOPENGL_PLATFORM=egl` 和 `export MESA_GL_VERSION_OVERRIDE=3.3`，并将 `render_single.py` 第 115 行的 `ms_rate` 参数从 16 改为 1.0。","https:\u002F\u002Fgithub.com\u002FYuliangXiu\u002FICON\u002Fissues\u002F60",{"id":154,"question_zh":155,"answer_zh":156,"source_url":157},12357,"运行渲染任务时出现 'ValueError: ctypes objects containing pointers cannot be pickled' 错误且进度卡住怎么办？","这是一个多进程序列化问题。尝试将渲染脚本中的 `PROC_PER_GPU` 设置为 0，并将 `NUM_GPUS` 设置为 1 以禁用多进程渲染。如果仍然卡住，请检查是否已正确配置头显模式（headless mode）及 OpenGL 环境（参考 EGL 初始化错误的解决方案）。","https:\u002F\u002Fgithub.com\u002FYuliangXiu\u002FICON\u002Fissues\u002F217",{"id":159,"question_zh":160,"answer_zh":161,"source_url":162},12358,"如何将 ICON 输出的 SMPL 参数转换为 SCANimate 所需的格式？","ICON 保存的旋转参数格式（23*6）与 SCANimate 需要的格式（23*3*3）不同。请使用项目提供的 `lib\u002Fpixielib\u002Futils\u002Frotation_converter.py` 脚本进行角度转换，将轴角表示转换为旋转矩阵格式以满足 SCANimate 的输入要求。","https:\u002F\u002Fgithub.com\u002FYuliangXiu\u002FICON\u002Fissues\u002F17",{"id":164,"question_zh":165,"answer_zh":166,"source_url":167},12359,"下载预训练模型时遇到 Google Drive 连接超时（ConnectionError）如何解决？","该错误通常是因为无法从 Google Drive 下载 rembg 所需的 `u2net.pth` 模型。解决方法：1. 安装特定版本的 rembg：`pip install rembg==1.0.27`；2. 手动下载模型文件（链接：https:\u002F\u002Fdocs.google.com\u002Fuc?export=download&id=1ao1ovG1Qtx4b7EoskHXmi2E9rp5CHLcZ）；3. 将下载的文件放入 `~\u002F.u2net\u002F` 目录下（注意目录名称是 `.u2net` 而不是 `.u2net\u002Fu2net`）。","https:\u002F\u002Fgithub.com\u002FYuliangXiu\u002FICON\u002Fissues\u002F36",{"id":169,"question_zh":170,"answer_zh":171,"source_url":147},12360,"运行 ICON 推理时遇到 CUDA 版本不匹配或 'invalid device ordinal' 错误如何处理？","作者已用 `PyTorch3D+Kaolin` 替换了旧的 `bvh-distance-queries`，不再强制限制 CUDA 11.0。如果遇到架构不匹配问题，请在安装 PyTorch 相关包之前设置环境变量：`export TORCH_CUDA_ARCH_LIST=\"8.0\"`。此外，如果更改了 PyTorch 版本，请务必重新安装 bvh 或 PyTorch3D 库以确保依赖兼容。",[173,178,183,188],{"id":174,"version":175,"summary_zh":176,"released_at":177},62713,"v.1.1.0","重要更新：\n- 支持常规的网络训练\n- 在 Hugging Face Space 上部署了新的交互式演示\n- Google Colab 环境搭建更加高效快捷\n- 优化了服装精细化模块\n- 修复了多个 bug，并重构了一些代码混乱的函数","2022-08-05T19:02:34",{"id":179,"version":180,"summary_zh":181,"released_at":182},62714,"v.1.0.0","首个稳定版本（ICON v.1.0.0）发布！\r\n\r\n- 数据集：支持 THuman2.0\r\n- 推理：支持 PyMAF、PIXIE、PARE、HybrIK、BEV\r\n- 训练与评估：支持 PIFu、PaMIR、ICON\r\n- 附加功能：从时尚图片中提取服装","2022-06-15T23:04:03",{"id":184,"version":185,"summary_zh":186,"released_at":187},62715,"v.1.0.0-rc2","一些更新：\n- 支持 HPS：PyMAF（SMPL）、PARE（SMPL）、PIXIE（SMPL-X）\n- 支持 Google Colab\n- 使用 PyTorch3D 和 Kaolin 替代 `bvh-distance-queries`，以提升 CUDA 兼容性\n- 修复了一些问题","2022-03-07T23:20:36",{"id":189,"version":190,"summary_zh":191,"released_at":192},62716,"v.1.0.0-rc1","ICON 的首次提交：\n\n- 基于图像的推理代码\n- ICON 的预训练模型，包括 PIFu* 和 PaMIR*（*: 自行实现）\n- 官网：https:\u002F\u002Ficon.is.tue.mpg.de","2022-01-30T19:10:42"]