[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-mhamilton723--FeatUp":3,"tool-mhamilton723--FeatUp":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",153609,2,"2026-04-13T11:34:59",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":78,"owner_email":79,"owner_twitter":73,"owner_website":80,"owner_url":81,"languages":82,"stars":99,"forks":100,"last_commit_at":101,"license":102,"difficulty_score":32,"env_os":103,"env_gpu":104,"env_ram":103,"env_deps":105,"category_tags":110,"github_topics":78,"view_count":32,"oss_zip_url":78,"oss_zip_packed_at":78,"status":17,"created_at":111,"updated_at":112,"faqs":113,"releases":143},7112,"mhamilton723\u002FFeatUp","FeatUp","Official code for \"FeatUp: A Model-Agnostic Frameworkfor Features at Any Resolution\" ICLR 2024","FeatUp 是一个专为提升视觉模型特征分辨率而设计的开源框架，发表于 ICLR 2024。在计算机视觉领域，许多强大的预训练模型（如 DINO、CLIP）输出的特征图往往分辨率较低，导致细节丢失，难以直接应用于需要精细空间信息的任务。FeatUp 巧妙地解决了这一痛点，它能够在不改变特征语义信息的前提下，将任意模型的特征图空间分辨率提升 16 到 32 倍，从而还原出更丰富的图像细节。\n\n该工具的核心亮点在于其“模型无关”的特性与独特的隐式上采样技术。用户无需重新训练底层基础模型，即可利用 FeatUp 提供的预训练上采样器（支持 DINO v2、CLIP 等主流架构），轻松获得高分辨率的特征表示。这种设计不仅兼容性强，还极大地降低了使用门槛。\n\nFeatUp 非常适合计算机视觉研究人员、AI 开发者以及需要处理高精度图像分析的专业人士。无论是进行细粒度的图像分割、物体检测，还是探索视觉表征学习，研究者都能通过简单的 API 调用或 Colab 示例快速集成该能力。对于希望深入理解特征超分辨率机制的开发者，项目也提供了完整的本地开发环境配置。凭借高效、通用且易于部署的特点，FeatU","FeatUp 是一个专为提升视觉模型特征分辨率而设计的开源框架，发表于 ICLR 2024。在计算机视觉领域，许多强大的预训练模型（如 DINO、CLIP）输出的特征图往往分辨率较低，导致细节丢失，难以直接应用于需要精细空间信息的任务。FeatUp 巧妙地解决了这一痛点，它能够在不改变特征语义信息的前提下，将任意模型的特征图空间分辨率提升 16 到 32 倍，从而还原出更丰富的图像细节。\n\n该工具的核心亮点在于其“模型无关”的特性与独特的隐式上采样技术。用户无需重新训练底层基础模型，即可利用 FeatUp 提供的预训练上采样器（支持 DINO v2、CLIP 等主流架构），轻松获得高分辨率的特征表示。这种设计不仅兼容性强，还极大地降低了使用门槛。\n\nFeatUp 非常适合计算机视觉研究人员、AI 开发者以及需要处理高精度图像分析的专业人士。无论是进行细粒度的图像分割、物体检测，还是探索视觉表征学习，研究者都能通过简单的 API 调用或 Colab 示例快速集成该能力。对于希望深入理解特征超分辨率机制的开发者，项目也提供了完整的本地开发环境配置。凭借高效、通用且易于部署的特点，FeatUp 成为了连接低分辨率语义特征与高分辨率视觉应用之间的有力桥梁。","# FeatUp: A Model-Agnostic Framework for Features at Any Resolution\n###  ICLR 2024\n\n\n[![Website](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FFeatUp-%F0%9F%8C%90Website-purple?style=flat)](https:\u002F\u002Faka.ms\u002Ffeatup) [![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2403.10516-b31b1b.svg)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2403.10516) [![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fmhamilton723\u002FFeatUp\u002Fblob\u002Fmain\u002Fexample_usage.ipynb)\n[![Huggingface](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-FeatUp-orange)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmhamilton723\u002FFeatUp) \n[![Huggingface](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Paper%20Page-orange)](https:\u002F\u002Fhuggingface.co\u002Fpapers\u002F2403.10516)\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Ffeatup-a-model-agnostic-framework-for\u002Ffeature-upsampling-on-imagenet)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Ffeature-upsampling-on-imagenet?p=featup-a-model-agnostic-framework-for)\n\n\n\n[Stephanie Fu*](https:\u002F\u002Fstephanie-fu.github.io\u002F),\n[Mark Hamilton*](https:\u002F\u002Fmhamilton.net\u002F),\n[Laura Brandt](https:\u002F\u002Fpeople.csail.mit.edu\u002Flebrandt\u002F),\n[Axel Feldman](https:\u002F\u002Ffeldmann.nyc\u002F),\n[Zhoutong Zhang](https:\u002F\u002Fztzhang.info\u002F),\n[William T. Freeman](https:\u002F\u002Fbillf.mit.edu\u002Fabout\u002Fbio)\n*Equal Contribution.\n\n![FeatUp Overview Graphic](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmhamilton723_FeatUp_readme_36332946e92d.jpg)\n\n*TL;DR*:FeatUp improves the spatial resolution of any model's features by 16-32x without changing their semantics.\n\nhttps:\u002F\u002Fgithub.com\u002Fmhamilton723\u002FFeatUp\u002Fassets\u002F6456637\u002F8fb5aa7f-4514-4a97-aebf-76065163cdfd\n\n\n## Contents\n\u003C!--ts-->\n   * [Install](#install)\n   * [Using Pretrained Upsamplers](#using-pretrained-upsamplers)\n   * [Fitting an Implicit Upsampler](#fitting-an-implicit-upsampler-to-an-image)\n   * [Coming Soon](coming-soon)\n   * [Citation](#citation)\n   * [Contact](#contact)\n\u003C!--te-->\n\n## Install\n\n### Pip\nFor those just looking to quickly use the FeatUp APIs install via:\n```shell script\npip install git+https:\u002F\u002Fgithub.com\u002Fmhamilton723\u002FFeatUp\n```\n\n### Local Development\nTo install FeatUp for local development and to get access to the sample images install using the following:\n```shell script\ngit clone https:\u002F\u002Fgithub.com\u002Fmhamilton723\u002FFeatUp.git\ncd FeatUp\npip install -e .\n```\n\n## Using Pretrained Upsamplers\n\nTo see examples of pretrained model usage please see our [Collab notebook](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fmhamilton723\u002FFeatUp\u002Fblob\u002Fmain\u002Fexample_usage.ipynb). We currently supply the following pretrained versions of FeatUp's JBU upsampler:\n\n| Model Name | Checkpoint                                                                                                                       | Checkpoint (No LayerNorm)                                                                                                                  | Torch Hub Repository | Torch Hub Name |\n|------------|----------------------------------------------------------------------------------------------------------------------------------|--------------------------------------------------------------------------------------------------------------------------------------------|----------------------|----------------|\n| DINO       | [Download](https:\u002F\u002Fmarhamilresearch4.blob.core.windows.net\u002Ffeature-upsampling-public\u002Fpretrained\u002Fdino16_jbu_stack_cocostuff.ckpt) | [Download](https:\u002F\u002Fmarhamilresearch4.blob.core.windows.net\u002Ffeature-upsampling-public\u002Fpretrained\u002Fno_norm\u002Fdino16_jbu_stack_cocostuff.ckpt)   | mhamilton723\u002FFeatUp  | dino16         |\n| DINO v2    | [Download](https:\u002F\u002Fmarhamilresearch4.blob.core.windows.net\u002Ffeature-upsampling-public\u002Fpretrained\u002Fdinov2_jbu_stack_cocostuff.ckpt) | [Download](https:\u002F\u002Fmarhamilresearch4.blob.core.windows.net\u002Ffeature-upsampling-public\u002Fpretrained\u002Fno_norm\u002Fdinov2_jbu_stack_cocostuff.ckpt)   | mhamilton723\u002FFeatUp  | dinov2         |\n| CLIP       | [Download](https:\u002F\u002Fmarhamilresearch4.blob.core.windows.net\u002Ffeature-upsampling-public\u002Fpretrained\u002Fclip_jbu_stack_cocostuff.ckpt)   | [Download](https:\u002F\u002Fmarhamilresearch4.blob.core.windows.net\u002Ffeature-upsampling-public\u002Fpretrained\u002Fno_norm\u002Fclip_jbu_stack_cocostuff.ckpt)     | mhamilton723\u002FFeatUp  | clip           |\n| MaskCLIP   | n\u002Fa                                                                                                                              | [Download](https:\u002F\u002Fmarhamilresearch4.blob.core.windows.net\u002Ffeature-upsampling-public\u002Fpretrained\u002Fno_norm\u002Fmaskclip_jbu_stack_cocostuff.ckpt) | mhamilton723\u002FFeatUp  | maskclip       |\n| ViT        | [Download](https:\u002F\u002Fmarhamilresearch4.blob.core.windows.net\u002Ffeature-upsampling-public\u002Fpretrained\u002Fvit_jbu_stack_cocostuff.ckpt)      | [Download](https:\u002F\u002Fmarhamilresearch4.blob.core.windows.net\u002Ffeature-upsampling-public\u002Fpretrained\u002Fno_norm\u002Fvit_jbu_stack_cocostuff.ckpt)      | mhamilton723\u002FFeatUp  | vit            |\n| ResNet50   | [Download](https:\u002F\u002Fmarhamilresearch4.blob.core.windows.net\u002Ffeature-upsampling-public\u002Fpretrained\u002Fresnet50_jbu_stack_cocostuff.ckpt) | [Download](https:\u002F\u002Fmarhamilresearch4.blob.core.windows.net\u002Ffeature-upsampling-public\u002Fpretrained\u002Fno_norm\u002Fresnet50_jbu_stack_cocostuff.ckpt) | mhamilton723\u002FFeatUp  | resnet50       |\n\nFor example, to load the FeatUp JBU upsampler for the DINO backbone without an additional LayerNorm on the spatial features:\n\n```python\nupsampler = torch.hub.load(\"mhamilton723\u002FFeatUp\", 'dino16', use_norm=False)\n```\n\nTo load upsamplers trained on backbones with additional LayerNorm operations which makes training and transfer learning a bit more stable:\n\n```python\nupsampler = torch.hub.load(\"mhamilton723\u002FFeatUp\", 'dino16')\n```\n\n## Fitting an Implicit Upsampler to an Image\n\nTo train an implicit upsampler for a given image and backbone first clone the repository and install it for \n[local development](#local-development). Then run\n\n```python\ncd featup\npython train_implicit_upsampler.py\n```\n\nParameters for this training operation can be found in the [implicit_upsampler config file](featup\u002Fconfigs\u002Fimplicit_upsampler.yaml).\n\n## Local Gradio Demo\n\nTo run our [HuggingFace Spaces hosted FeatUp demo](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmhamilton723\u002FFeatUp) locally first install FeatUp for local development. Then  run:\n\n```shell\npython gradio_app.py\n```\n\nWait a few seconds for the demo to spin up, then navigate to [http:\u002F\u002Flocalhost:7860\u002F](http:\u002F\u002Flocalhost:7860\u002F) to view the demo.\n\n\n## Coming Soon:\n\n- Training your own FeatUp joint bilateral upsampler\n- Simple API for Implicit FeatUp training\n\n\n## Citation\n\n```\n@inproceedings{\n    fu2024featup,\n    title={FeatUp: A Model-Agnostic Framework for Features at Any Resolution},\n    author={Stephanie Fu and Mark Hamilton and Laura E. Brandt and Axel Feldmann and Zhoutong Zhang and William T. Freeman},\n    booktitle={The Twelfth International Conference on Learning Representations},\n    year={2024},\n    url={https:\u002F\u002Fopenreview.net\u002Fforum?id=GkJiNn2QDF}\n}\n```\n\n## Contact\n\nFor feedback, questions, or press inquiries please contact [Stephanie Fu](mailto:fus@mit.edu) and [Mark Hamilton](mailto:markth@mit.edu)\n","# FeatUp：一种与模型无关、适用于任意分辨率特征的框架\n### ICLR 2024\n\n\n[![官网](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FFeatUp-%F0%9F%8C%90Website-purple?style=flat)](https:\u002F\u002Faka.ms\u002Ffeatup) [![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2403.10516-b31b1b.svg)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2403.10516) [![在Colab中打开](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fmhamilton723\u002FFeatUp\u002Fblob\u002Fmain\u002Fexample_usage.ipynb)\n[![Huggingface](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-FeatUp-orange)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmhamilton723\u002FFeatUp) \n[![Huggingface](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Paper%20Page-orange)](https:\u002F\u002Fhuggingface.co\u002Fpapers\u002F2403.10516)\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Ffeatup-a-model-agnostic-framework-for\u002Ffeature-upsampling-on-imagenet)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Ffeature-upsampling-on-imagenet?p=featup-a-model-agnostic-framework-for)\n\n\n\n[Stephanie Fu*](https:\u002F\u002Fstephanie-fu.github.io\u002F),\n[Mark Hamilton*](https:\u002F\u002Fmhamilton.net\u002F),\n[Laura Brandt](https:\u002F\u002Fpeople.csail.mit.edu\u002Flebrandt\u002F),\n[Axel Feldman](https:\u002F\u002Ffeldmann.nyc\u002F),\n[Zhoutong Zhang](https:\u002F\u002Fztzhang.info\u002F),\n[William T. Freeman](https:\u002F\u002Fbillf.mit.edu\u002Fabout\u002Fbio)\n*同等贡献。\n\n![FeatUp概览图](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmhamilton723_FeatUp_readme_36332946e92d.jpg)\n\n*简而言之*：FeatUp能够在不改变语义的情况下，将任何模型的特征空间分辨率提升16至32倍。\n\nhttps:\u002F\u002Fgithub.com\u002Fmhamilton723\u002FFeatUp\u002Fassets\u002F6456637\u002F8fb5aa7f-4514-4a97-aebf-76065163cdfd\n\n\n## 目录\n\u003C!--ts-->\n   * [安装](#install)\n   * [使用预训练上采样器](#using-pretrained-upsamplers)\n   * [为图像拟合隐式上采样器](#fitting-an-implicit-upsampler-to-an-image)\n   * [即将推出](coming-soon)\n   * [引用](#citation)\n   * [联系方式](#contact)\n\u003C!--te-->\n\n## 安装\n\n### pip\n对于只想快速使用FeatUp API的用户，可以通过以下命令安装：\n```shell script\npip install git+https:\u002F\u002Fgithub.com\u002Fmhamilton723\u002FFeatUp\n```\n\n### 本地开发\n若需进行本地开发并访问示例图片，请按如下步骤安装：\n```shell script\ngit clone https:\u002F\u002Fgithub.com\u002Fmhamilton723\u002FFeatUp.git\ncd FeatUp\npip install -e .\n```\n\n## 使用预训练上采样器\n\n如需查看预训练模型的使用示例，请参阅我们的[Colab笔记本](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fmhamilton723\u002FFeatUp\u002Fblob\u002Fmain\u002Fexample_usage.ipynb)。目前我们提供了以下预训练版本的FeatUp JBU上采样器：\n\n| 模型名称 | 检查点                                                                                                                       | 检查点（无LayerNorm）                                                                                                                  | Torch Hub仓库 | Torch Hub名称 |\n|------------|----------------------------------------------------------------------------------------------------------------------------------|--------------------------------------------------------------------------------------------------------------------------------------------|----------------------|----------------|\n| DINO       | [下载](https:\u002F\u002Fmarhamilresearch4.blob.core.windows.net\u002Ffeature-upsampling-public\u002Fpretrained\u002Fdino16_jbu_stack_cocostuff.ckpt) | [下载](https:\u002F\u002Fmarhamilresearch4.blob.core.windows.net\u002Ffeature-upsampling-public\u002Fpretrained\u002Fno_norm\u002Fdino16_jbu_stack_cocostuff.ckpt)   | mhamilton723\u002FFeatUp  | dino16         |\n| DINO v2    | [下载](https:\u002F\u002Fmarhamilresearch4.blob.core.windows.net\u002Ffeature-upsampling-public\u002Fpretrained\u002Fdinov2_jbu_stack_cocostuff.ckpt) | [下载](https:\u002F\u002Fmarhamilresearch4.blob.core.windows.net\u002Ffeature-upsampling-public\u002Fpretrained\u002Fno_norm\u002Fdinov2_jbu_stack_cocostuff.ckpt)   | mhamilton723\u002FFeatUp  | dinov2         |\n| CLIP       | [下载](https:\u002F\u002Fmarhamilresearch4.blob.core.windows.net\u002Ffeature-upsampling-public\u002Fpretrained\u002Fclip_jbu_stack_cocostuff.ckpt)   | [下载](https:\u002F\u002Fmarhamilresearch4.blob.core.windows.net\u002Ffeature-upsampling-public\u002Fpretrained\u002Fno_norm\u002Fclip_jbu_stack_cocostuff.ckpt)     | mhamilton723\u002FFeatUp  | clip           |\n| MaskCLIP   | 无                                                                                                                              | [下载](https:\u002F\u002Fmarhamilresearch4.blob.core.windows.net\u002Ffeature-upsampling-public\u002Fpretrained\u002Fno_norm\u002Fmaskclip_jbu_stack_cocostuff.ckpt) | mhamilton723\u002FFeatUp  | maskclip       |\n| ViT        | [下载](https:\u002F\u002Fmarhamilresearch4.blob.core.windows.net\u002Ffeature-upsampling-public\u002Fpretrained\u002Fvit_jbu_stack_cocostuff.ckpt)      | [下载](https:\u002F\u002Fmarhamilresearch4.blob.core.windows.net\u002Ffeature-upsampling-public\u002Fpretrained\u002Fno_norm\u002Fvit_jbu_stack_cocostuff.ckpt)      | mhamilton723\u002FFeatUp  | vit            |\n| ResNet50   | [下载](https:\u002F\u002Fmarhamilresearch4.blob.core.windows.net\u002Ffeature-upsampling-public\u002Fpretrained\u002Fresnet50_jbu_stack_cocostuff.ckpt) | [下载](https:\u002F\u002Fmarhamilresearch4.blob.core.windows.net\u002Ffeature-upsampling-public\u002Fpretrained\u002Fno_norm\u002Fresnet50_jbu_stack_cocostuff.ckpt) | mhamilton723\u002FFeatUp  | resnet50       |\n\n例如，要加载用于DINO主干网络且不带额外空间特征LayerNorm的FeatUp JBU上采样器：\n\n```python\nupsampler = torch.hub.load(\"mhamilton723\u002FFeatUp\", 'dino16', use_norm=False)\n```\n\n若要加载在带有额外LayerNorm操作的主干网络上训练的上采样器，这种设置使训练和迁移学习更加稳定：\n\n```python\nupsampler = torch.hub.load(\"mhamilton723\u002FFeatUp\", 'dino16')\n```\n\n## 为图像拟合隐式上采样器\n\n要为特定图像和主干网络训练隐式上采样器，首先克隆仓库并按照[本地开发](#local-development)的方式进行安装。然后运行：\n\n```python\ncd featup\npython train_implicit_upsampler.py\n```\n\n该训练操作的参数可在[隐式上采样器配置文件](featup\u002Fconfigs\u002Fimplicit_upsampler.yaml)中找到。\n\n## 本地Gradio演示\n\n要本地运行我们[HuggingFace Spaces托管的FeatUp演示](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmhamilton723\u002FFeatUp)，请先安装用于本地开发的FeatUp。然后运行：\n\n```shell\npython gradio_app.py\n```\n\n等待几秒钟让演示启动完毕，随后访问[http:\u002F\u002Flocalhost:7860\u002F](http:\u002F\u002Flocalhost:7860\u002F)即可查看演示。\n\n\n## 即将推出：\n\n- 训练您自己的FeatUp联合双边上采样器\n- 隐式FeatUp训练的简单API\n\n\n## 引用\n\n```\n@inproceedings{\n    fu2024featup,\n    title={FeatUp: A Model-Agnostic Framework for Features at Any Resolution},\n    author={Stephanie Fu and Mark Hamilton and Laura E. Brandt and Axel Feldmann and Zhoutong Zhang and William T. Freeman},\n    booktitle={The Twelfth International Conference on Learning Representations},\n    year={2024},\n    url={https:\u002F\u002Fopenreview.net\u002Fforum?id=GkJiNn2QDF}\n}\n```\n\n## 联系方式\n\n如需反馈、提问或媒体垂询，请联系 [Stephanie Fu](mailto:fus@mit.edu) 和 [Mark Hamilton](mailto:markth@mit.edu)。","# FeatUp 快速上手指南\n\nFeatUp 是一个模型无关的框架，能够将任意深度学习模型的特征图空间分辨率提升 16-32 倍，同时保持其语义信息不变。本指南将帮助你快速安装并使用预训练的上采样器。\n\n## 环境准备\n\n在开始之前，请确保你的开发环境满足以下要求：\n\n*   **操作系统**: Linux, macOS 或 Windows\n*   **Python**: 3.8 或更高版本\n*   **核心依赖**:\n    *   PyTorch (建议版本 1.10+)\n    *   Torchvision\n*   **其他依赖**: 安装过程中会自动处理 `numpy`, `Pillow`, `tqdm` 等常见科学计算库。\n\n> **提示**: 建议使用虚拟环境（如 `venv` 或 `conda`）以避免依赖冲突。\n\n## 安装步骤\n\n你可以根据需求选择以下两种安装方式之一：\n\n### 方式一：快速使用（推荐）\n如果你只想直接调用 API 使用预训练模型，可以通过 pip 直接安装：\n\n```shell script\npip install git+https:\u002F\u002Fgithub.com\u002Fmhamilton723\u002FFeatUp\n```\n\n### 方式二：本地开发\n如果你需要修改源码、运行示例脚本或使用本地 Gradio 演示，请克隆仓库并进行可编辑安装：\n\n```shell script\ngit clone https:\u002F\u002Fgithub.com\u002Fmhamilton723\u002FFeatUp.git\ncd FeatUp\npip install -e .\n```\n\n## 基本使用\n\nFeatUp 提供了基于 Torch Hub 的预训练上采样器，支持 DINO, DINO v2, CLIP, ViT, ResNet50 等多种骨干网络。\n\n### 加载预训练上采样器\n\n以下是最简单的使用示例，展示如何加载针对 **DINO (ViT-16)** 骨干网络训练的上采样器：\n\n**示例 1：加载带 LayerNorm 的版本（训练和迁移学习更稳定）**\n\n```python\nimport torch\n\n# 加载默认配置（包含额外的 LayerNorm）\nupsampler = torch.hub.load(\"mhamilton723\u002FFeatUp\", 'dino16')\n```\n\n**示例 2：加载不带 LayerNorm 的版本**\n\n```python\nimport torch\n\n# 加载不包含额外 LayerNorm 的版本\nupsampler = torch.hub.load(\"mhamilton723\u002FFeatUp\", 'dino16', use_norm=False)\n```\n\n### 支持的预训练模型\n\n除了 `dino16`，你还可以将上述代码中的模型名称替换为以下支持的模型：\n\n| 模型名称 (Torch Hub Name) | 对应骨干网络 |\n| :--- | :--- |\n| `dinov2` | DINO v2 |\n| `clip` | CLIP |\n| `maskclip` | MaskCLIP |\n| `vit` | ViT |\n| `resnet50` | ResNet50 |\n\n### 下一步\n加载 `upsampler` 对象后，你可以将其应用于提取的高维特征图以实现高分辨率输出。更多详细用法（如完整的图像处理流程），请参考官方提供的 [Colab 示例笔记本](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fmhamilton723\u002FFeatUp\u002Fblob\u002Fmain\u002Fexample_usage.ipynb)。","一位计算机视觉工程师正在开发基于 DINOv2 模型的精细图像分割系统，需要处理高分辨率的医学影像或卫星地图，以识别微小的病灶或道路细节。\n\n### 没有 FeatUp 时\n- **细节丢失严重**：预训练模型输出的特征图分辨率通常仅为原图的 1\u002F16 或 1\u002F32，导致微小目标的特征信息在降采样过程中完全消失。\n- **边界模糊不清**：直接对低分辨率特征进行双线性插值放大，会使物体边缘变得模糊，无法精准贴合真实轮廓。\n- **语义发生漂移**：传统的上采样方法往往破坏原有的语义一致性，导致放大后的特征不再准确代表原始内容。\n- **重新训练成本高**：若要获得高分辨率特征，通常需要修改模型架构并从头训练，耗费大量算力和时间。\n\n### 使用 FeatUp 后\n- **还原高清细节**：FeatUp 无需修改原模型，即可将特征图分辨率提升 16-32 倍，让微小目标的特征清晰可见。\n- **边缘锐利精准**：利用隐式上采样器（Implicit Upsampler），生成的特征图边缘锐利，能完美贴合复杂物体的精细轮廓。\n- **语义严格保持**：在大幅提升分辨率的同时，FeatUp 确保特征的语义信息与原模型输出高度一致，避免误判。\n- **即插即用高效**：直接加载预训练的 JBU 上采样器即可适配 DINO、CLIP 等任意模型，无需重新训练，瞬间部署。\n\nFeatUp 的核心价值在于打破了预训练模型的空间分辨率限制，让开发者能以极低成本获得像素级的高保真特征表示。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmhamilton723_FeatUp_36332946.jpg","mhamilton723","Mark Hamilton","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fmhamilton723_95565b06.jpg","PhD Student at MIT, Senior Software Engineer at Microsoft","Microsoft",null,"marhamil@microsoft.com","https:\u002F\u002Fmhamilton.net","https:\u002F\u002Fgithub.com\u002Fmhamilton723",[83,87,91,95],{"name":84,"color":85,"percentage":86},"Jupyter Notebook","#DA5B0B",93.7,{"name":88,"color":89,"percentage":90},"Python","#3572A5",6,{"name":92,"color":93,"percentage":94},"Cuda","#3A4E3A",0.2,{"name":96,"color":97,"percentage":98},"C++","#f34b7d",0.1,1632,94,"2026-04-11T07:24:06","MIT","未说明","未说明 (基于 PyTorch 和预训练模型，通常建议使用 NVIDIA GPU)",{"notes":106,"python":103,"dependencies":107},"README 中未明确列出具体的版本要求或系统配置。安装方式支持 pip 直接安装或通过 git clone 进行本地开发。提供了多种预训练模型（如 DINO, CLIP, ResNet50 等）的下载链接，也可通过 Torch Hub 直接加载。运行本地 Gradio 演示需要额外执行 gradio_app.py。训练隐式上采样器需修改 yaml 配置文件。",[108,109],"torch","gradio",[15,14],"2026-03-27T02:49:30.150509","2026-04-13T22:45:49.697597",[114,119,124,129,134,139],{"id":115,"question_zh":116,"answer_zh":117,"source_url":118},31954,"安装时遇到 'ImportError: cannot import name cuda_impl' 错误怎么办？","这通常是因为 CUDA 扩展未针对您的架构正确编译。请尝试以下步骤：\n1. 卸载并重新安装 featup，确保安装过程编译了对应架构的操作算子。\n2. 检查 PyTorch 和 CUDA 版本兼容性（例如 torch 2.0.0+cu118 对应 CUDA 11.8）。\n3. 如果问题依旧，执行以下命令清理构建缓存并重新安装：\n   cd featup\n   git pull\n   pip uninstall featup\n   rm -r build\n   pip install -e .","https:\u002F\u002Fgithub.com\u002Fmhamilton723\u002FFeatUp\u002Fissues\u002F8",{"id":120,"question_zh":121,"answer_zh":122,"source_url":123},31955,"如何在使用 DINOv2 模型时支持非 224x224 的输入图像尺寸？","默认代码隐含假设输入为 224x224。要支持其他尺寸（如 518x518），需修改 forward 函数使其自适应输入尺寸，确保高度和宽度能被 patch size (14) 整除：\n   def forward(self, img, n=1, include_cls=False):\n       B,C,H,W = img.shape\n       assert H%14 == 0 and W%14==0\n       return self.model.forward_features(img)[\"x_norm_patchtokens\"].reshape(-1, H\u002F\u002F14, W\u002F\u002F14, 384).permute(0, 3, 1, 2)\n\n此外，由于 DINOv2 patch size 为 14 而上采样因子为 16，输出特征图尺寸会变为输入的 16\u002F14 倍。若需恢复原尺寸，需额外进行下采样：\n   hr_feats_14 = torch.nn.functional.interpolate(hr_feats, scale_factor=14\u002F16, mode=\"bilinear\")","https:\u002F\u002Fgithub.com\u002Fmhamilton723\u002FFeatUp\u002Fissues\u002F13",{"id":125,"question_zh":126,"answer_zh":127,"source_url":128},31956,"CLIP 上采样后的图像特征与文本嵌入的对齐是否仍然有效？","是的，对齐仍然有效。如果您发现余弦相似度异常，请确保：\n1. 使用相同的 CLIP 模型实例获取图像特征（通过 upsampler）和文本特征（通过 upsampler.model[0].model.encode_text）。\n2. 在计算相似度前，对图像特征和文本特征分别进行 L2 归一化。\n示例代码逻辑如下：\n   vis_feats \u002F= vis_feats.norm(dim=-1, keepdim=True)\n   txt_feats \u002F= txt_feats.norm(dim=-1, keepdim=True)\n   sims = vis_feats @ txt_feats.T","https:\u002F\u002Fgithub.com\u002Fmhamilton723\u002FFeatUp\u002Fissues\u002F6",{"id":130,"question_zh":131,"answer_zh":132,"source_url":133},31957,"CUDA 实现是否支持 FP16（半精度）推理？遇到 'not implemented for Half' 错误如何解决？","项目已支持 FP16。如果遇到 \"adaptive_conv_forward_cuda not implemented for 'Half'\" 错误，通常是因为本地存在旧的编译文件冲突。请按以下步骤解决：\n1. 卸载 FeatUp：pip uninstall FeatUp\n2. 删除本地仓库中的 build 目录：rm -r build\n3. 重新安装：pip install .\n\n验证脚本：\n   import torch\n   from featup.adaptive_conv_cuda.adaptive_conv import AdaptiveConv\n   a = torch.randn((1, 3, 10, 10), dtype=torch.float16).cuda()\n   b = torch.randn((1, 8, 8, 3, 3), dtype=torch.float16).cuda()\n   result = AdaptiveConv.apply(a, b)\n   assert result.dtype == torch.float16","https:\u002F\u002Fgithub.com\u002Fmhamilton723\u002FFeatUp\u002Fissues\u002F36",{"id":135,"question_zh":136,"answer_zh":137,"source_url":138},31958,"启用 float16 后运行报错 'RuntimeError: tensor does not have a device' 怎么办？","此问题可能与 PyTorch 版本或扩展未重新编译有关。\n1. 建议升级 PyTorch 到较新版本（如 2.3.0），旧版本（如 2.2.2）配合某些 xformers 版本可能存在问题。\n2. 确保在拉取最新代码后，彻底卸载并重新编译扩展：\n   cd featup\n   git pull\n   pip uninstall featup\n   rm -r build\n   pip install -e .\n3. 确认输入张量已正确移动到 CUDA 设备 (.cuda())。","https:\u002F\u002Fgithub.com\u002Fmhamilton723\u002FFeatUp\u002Fissues\u002F52",{"id":140,"question_zh":141,"answer_zh":142,"source_url":128},31959,"JBU 上采样器的训练代码何时发布？是否支持 MaskCLIP 的训练？","维护者已提交 MaskCLIP 的 JBU 上采样器支持。关于训练代码，维护者表示需要对自定义 JBU 训练代码进行一些编辑才能复现发布的高质量骨干网络效果，计划在未来几天内将 MaskCLIP 添加到 hub 中，并随后发布相关训练代码。用户可以关注仓库更新或贡献示例代码。",[144,149,154],{"id":145,"version":146,"summary_zh":147,"released_at":148},239220,"v0.1.2","**完整更新日志**: https:\u002F\u002Fgithub.com\u002Fmhamilton723\u002FFeatUp\u002Fcompare\u002Fv0.1.1...v0.1.2","2024-02-27T19:22:09",{"id":150,"version":151,"summary_zh":152,"released_at":153},239221,"v0.1.1","**完整更新日志**: https:\u002F\u002Fgithub.com\u002Fmhamilton723\u002FFeatUp\u002Fcompare\u002Fv0.1.0...v0.1.1","2024-02-27T19:16:32",{"id":155,"version":156,"summary_zh":157,"released_at":158},239222,"v0.1.0","**完整更新日志**: https:\u002F\u002Fgithub.com\u002Fmhamilton723\u002FFeatUp\u002Fcommits\u002Fv0.1.0","2024-02-27T19:09:12"]