[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-ZhendongWang6--Uformer":3,"tool-ZhendongWang6--Uformer":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",143909,2,"2026-04-07T11:33:18",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,"2026-04-06T11:32:50",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":77,"owner_email":78,"owner_twitter":79,"owner_website":80,"owner_url":81,"languages":82,"stars":95,"forks":96,"last_commit_at":97,"license":98,"difficulty_score":10,"env_os":99,"env_gpu":100,"env_ram":99,"env_deps":101,"category_tags":106,"github_topics":107,"view_count":32,"oss_zip_url":79,"oss_zip_packed_at":79,"status":17,"created_at":115,"updated_at":116,"faqs":117,"releases":153},5045,"ZhendongWang6\u002FUformer","Uformer","[CVPR 2022] Official implementation of the paper \"Uformer: A General U-Shaped Transformer for Image Restoration\".","Uformer 是一款基于 Transformer 架构的通用图像修复模型，由 CVPR 2022 收录论文提出。它主要致力于解决图像质量退化问题，能够高效处理图像去噪、运动去模糊、散焦去模糊以及图像增强等多种任务。无论是去除照片中的颗粒噪点，还是修复因手抖或对焦失误导致的模糊，Uformer 都能显著还原清晰细节。\n\n这款工具特别适合计算机视觉领域的研究人员、算法开发者以及需要高质量图像预处理方案的专业设计师使用。对于希望深入理解前沿深度学习模型或构建自定义图像修复流程的技术人员来说，Uformer 提供了完整的官方代码与预训练模型，便于复现结果与二次开发。\n\nUformer 的核心技术亮点在于其独特的\"U 形”层级编码器 - 解码器结构，并创新性地引入了“局部增强窗口 Transformer 模块”。该设计利用非重叠窗口的自注意力机制，在大幅降低计算复杂度的同时，有效捕捉了图像的局部与全局特征，实现了效率与性能的最佳平衡。凭借在 GoPro、SIDD 等多个权威基准测试中取得的领先成绩，Uformer 已成为当前图像恢复领域极具参考价值的基础模型之一。","# Uformer: A General U-Shaped Transformer for Image Restoration (CVPR 2022)\n\u003Cb>\u003Ca href='https:\u002F\u002Fzhendongwang6.github.io'>Zhendong Wang\u003C\u002Fa>, \u003Ca href='https:\u002F\u002Fvinthony.github.io'>Xiaodong Cun\u003C\u002Fa>, \u003Ca href='https:\u002F\u002Fjianminbao.github.io\u002F'>Jianmin Bao\u003C\u002Fa>, \u003Ca href='http:\u002F\u002Fstaff.ustc.edu.cn\u002F~zhwg\u002F'>Wengang Zhou\u003C\u002Fa>, \u003Ca href='http:\u002F\u002Fpeople.ucas.ac.cn\u002F~jzliu?language=en'>Jianzhuang Liu\u003C\u002Fa>, \u003Ca href='http:\u002F\u002Fstaff.ustc.edu.cn\u002F~lihq\u002Fen\u002F'>Houqiang Li \u003C\u002Fa> \u003C\u002Fb>\n\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fuformer-a-general-u-shaped-transformer-for\u002Fdeblurring-on-realblur-j-trained-on-gopro)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fdeblurring-on-realblur-j-trained-on-gopro?p=uformer-a-general-u-shaped-transformer-for) [![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fuformer-a-general-u-shaped-transformer-for\u002Fdeblurring-on-realblur-r-trained-on-gopro)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fdeblurring-on-realblur-r-trained-on-gopro?p=uformer-a-general-u-shaped-transformer-for)\t\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fuformer-a-general-u-shaped-transformer-for\u002Fimage-denoising-on-dnd)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fimage-denoising-on-dnd?p=uformer-a-general-u-shaped-transformer-for) [![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fuformer-a-general-u-shaped-transformer-for\u002Fimage-denoising-on-sidd)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fimage-denoising-on-sidd?p=uformer-a-general-u-shaped-transformer-for)\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fuformer-a-general-u-shaped-transformer-for\u002Fdeblurring-on-gopro)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fdeblurring-on-gopro?p=uformer-a-general-u-shaped-transformer-for) [![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fuformer-a-general-u-shaped-transformer-for\u002Fdeblurring-on-hide-trained-on-gopro)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fdeblurring-on-hide-trained-on-gopro?p=uformer-a-general-u-shaped-transformer-for)\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fuformer-a-general-u-shaped-transformer-for\u002Fimage-defocus-deblurring-on-dpd)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fimage-defocus-deblurring-on-dpd?p=uformer-a-general-u-shaped-transformer-for)\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fuformer-a-general-u-shaped-transformer-for\u002Fimage-enhancement-on-tip-2018)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fimage-enhancement-on-tip-2018?p=uformer-a-general-u-shaped-transformer-for)\n\nPaper link: [[Arxiv]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2106.03106) [[CVPR]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2022\u002Fpapers\u002FWang_Uformer_A_General_U-Shaped_Transformer_for_Image_Restoration_CVPR_2022_paper.pdf)\n\n\n### Update:\n* **2024.10.24** Fix expired links.\n* **2022.07.06** Upload new codes and models for our Uformer. \n* **2022.04.09** Upload results of Uformer on denoising (SIDD, DND), motion deblurring (GoPro, HIDE, RealBlur-J\u002F-R), and defocus deblurring (DPDD). \n* **2022.03.02** Uformer has been accepted by CVPR 2022! :fire:\n* **2021.11.30** Update Uformer in [Arxiv link](https:\u002F\u002Farxiv.org\u002Fabs\u002F2106.03106). The new code, models and results will be uploaded.\n* **2021.10.28** Release the results of Uformer32 on SIDD and DND.\n* **2021.09.30** Release pre-trained Uformer16 for SIDD denoising.\n* **2021.08.19** Release a pre-trained model(Uformer32)! Add a script for FLOP\u002FGMAC calculation.\n* **2021.07.29** Add a script for testing the pre-trained model on the arbitrary-resolution images.\n\n\u003Chr>\n\u003Ci>In this paper, we present Uformer, an effective and efficient Transformer-based architecture, in which we build a hierarchical encoder-decoder network using the Transformer block for image restoration. Uformer has two core designs to make it suitable for this task. The first key element is a local-enhanced window Transformer block, where we use non-overlapping window-based self-attention to reduce the computational requirement and employ the depth-wise convolution in the feed-forward network to further improve its potential for capturing local context. The second key element is that we explore three skip-connection schemes to effectively deliver information from the encoder to the decoder. Powered by these two designs, Uformer enjoys a high capability for capturing useful dependencies for image restoration. Extensive experiments on several image restoration tasks demonstrate the superiority of Uformer, including image denoising, deraining, deblurring and demoireing. We expect that our work will encourage further research to explore Transformer-based architectures for low-level vision tasks.\u003C\u002Fi>\n\n![Uformer](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FZhendongWang6_Uformer_readme_4dd263f8faa7.png)\n\n## Package dependencies\nThe project is built with PyTorch 1.9.0, Python3.7, CUDA11.1. For package dependencies, you can install them by:\n```bash\npip install -r requirements.txt\n```\n\n## Pretrained model\n- Uformer_B: [SIDD](https:\u002F\u002Fmailustceducn-my.sharepoint.com\u002F:u:\u002Fg\u002Fpersonal\u002Fzhendongwang_mail_ustc_edu_cn\u002FEa7hMP82A0xFlOKPlQnBJy0B9gVP-1MJL75mR4QKBMGc2w?e=iOz0zz) |\n[GoPro](https:\u002F\u002Fmailustceducn-my.sharepoint.com\u002F:u:\u002Fg\u002Fpersonal\u002Fzhendongwang_mail_ustc_edu_cn\u002FEfCPoTSEKJRAshoE6EAC_3YB7oNkbLUX6AUgWSCwoJe0oA)\n\n## Results from the pretrained model\n- Uformer_B: [SIDD](https:\u002F\u002Fmailustceducn-my.sharepoint.com\u002F:f:\u002Fg\u002Fpersonal\u002Fzhendongwang_mail_ustc_edu_cn\u002FEtcRYRDGWhBIlQa3EYBp4FYBao7ZZT2dPc5k1Qe-CdPh3A) | [DND](https:\u002F\u002Fmailustceducn-my.sharepoint.com\u002F:f:\u002Fg\u002Fpersonal\u002Fzhendongwang_mail_ustc_edu_cn\u002FEkv3A5ic_4RChFa9XXquF_MB8M8tFd7spyHGJi_8obycnA) | [GoPro](https:\u002F\u002Fmailustceducn-my.sharepoint.com\u002F:f:\u002Fg\u002Fpersonal\u002Fzhendongwang_mail_ustc_edu_cn\u002FEqKY3WMkbfVBlzldiEe4IEUBgr6BQx8mkI9jipWoWrwqQg?e=c5aPIe) | [HIDE](https:\u002F\u002Fmailustceducn-my.sharepoint.com\u002F:f:\u002Fg\u002Fpersonal\u002Fzhendongwang_mail_ustc_edu_cn\u002FEh4p1_kZ95xIopXDNyhl-Q0BrIW0DoAEh_v2g3WhHa51wA?e=qh1l7W) | [RealBlur-J](https:\u002F\u002Fmailustceducn-my.sharepoint.com\u002F:f:\u002Fg\u002Fpersonal\u002Fzhendongwang_mail_ustc_edu_cn\u002FEpHFC9FauEpHhJDsFruEmmQB9VVkGnKlWbaOmCmvH6Ar0w?e=vn9Na1) | [RealBlur-R](https:\u002F\u002Fmailustceducn-my.sharepoint.com\u002F:f:\u002Fg\u002Fpersonal\u002Fzhendongwang_mail_ustc_edu_cn\u002FEo2EC8rmkapNu9CxcYLwFpYBAgiqMmaN8JPqnO6eYD5Abw?e=Pybep6) | [DPDD](https:\u002F\u002Fmailustceducn-my.sharepoint.com\u002F:f:\u002Fg\u002Fpersonal\u002Fzhendongwang_mail_ustc_edu_cn\u002FEvVAI84ZvlNChWsZA6QY4IkBE4TArNRFkHj9VQVFadGWkw?e=eprhQe)\n\n\n## Data preparation \n### Denoising\nFor training data of SIDD, you can download the SIDD-Medium dataset from the [official url](https:\u002F\u002Fwww.eecs.yorku.ca\u002F~kamel\u002Fsidd\u002Fdataset.php).\nThen generate training patches for training by:\n```python\npython3 generate_patches_SIDD.py --src_dir ..\u002FSIDD_Medium_Srgb\u002FData --tar_dir ..\u002Fdatasets\u002Fdenoising\u002Fsidd\u002Ftrain\n```\n\nFor evaluation on SIDD and DND, you can download data from [here](https:\u002F\u002Fmailustceducn-my.sharepoint.com\u002F:f:\u002Fg\u002Fpersonal\u002Fzhendongwang_mail_ustc_edu_cn\u002FEv832uKaw2JJhwROKqiXGfMBttyFko_zrDVzfSbFFDoi4Q?e=S3p5hQ).\n\n\n### Deblurring\nFor training on GoPro, and evaluation on GoPro, HIDE, RealBlur-J and RealBlur-R, you can download data from [here](https:\u002F\u002Fmailustceducn-my.sharepoint.com\u002F:f:\u002Fg\u002Fpersonal\u002Fzhendongwang_mail_ustc_edu_cn\u002FEv832uKaw2JJhwROKqiXGfMBttyFko_zrDVzfSbFFDoi4Q?e=S3p5hQ).\n\n\nThen put all the denoising data into `..\u002Fdatasets\u002Fdenoising`, and all the deblurring data into `..\u002Fdatasets\u002Fdeblurring`.\n\n## Training\n### Denoising\nTo train Uformer on SIDD, you can begin the training by:\n\n```sh\nsh script\u002Ftrain_denoise.sh\n```\n### Deblurring\nTo train Uformer on GoPro, you can begin the training by:\n\n```sh\nsh script\u002Ftrain_motiondeblur.sh\n```\n\n\n## Evaluation\nTo evaluate Uformer, you can run:\n\n```sh\nsh script\u002Ftest.sh\n```\nFor evaluate on each dataset, you should uncomment corresponding line.\n\n## Computational Cost\n\nWe provide a simple script to calculate the flops by ourselves, a simple script has been added in `model.py`. You can change the configuration and run:\n\n```python\npython3 model.py\n```\n\n> The manual calculation of GMacs in this repo differs slightly from the main paper, but they do not influence the conclusion. We will correct the paper later.\n\n\n## Citation\nIf you find this project useful in your research, please consider citing:\n\n```\n@InProceedings{Wang_2022_CVPR,\n    author    = {Wang, Zhendong and Cun, Xiaodong and Bao, Jianmin and Zhou, Wengang and Liu, Jianzhuang and Li, Houqiang},\n    title     = {Uformer: A General U-Shaped Transformer for Image Restoration},\n    booktitle = {Proceedings of the IEEE\u002FCVF Conference on Computer Vision and Pattern Recognition (CVPR)},\n    month     = {June},\n    year      = {2022},\n    pages     = {17683-17693}\n}\n```\n\n## Acknowledgement\n\nThis code borrows heavily from [MIRNet](https:\u002F\u002Fgithub.com\u002Fswz30\u002FMIRNet) and [SwinTransformer](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FSwin-Transformer).\n\n\n## Contact\nPlease contact us if there is any question or suggestion(Zhendong Wang ZhendongWang6@outlook.com, Xiaodong Cun vinthony@gmail.com).\n","# Uformer：一种用于图像修复的通用U型Transformer（CVPR 2022）\n\u003Cb>\u003Ca href='https:\u002F\u002Fzhendongwang6.github.io'>Zhendong Wang\u003C\u002Fa>, \u003Ca href='https:\u002F\u002Fvinthony.github.io'>Xiaodong Cun\u003C\u002Fa>, \u003Ca href='https:\u002F\u002Fjianminbao.github.io\u002F'>Jianmin Bao\u003C\u002Fa>, \u003Ca href='http:\u002F\u002Fstaff.ustc.edu.cn\u002F~zhwg\u002F'>Wengang Zhou\u003C\u002Fa>, \u003Ca href='http:\u002F\u002Fpeople.ucas.ac.cn\u002F~jzliu?language=en'>Jianzhuang Liu\u003C\u002Fa>, \u003Ca href='http:\u002F\u002Fstaff.ustc.edu.cn\u002F~lihq\u002Fen\u002F'>Houqiang Li \u003C\u002Fa> \u003C\u002Fb>\n\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fuformer-a-general-u-shaped-transformer-for\u002Fdeblurring-on-realblur-j-trained-on-gopro)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fdeblurring-on-realblur-j-trained-on-gopro?p=uformer-a-general-u-shaped-transformer-for) [![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fuformer-a-general-u-shaped-transformer-for\u002Fdeblurring-on-realblur-r-trained-on-gopro)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fdeblurring-on-realblur-r-trained-on-gopro)\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fuformer-a-general-u-shaped-transformer-for\u002Fimage-denoising-on-dnd)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fimage-denoising-on-dnd?p=uformer-a-general-u-shaped-transformer-for) [![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fuformer-a-general-u-shaped-transformer-for\u002Fimage-denoising-on-sidd)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fimage-denoising-on-sidd?p=uformer-a-general-u-shaped-transformer-for)\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fuformer-a-general-u-shaped-transformer-for\u002Fdeblurring-on-gopro)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fdeblurring-on-gopro?p=uformer-a-general-u-shaped-transformer-for) [![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fuformer-a-general-u-shaped-transformer-for\u002Fdeblurring-on-hide-trained-on-gopro)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fdeblurring-on-hide-trained-on-gopro?p=uformer-a-general-u-shaped-transformer-for)\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fuformer-a-general-u-shaped-transformer-for\u002Fimage-defocus-deblurring-on-dpd)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fimage-defocus-deblurring-on-dpd?p=uformer-a-general-u-shaped-transformer-for)\n[![PWC](https:\u002F\u002Fimg.shields.io\u002Fendpoint.svg?url=https:\u002F\u002Fpaperswithcode.com\u002Fbadge\u002Fuformer-a-general-u-shaped-transformer-for\u002Fimage-enhancement-on-tip-2018)](https:\u002F\u002Fpaperswithcode.com\u002Fsota\u002Fimage-enhancement-on-tip-2018?p=uformer-a-general-u-shaped-transformer-for)\n\n论文链接：[[Arxiv]](https:\u002F\u002Farxiv.org\u002Fabs\u002F2106.03106) [[CVPR]](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2022\u002Fpapers\u002FWang_Uformer_A_General_U-Shaped_Transformer_for_Image_Restoration_CVPR_2022_paper.pdf)\n\n\n### 更新：\n* **2024.10.24** 修复失效链接。\n* **2022.07.06** 上传了Uformer的新代码和模型。\n* **2022.04.09** 上传了Uformer在去噪（SIDD、DND）、运动模糊去除（GoPro、HIDE、RealBlur-J\u002F-R）以及散焦模糊去除（DPDD）方面的结果。\n* **2022.03.02** Uformer已被CVPR 2022接收！ :fire:\n* **2021.11.30** 在[Arxiv链接](https:\u002F\u002Farxiv.org\u002Fabs\u002F2106.03106)中更新了Uformer。新的代码、模型和结果将随后上传。\n* **2021.10.28** 发布了Uformer32在SIDD和DND上的结果。\n* **2021.09.30** 发布了用于SIDD去噪的预训练Uformer16模型。\n* **2021.08.19** 发布了一个预训练模型（Uformer32）！并添加了用于计算FLOP\u002FGMAC的脚本。\n* **2021.07.29** 添加了一个用于测试任意分辨率图像上预训练模型的脚本。\n\n\u003Chr>\n\u003Ci>在本文中，我们提出了一种高效且有效的基于Transformer的架构——Uformer。该架构采用Transformer模块构建层次化的编码器-解码器网络，用于图像修复任务。Uformer包含两个核心设计，使其非常适合这一任务。第一个关键要素是局部增强窗口Transformer模块，其中我们使用非重叠窗口自注意力机制来降低计算复杂度，并在前馈网络中引入深度可分离卷积，以进一步提升其捕捉局部上下文的能力。第二个关键要素是探索了三种跳跃连接方案，以有效地将信息从编码器传递到解码器。凭借这两大设计，Uformer具备强大的能力来捕捉图像修复所需的有用依赖关系。我们在多个图像修复任务上的大量实验表明，Uformer具有显著优势，包括图像去噪、去雨、去模糊和去摩尔纹等。我们期望我们的工作能够激励更多研究者探索基于Transformer的架构在低层视觉任务中的应用。\u003C\u002Fi>\n\n![Uformer](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FZhendongWang6_Uformer_readme_4dd263f8faa7.png)\n\n## 软件包依赖\n该项目基于PyTorch 1.9.0、Python3.7和CUDA11.1构建。软件包依赖可通过以下命令安装：\n```bash\npip install -r requirements.txt\n```\n\n## 预训练模型\n- Uformer_B：[SIDD](https:\u002F\u002Fmailustceducn-my.sharepoint.com\u002F:u:\u002Fg\u002Fpersonal\u002Fzhendongwang_mail_ustc_edu_cn\u002FEa7hMP82A0xFlOKPlQnBJy0B9gVP-1MJL75mR4QKBMGc2w?e=iOz0zz) |\n[GoPro](https:\u002F\u002Fmailustceducn-my.sharepoint.com\u002F:u:\u002Fg\u002Fpersonal\u002Fzhendongwang_mail_ustc_edu_cn\u002FEfCPoTSEKJRAshoE6EAC_3YB7oNkbLUX6AUgWSCwoJe0oA)\n\n## 预训练模型的结果\n- Uformer_B：[SIDD](https:\u002F\u002Fmailustceducn-my.sharepoint.com\u002F:f:\u002Fg\u002Fpersonal\u002Fzhendongwang_mail_ustc_edu_cn\u002FEtcRYRDGWhBIlQa3EYBp4FYBao7ZZT2dPc5k1Qe-CdPh3A) | [DND](https:\u002F\u002Fmailustceducn-my.sharepoint.com\u002F:f:\u002Fg\u002Fpersonal\u002Fzhendongwang_mail_ustc_edu_cn\u002FEkv3A5ic_4RChFa9XXquF_MB8M8tFd7spyHGJi_8obycnA) | [GoPro](https:\u002F\u002Fmailustceducn-my.sharepoint.com\u002F:f:\u002Fg\u002Fpersonal\u002Fzhendongwang_mail_ustc_edu_cn\u002FEqKY3WMkbfVBlzldiEe4IEUBgr6BQx8mkI9jipWoWrwqQg?e=c5aPIe) | [HIDE](https:\u002F\u002Fmailustceducn-my.sharepoint.com\u002F:f:\u002Fg\u002Fpersonal\u002Fzhendongwang_mail_ustc_edu_cn\u002FEh4p1_kZ95xIopXDNyhl-Q0BrIW0DoAEh_v2g3WhHa51wA?e=qh1l7W) | [RealBlur-J](https:\u002F\u002Fmailustceducn-my.sharepoint.com\u002F:f:\u002Fg\u002Fpersonal\u002Fzhendongwang_mail_ustc_edu_cn\u002FEpHFC9FauEpHhJDsFruEmmQB9VVkGnKlWbaOmCmvH6Ar0w?e=vn9Na1) | [RealBlur-R](https:\u002F\u002Fmailustceducn-my.sharepoint.com\u002F:f:\u002Fg\u002Fpersonal\u002Fzhendongwang_mail_ustc_edu_cn\u002FEo2EC8rmkapNu9CxcYLwFpYBAgiqMmaN8JPqnO6eYD5Abw?e=Pybep6) | [DPDD](https:\u002F\u002Fmailustceducn-my.sharepoint.com\u002F:f:\u002Fg\u002Fpersonal\u002Fzhendongwang_mail_ustc_edu_cn\u002FEvVAI84ZvlNChWsZA6QY4IkBE4TArNRFkHj9VQVFadGWkw?e=eprhQe)\n\n\n## 数据准备 \n### 去噪\n对于SIDD的训练数据，可以从[官方网址](https:\u002F\u002Fwww.eecs.yorku.ca\u002F~kamel\u002Fsidd\u002Fdataset.php)下载SIDD-Medium数据集。\n然后通过以下命令生成用于训练的补丁：\n```python\npython3 generate_patches_SIDD.py --src_dir ..\u002FSIDD_Medium_Srgb\u002FData --tar_dir ..\u002Fdatasets\u002Fdenoising\u002Fsidd\u002Ftrain\n```\n\n对于SIDD和DND的评估，可以从[这里](https:\u002F\u002Fmailustceducn-my.sharepoint.com\u002F:f:\u002Fg\u002Fpersonal\u002Fzhendongwang_mail_ustc_edu_cn\u002FEv832uKaw2JJhwROKqiXGfMBttyFko_zrDVzfSbFFDoi4Q?e=S3p5hQ)下载数据。\n\n### 去模糊\n若要在 GoPro 数据集上进行训练，并在 GoPro、HIDE、RealBlur-J 和 RealBlur-R 数据集上进行评估，您可以从[这里](https:\u002F\u002Fmailustceducn-my.sharepoint.com\u002F:f:\u002Fg\u002Fpersonal\u002Fzhendongwang_mail_ustc_edu_cn\u002FEv832uKaw2JJhwROKqiXGfMBttyFko_zrDVzfSbFFDoi4Q?e=S3p5hQ)下载数据。\n\n然后将所有去噪数据放入 `..\u002Fdatasets\u002Fdenoising` 目录下，所有去模糊数据放入 `..\u002Fdatasets\u002Fdeblurring` 目录下。\n\n## 训练\n### 去噪\n要在 SIDD 数据集上训练 Uformer，您可以通过以下命令开始训练：\n\n```sh\nsh script\u002Ftrain_denoise.sh\n```\n\n### 去模糊\n要在 GoPro 数据集上训练 Uformer，您可以通过以下命令开始训练：\n\n```sh\nsh script\u002Ftrain_motiondeblur.sh\n```\n\n## 评估\n要评估 Uformer，您可以运行：\n\n```sh\nsh script\u002Ftest.sh\n```\n\n针对每个数据集的评估，您需要取消注释相应的行。\n\n## 计算开销\n\n我们提供了一个简单的脚本，用于自行计算 FLOPs。该脚本已添加到 `model.py` 文件中。您可以更改配置并运行：\n\n```python\npython3 model.py\n```\n\n> 此仓库中手动计算的 GMACs 与主论文中的结果略有差异，但并不影响结论。我们将在后续对论文进行修正。\n\n## 引用\n如果您在研究中使用了本项目，请考虑引用以下文献：\n\n```\n@InProceedings{Wang_2022_CVPR,\n    author    = {Wang, Zhendong and Cun, Xiaodong and Bao, Jianmin and Zhou, Wengang and Liu, Jianzhuang and Li, Houqiang},\n    title     = {Uformer: A General U-Shaped Transformer for Image Restoration},\n    booktitle = {Proceedings of the IEEE\u002FCVF Conference on Computer Vision and Pattern Recognition (CVPR)},\n    month     = {June},\n    year      = {2022},\n    pages     = {17683-17693}\n}\n```\n\n## 致谢\n\n本代码大量借鉴了 [MIRNet](https:\u002F\u002Fgithub.com\u002Fswz30\u002FMIRNet) 和 [SwinTransformer](https:\u002F\u002Fgithub.com\u002Fmicrosoft\u002FSwin-Transformer) 的实现。\n\n## 联系方式\n如有任何问题或建议，请联系我们（王振东：ZhendongWang6@outlook.com，岑晓东：vinthony@gmail.com）。","# Uformer 快速上手指南\n\nUformer 是一个基于 Transformer 的通用 U 型架构，专为图像复原任务（如去噪、去模糊、去雨等）设计。本指南将帮助你快速配置环境并运行预训练模型。\n\n## 环境准备\n\n在开始之前，请确保你的开发环境满足以下要求：\n\n*   **操作系统**: Linux (推荐) 或 macOS\n*   **Python**: 3.7+\n*   **PyTorch**: 1.9.0\n*   **CUDA**: 11.1 (如需 GPU 加速)\n*   **硬件**: 支持 CUDA 的 NVIDIA 显卡（推荐显存 8GB 以上以运行大模型）\n\n## 安装步骤\n\n1.  **克隆项目代码**\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002FZhendongWang6\u002FUformer.git\n    cd Uformer\n    ```\n\n2.  **安装依赖包**\n    建议使用国内镜像源（如清华源）以加快下载速度：\n    ```bash\n    pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n    ```\n    *注意：如果自动安装失败，请手动安装对应版本的 `torch` 和 `torchvision`。*\n\n3.  **下载预训练模型**\n    根据任务需求下载对应的预训练权重，并放入项目根目录或指定文件夹：\n    *   **图像去噪 (SIDD)**: [下载链接](https:\u002F\u002Fmailustceducn-my.sharepoint.com\u002F:u:\u002Fg\u002Fpersonal\u002Fzhendongwang_mail_ustc_edu_cn\u002FEa7hMP82A0xFlOKPlQnBJy0B9gVP-1MJL75mR4QKBMGc2w?e=iOz0zz)\n    *   **运动去模糊 (GoPro)**: [下载链接](https:\u002F\u002Fmailustceducn-my.sharepoint.com\u002F:u:\u002Fg\u002Fpersonal\u002Fzhendongwang_mail_ustc_edu_cn\u002FEfCPoTSEKJRAshoE6EAC_3YB7oNkbLUX6AUgWSCwoJe0oA)\n\n## 基本使用\n\n### 1. 数据准备\n在使用前，需将测试数据整理到相应目录。以去噪任务为例：\n*   下载 SIDD 或 DND 测试数据集。\n*   将数据放置于 `..\u002Fdatasets\u002Fdenoising` 目录下（具体结构参考原仓库说明）。\n\n### 2. 运行测试\u002F推理\n修改 `script\u002Ftest.sh` 脚本，取消注释你需要评估的数据集对应行，然后执行：\n\n```bash\nsh script\u002Ftest.sh\n```\n\n该脚本会自动加载预训练模型并对指定数据集进行图像复原处理，结果通常保存在输出目录中。\n\n### 3. (可选) 计算模型复杂度\n如需计算模型的 FLOPs\u002FGMACs，可直接运行：\n\n```python\npython3 model.py\n```\n\n> **提示**：对于自定义图像的任意分辨率测试，原仓库提供了相关脚本支持，具体可参考 `scripts` 目录下的测试逻辑进行调整。","某新闻机构的图片编辑团队正在紧急处理一批由记者在夜间突发事故现场拍摄的模糊照片，这些照片因手抖和光线不足存在严重的运动模糊与噪点，需在截稿前完成修复以用于头版报道。\n\n### 没有 Uformer 时\n- **细节丢失严重**：传统去模糊算法在去除动态模糊时，往往过度平滑图像，导致人脸表情、车牌号码等关键纹理细节变得模糊不清，无法辨认。\n- **伪影干扰明显**：在处理高噪点区域时，旧模型容易产生彩色噪斑或棋盘格伪影，不仅没让画面变干净，反而引入了新的视觉干扰，需要人工逐张修图补救。\n- **分辨率受限**：现有工具难以直接处理高分辨率原图，编辑被迫先将图片压缩至低分辨率处理后再放大，这一过程进一步破坏了图像的清晰度。\n- **通用性差**：针对运动模糊训练的模型无法有效处理散焦模糊，面对混合了多种退化类型的现场照片，团队需切换多套不同软件拼凑处理，效率极低。\n\n### 使用 Uformer 后\n- **纹理完美重建**：Uformer 凭借局部增强窗口 Transformer 模块，在去除模糊的同时精准恢复了皮肤纹理和物体边缘，关键信息清晰可辨，无需后期手动锐化。\n- **画面纯净自然**：其层级编码器 - 解码器架构有效抑制了噪声与伪影，输出的图像色彩过渡平滑，直接达到出版级画质，大幅减少了人工精修时间。\n- **任意分辨率支持**：Uformer 原生支持任意分辨率输入，团队可直接对 4K 原图进行端到端修复，避免了缩放带来的画质损耗，保留了最丰富的原始细节。\n- **一站式全能处理**：无论是运动模糊、散焦模糊还是复杂噪声，Uformer 单模型即可通吃，编辑只需运行一次脚本即可完成所有退化类型的修复，工作流显著简化。\n\nUformer 通过其先进的 Transformer 架构，将原本耗时数小时且效果不佳的图像修复工作，转变为分钟级的高保真自动化流程，确保了新闻时效性与画质的双重达标。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FZhendongWang6_Uformer_0731d6c9.png","ZhendongWang6","Zhendong Wang","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FZhendongWang6_166873d6.jpg","Ph.D. student, focus on computer vision and deep learning.","University of Science and Technology of China","Beijing, China","ZhendongWang6@outlook.com",null,"https:\u002F\u002Fzhendongwang6.github.io\u002F","https:\u002F\u002Fgithub.com\u002FZhendongWang6",[83,87,91],{"name":84,"color":85,"percentage":86},"Python","#3572A5",98.5,{"name":88,"color":89,"percentage":90},"Shell","#89e051",1.1,{"name":92,"color":93,"percentage":94},"MATLAB","#e16737",0.4,937,130,"2026-03-27T12:49:01","MIT","未说明","需要 NVIDIA GPU，CUDA 11.1",{"notes":102,"python":103,"dependencies":104},"项目基于 PyTorch 1.9.0 和 CUDA 11.1 构建。具体依赖包需通过运行 `pip install -r requirements.txt` 安装。代码大量参考了 MIRNet 和 SwinTransformer 项目。提供用于计算 FLOPs\u002FGMACs 的脚本。","3.7",[105],"torch==1.9.0",[14,15],[108,109,110,111,112,113,114],"deep-learning","pytorch","image-restoration","image-denoising","image-deblurring","image-deraining","image-demoireing","2026-03-27T02:49:30.150509","2026-04-07T22:59:45.194853",[118,123,128,133,138,143,148],{"id":119,"question_zh":120,"answer_zh":121,"source_url":122},22940,"Uformer 在 SIDD 基准测试上的 PSNR 结果为何与论文报告的数值不一致？","论文中报告的 39.89 dB PSNR 是在验证集（validation set）上得出的，而非官方基准测试集（benchmark test set）。这与之前的研究工作保持一致，以便于进行公平比较。目前项目并未提供在 SIDD 官方基准测试集上的结果。","https:\u002F\u002Fgithub.com\u002FZhendongWang6\u002FUformer\u002Fissues\u002F51",{"id":124,"question_zh":125,"answer_zh":126,"source_url":127},22941,"运行 test_in_any_resolution.py 时出现 'TypeError: forward() takes 2 positional arguments but 3 were given' 错误怎么办？","该问题是由于早期版本代码中误删了关于移位窗口（shift window）的部分行导致的。维护者已重建了 model.py 文件修复了此问题。请拉取最新代码并重新测试。如果问题依旧，请检查是否修改过模型架构或训练数据是否存在偏差。","https:\u002F\u002Fgithub.com\u002FZhendongWang6\u002FUformer\u002Fissues\u002F14",{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},22942,"论文中提到的 'Modulator'（调制器）模块在代码的哪个位置？","在更新后的代码版本中，可以在 `model.py` 文件中找到 Modulator 的实现。如果您使用的是旧版本代码，可能不包含此部分，建议更新至最新版本。","https:\u002F\u002Fgithub.com\u002FZhendongWang6\u002FUformer\u002Fissues\u002F49",{"id":134,"question_zh":135,"answer_zh":136,"source_url":137},22943,"如何计算 Uformer-16 和 Uformer-32 的 Flops 和参数量？为什么我计算的结果与论文不同？","论文中的数值是通过手动计算每个算子得出的，而使用 `ptflops` 等自动包计算可能会得到略高的结果（例如 Uformer-16 约为 12.00 G，Uformer-32 约为 43.86 G）。原始论文中的数值后续会进行修正以反映更准确的计算方式。","https:\u002F\u002Fgithub.com\u002FZhendongWang6\u002FUformer\u002Fissues\u002F16",{"id":139,"question_zh":140,"answer_zh":141,"source_url":142},22944,"为什么论文中 SIDD 数据集的 SSIM 值（0.970）显著高于 PapersWithCode 上的其他方法（约 0.959）？","这是因为使用了 `skimage.metrics.structural_similarity` 方法计算 SSIM，该方法在某些情况下可能得出不准确或偏高的结果，导致与其他使用不同计算方法的文章结果不可直接比较。目前建议使用该方法复现论文结果，但需注意其与其他方法的差异性。","https:\u002F\u002Fgithub.com\u002FZhendongWang6\u002FUformer\u002Fissues\u002F28",{"id":144,"question_zh":145,"answer_zh":146,"source_url":147},22945,"训练去模糊（Deblur）任务（如 GoPro 数据集）的代码和预训练模型在哪里？","维护者已上传了用于去模糊任务的代码和模型。请在仓库的最新版本中查找相关文件和说明，即可进行 GoPro 数据集的训练或推理。","https:\u002F\u002Fgithub.com\u002FZhendongWang6\u002FUformer\u002Fissues\u002F39",{"id":149,"question_zh":150,"answer_zh":151,"source_url":152},22946,"SIDD-Medium sRGB 数据集中的 Mirror 1 和 Mirror 2 有什么区别？应该使用哪一个？","Mirror 1 和 Mirror 2 的数据内容是一样的，没有区别。您可以任选其中一个镜像源进行下载和使用。","https:\u002F\u002Fgithub.com\u002FZhendongWang6\u002FUformer\u002Fissues\u002F19",[]]