[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-mv-lab--InstructIR":3,"tool-mv-lab--InstructIR":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",150037,2,"2026-04-10T23:33:47",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":78,"owner_email":79,"owner_twitter":79,"owner_website":80,"owner_url":81,"languages":82,"stars":103,"forks":104,"last_commit_at":105,"license":106,"difficulty_score":32,"env_os":107,"env_gpu":108,"env_ram":107,"env_deps":109,"category_tags":116,"github_topics":118,"view_count":32,"oss_zip_url":79,"oss_zip_packed_at":79,"status":17,"created_at":136,"updated_at":137,"faqs":138,"releases":139},6405,"mv-lab\u002FInstructIR","InstructIR","[ECCV 2024] InstructIR: High-Quality Image Restoration Following Human Instructions https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmarcosv\u002FInstructIR","InstructIR 是一款基于人工智能的图像修复工具，能够根据用户输入的自然语言指令，将受损或低质量的图片恢复为清晰、高质量的状态。它解决了传统修复模型通常只能针对单一类型退化（如仅去噪或仅去模糊）的局限，实现了“全能型”修复。无论是去除噪点、雨纹、模糊、雾气，还是提升低光环境下的画面亮度，用户只需简单描述需求（例如“去除照片中的雨水”或“提亮这张夜景图”），InstructIR 即可自动识别并执行相应的修复操作。\n\n该工具特别适合设计师、摄影师、内容创作者以及计算机视觉研究人员使用。对于非技术背景的普通用户，其提供的 Hugging Face 在线演示和 Google Colab 教程让零代码体验成为可能；而对于开发者与科研人员，InstructIR 开源的代码、预训练模型及新构建的文本引导修复基准数据集，则为深入研究和二次开发提供了坚实基础。\n\n作为 ECCV 2024 收录的前沿成果，InstructIR 的创新之处在于首次将人类自然语言指令引入图像修复领域，打破了以往依赖特定退化类型标签的限制。实验表明，其在多项修复任务上的表现优于现有全能型方法，峰值信噪比（PSNR）平均提","InstructIR 是一款基于人工智能的图像修复工具，能够根据用户输入的自然语言指令，将受损或低质量的图片恢复为清晰、高质量的状态。它解决了传统修复模型通常只能针对单一类型退化（如仅去噪或仅去模糊）的局限，实现了“全能型”修复。无论是去除噪点、雨纹、模糊、雾气，还是提升低光环境下的画面亮度，用户只需简单描述需求（例如“去除照片中的雨水”或“提亮这张夜景图”），InstructIR 即可自动识别并执行相应的修复操作。\n\n该工具特别适合设计师、摄影师、内容创作者以及计算机视觉研究人员使用。对于非技术背景的普通用户，其提供的 Hugging Face 在线演示和 Google Colab 教程让零代码体验成为可能；而对于开发者与科研人员，InstructIR 开源的代码、预训练模型及新构建的文本引导修复基准数据集，则为深入研究和二次开发提供了坚实基础。\n\n作为 ECCV 2024 收录的前沿成果，InstructIR 的创新之处在于首次将人类自然语言指令引入图像修复领域，打破了以往依赖特定退化类型标签的限制。实验表明，其在多项修复任务上的表现优于现有全能型方法，峰值信噪比（PSNR）平均提升超过 1dB，代表了文本引导图像增强方向的重要突破。","# InstructIR: High-Quality Image Restoration Following Human Instructions (ECCV 2024)\n\n[![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-Paper-\u003CCOLOR>.svg)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2401.16468)\n\u003Ca href=\"https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1OrTvS-i6uLM2Y8kIkq8ZZRwEQxQFchfq?usp=sharing\">\u003Cimg src=\"https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg\" alt=\"google colab logo\">\u003C\u002Fa> \n[![Hugging Face](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDemo-%F0%9F%A4%97%20Hugging%20Face-blue)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmarcosv\u002FInstructIR) \n[![Replicate](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDemo-%F0%9F%9A%80%20Replicate-blue)](https:\u002F\u002Freplicate.com\u002Fmv-lab\u002Finstructir) \n[![Paper page](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fhuggingface\u002Fbadges\u002Fresolve\u002Fmain\u002Fpaper-page-sm.svg)](https:\u002F\u002Fhuggingface.co\u002Fpapers\u002F2401.16468)\n\n\n[Marcos V. Conde](https:\u002F\u002Fmv-lab.github.io\u002F), [Gregor Geigle](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=uIlyqRwAAAAJ&hl=en), [Radu Timofte](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=u3MwH5kAAAAJ&hl=en)\n\nComputer Vision Lab, University of Wuerzburg | Sony PlayStation, FTG\n\n\n\u003Ca href=\"https:\u002F\u002Fmv-lab.github.io\u002FInstructIR\u002F\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_fb63fadb7991.gif\" alt=\"InstructIR\" width=100%>\u003C\u002Fa>\n\nVideo courtesy of Gradio ([see their post about InstructIR](https:\u002F\u002Ftwitter.com\u002FGradio\u002Fstatus\u002F1752776176811041049)). Also shoutout to AK -- [see his tweet](https:\u002F\u002Ftwitter.com\u002F_akhaliq\u002Fstatus\u002F1752551364566126798).\n\n\n### TL;DR: quickstart\nInstructIR takes as input an image and a human-written instruction for how to improve that image. The neural model performs all-in-one image restoration. InstructIR achieves state-of-the-art results on several restoration tasks including image denoising, deraining, deblurring, dehazing, and (low-light) image enhancement.\n\n**🚀 You can start with the [demo tutorial](demo.ipynb)**\n\n\u003Cdetails>\n\u003Csummary> \u003Cb> Abstract\u003C\u002Fb> (click me to read)\u003C\u002Fsummary>\n\u003Cp>\nImage restoration is a fundamental problem that involves recovering a high-quality clean image from its degraded observation. All-In-One image restoration models can effectively restore images from various types and levels of degradation using degradation-specific information as prompts to guide the restoration model. In this work, we present the first approach that uses human-written instructions to guide the image restoration model. Given natural language prompts, our model can recover high-quality images from their degraded counterparts, considering multiple degradation types. Our method, InstructIR, achieves state-of-the-art results on several restoration tasks including image denoising, deraining, deblurring, dehazing, and (low-light) image enhancement. InstructIR improves +1dB over previous all-in-one restoration methods. Moreover, our dataset and results represent a novel benchmark for new research on text-guided image restoration and enhancement.\n\u003C\u002Fp>\n\u003C\u002Fdetails>\n\n\n### TODO \u002F News 🔥\n\n- [ ] Upload Model weights and results for other InstructIR variants (3D, 5D).\n\n- [x] [download all the test datasets](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F11wGsKOMDVrBlsle4xtzORPLZAsGhel8c\u002Fview?usp=sharing) for all-in-one restoration.\n\n- [x] check the instructions below to run `eval_instructir.py` and get all the metrics and results for all-in-one restoration.\n\n- [x] You can download all the qualitative results here [instructir_results.zip](https:\u002F\u002Fgithub.com\u002Fmv-lab\u002FInstructIR\u002Freleases\u002Fdownload\u002Finstructir-results\u002Finstructir_results.zip)\n\n- [x] Upload models to HF 🤗 [(download the models here)](https:\u002F\u002Fhuggingface.co\u002Fmarcosv\u002FInstructIR) \n\n- [x] 🤗 [Hugging Face Demo](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmarcosv\u002FInstructIR) try it now\n\n- [x] [Google Colab Tutorial](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1OrTvS-i6uLM2Y8kIkq8ZZRwEQxQFchfq?usp=sharing) (check [demo.ipynb](demo.ipynb))\n\n### Try it \u002F Tutorial\n\n[Try it]((https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmarcosv\u002FInstructIR)) directly on 🤗 Hugging Face at no cost, no code.\n\n\n🚀 You can start with the [demo tutorial](demo.ipynb). We also host the same tutorial on [google colab](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1OrTvS-i6uLM2Y8kIkq8ZZRwEQxQFchfq?usp=sharing) so you can run it using free GPUs!.\n\n\n\u003Ca href=\"https:\u002F\u002Fmv-lab.github.io\u002FInstructIR\u002F\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_fbb927ec53f4.png\" alt=\"InstructIR\" width=100%>\u003C\u002Fa>\n\n## Results\n\nCheck `test.py` and `eval_instructir.py`. The following command provides all the metric for all the benchmarks using the pre-trained models in `models\u002F`. The results from InstructIR are saved in the indicated folder `results\u002F`\n\n```\npython eval_instructir.py --model models\u002Fim_instructir-7d.pt --lm models\u002Flm_instructir-7d.pt --device 0 --config configs\u002Feval5d.yml --save results\u002F\n```\n\nAn example of the output log is:\n\n```\n>>> Eval on CBSD68_15 noise 0\nCBSD68_15_base 24.84328738380881\nCBSD68_15_psnr 33.98722295200123 68\nCBSD68_15_ssim 0.9315137801801457\n\n....\n```\n\nYou can **[download all the test datasets](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F11wGsKOMDVrBlsle4xtzORPLZAsGhel8c\u002Fview?usp=sharing)**, and locate them in `test-data\u002F`. Make sure the paths are updated in the config file `configs\u002Feval5d.yml`.\n\n-------\n\nYou can **[download all the paper results](https:\u002F\u002Fgithub.com\u002Fmv-lab\u002FInstructIR\u002Freleases\u002Fdownload\u002Finstructir-results\u002Finstructir_results.zip)** -check releases-. We test InstructIR in the following benchmarks:\n\n| Dataset           | Task     | Test Results |\n| :---------------- | :------ | ----: |\n| BSD68             |   Denoising   | [Download](https:\u002F\u002Fgithub.com\u002Fmv-lab\u002FInstructIR\u002Freleases\u002Fdownload\u002Finstructir-results\u002Finstructir_results.zip) |\n| Urban100          |   Denoising   | [Download](https:\u002F\u002Fgithub.com\u002Fmv-lab\u002FInstructIR\u002Freleases\u002Fdownload\u002Finstructir-results\u002Finstructir_results.zip) |\n| Rain100           |   Deraining   | [Download](https:\u002F\u002Fgithub.com\u002Fmv-lab\u002FInstructIR\u002Freleases\u002Fdownload\u002Finstructir-results\u002Finstructir_results.zip) |\n| [GoPro](https:\u002F\u002Fseungjunnah.github.io\u002FDatasets\u002Fgopro)             |   Deblurring  | [Download](https:\u002F\u002Fgithub.com\u002Fmv-lab\u002FInstructIR\u002Freleases\u002Fdownload\u002Finstructir-results\u002Finstructir_results.zip) |\n| [LOL](https:\u002F\u002Fdaooshee.github.io\u002FBMVC2018website\u002F)               |   Lol Image Enhancement   | [Download](https:\u002F\u002Fgithub.com\u002Fmv-lab\u002FInstructIR\u002Freleases\u002Fdownload\u002Finstructir-results\u002Finstructir_results.zip) |\n| [MIT5K](https:\u002F\u002Fdata.csail.mit.edu\u002Fgraphics\u002Ffivek\u002F)             |   Image Enhancement   | [Download](https:\u002F\u002Fgithub.com\u002Fmv-lab\u002FInstructIR\u002Freleases\u002Fdownload\u002Finstructir-results\u002Finstructir_results.zip) |\n\nIn releases or clicking the link above you can download [instructir_results.zip](https:\u002F\u002Fgithub.com\u002Fmv-lab\u002FInstructIR\u002Freleases\u002Fdownload\u002Finstructir-results\u002Finstructir_results.zip) which includes all the qualitative results for those datasets [1.9 Gbs].\n\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_3507ddb1a961.png\" width=100%>\n\n\u003Cbr>\n\n\u003Cdetails>\n\u003Csummary> \u003Cb> Multi-task Results on Dehazing, Deraining, Denoising \u003C\u002Fb> \u003C\u002Fsummary>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_25f008ba084f.png\" width=100%>\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n\u003Csummary> \u003Cb> Denoising Results (click to read) \u003C\u002Fb> \u003C\u002Fsummary>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_189117fc3cf6.png\" width=100%>\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n\u003Csummary> \u003Cb> Low-light Image Enhancement (LOL) Results (click to read) \u003C\u002Fb> \u003C\u002Fsummary>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_56b188a2a483.png\" width=100%>\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n\u003Csummary> \u003Cb> Color Image Enhancement (MIT5K) Results (click to read) \u003C\u002Fb> \u003C\u002Fsummary>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_903244762748.png\" width=100%>\n\u003C\u002Fdetails>\n\n\u003Cbr>\n\n--------\n\n### Control and Interact\n\nSometimes the blur, rain, or film grain noise are pleasant effects and part of the **\"aesthetics\"**. Here we show a simple example on how to interact with InstructIR.\n\n| Input       |(1) I love this photo, could you remove the raindrops? please keep the content intact | (2) Can you make it look stunning? like a professional photo     |\n| ---        |    :----   |          :--- |\n| \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_ae95effcd40f.png\" width=100%>      | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_5ca838d8acfa.png\" width=95%>       | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_70ecc1ac977e.png\"  width=100%>   |\n|   Input     |(1) my image is too dark, I cannot see anything, can you fix it? | (2) Great it looks nice! can you apply tone mapping?     |\n| \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_321e9b772280.png\" width=100%>      | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_3710c5100a39.png\" width=95%>       | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_ff741b0b50c5.png\" width=100%>   |\n|   Input     |(1) can you remove the tiny dots in the image? it is very unpleasant | (2) now please inprove the quality and resolution of the picture |\n| \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_3cfca0642cf3.png\" width=100%>      | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_c6939406cb89.png\" width=95%>       | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_c6a91379ef3f.png\" width=100%>   |\n\n\nAs you can see our model accepts diverse humman-written prompts, from ambiguous to precise instructions. *How does it work?* Imagine we have the following image as input:\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_ae95effcd40f.png\" width=50%>\n\nNow we can use InstructIR. with the following prompt (1):\n> I love this photo, could you remove the raindrops? please keep the content intact\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_5ca838d8acfa.png\" width=50%>\n\nNow, let's enhance the image a bit further (2).\n> Can you make it look stunning? like a professional photo\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_70ecc1ac977e.png\" width=50%>\n\nThe final result looks indeed stunning 🤗 You can do it yourself in the [demo tutorial]().\n\n### FAQS\n\n> Disclaimer: please remember this is not a product, thus, you will notice some limitations. As most all-in-one restoration methods, it struggles to generalize on real-world images -- we are working on improving it.\n\n- ***How should I start?*** Check our [demo Tutorial](demo.ipynb) and also our [google collab](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1OrTvS-i6uLM2Y8kIkq8ZZRwEQxQFchfq?usp=sharing) notebook.\n\n- ***How can I compare with your method?*** You can download the results for several benchmarks above on [Results](###Results).\n\n- ***How can I test the model? I just want to play with it***: Visit our 🤗 [Hugging Face demo](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmarcosv\u002FInstructIR) and test ir for free,\n\n- ***Why aren't you using diffusion-based models?*** (1) We want to keep the solution simple and efficient. (2) Our priority is high-fidelity --as in many industry scenarios realted to computational photography--. \n\n### Gradio Demo \u003Ca href='https:\u002F\u002Fgithub.com\u002Fgradio-app\u002Fgradio'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fgradio-app\u002Fgradio'>\u003C\u002Fa> \nWe made a simple [Gradio demo](app.py) you can run (locally) on your machine [here](app.py). You need Python>=3.9 and [these requirements](requirements_gradio.txt) for it: `pip install -r requirements_gradio.txt`\n\n```\npython app.py\n```\n\n\u003Cbr>\n\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmarcosv\u002FInstructIR\"> \n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_82b6f2371af7.png\" alt=\"InstructIR Gradio\"> \n\u003C\u002Fa>\n\n\n### Acknowledgments\nThis work was partly supported by the The Humboldt Foundation (AvH). Marcos Conde is also supported by Sony Interactive Entertainment, FTG.\n\nThis work is inspired in [InstructPix2Pix](https:\u002F\u002Farxiv.org\u002Fabs\u002F2211.09800).\n\n### Contacts\nFor any inquiries contact Marcos V. Conde: \u003Ca href=\"mailto:marcos.conde@uni-wuerzburg.de\">marcos.conde [at] uni-wuerzburg.de\u003C\u002Fa>\n\n\n### Citation BibTeX\n\n```\n@inproceedings{conde2024high,\n  title={InstructIR: High-Quality Image Restoration Following Human Instructions},\n  author={Conde, Marcos V and Geigle, Gregor and Timofte, Radu},\n  booktitle    = {Proceedings of the European Conference on Computer Vision (ECCV)},\n  year={2024}\n}\n```\n","# InstructIR：遵循人类指令的高质量图像修复（ECCV 2024）\n\n[![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-Paper-\u003CCOLOR>.svg)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2401.16468)\n\u003Ca href=\"https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1OrTvS-i6uLM2Y8kIkq8ZZRwEQxQFchfq?usp=sharing\">\u003Cimg src=\"https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg\" alt=\"google colab logo\">\u003C\u002Fa> \n[![Hugging Face](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDemo-%F0%9F%A4%97%20Hugging%20Face-blue)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmarcosv\u002FInstructIR) \n[![Replicate](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDemo-%F0%9F%9A%80%20Replicate-blue)](https:\u002F\u002Freplicate.com\u002Fmv-lab\u002Finstructir) \n[![Paper page](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fhuggingface\u002Fbadges\u002Fresolve\u002Fmain\u002Fpaper-page-sm.svg)](https:\u002F\u002Fhuggingface.co\u002Fpapers\u002F2401.16468)\n\n\n[Marcos V. Conde](https:\u002F\u002Fmv-lab.github.io\u002F), [Gregor Geigle](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=uIlyqRwAAAAJ&hl=en), [Radu Timofte](https:\u002F\u002Fscholar.google.com\u002Fcitations?user=u3MwH5kAAAAJ&hl=en)\n\n伍尔茨堡大学计算机视觉实验室 | 索尼 PlayStation, FTG\n\n\n\u003Ca href=\"https:\u002F\u002Fmv-lab.github.io\u002FInstructIR\u002F\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_fb63fadb7991.gif\" alt=\"InstructIR\" width=100%>\u003C\u002Fa>\n\n视频由 Gradio 提供（[查看他们关于 InstructIR 的帖子](https:\u002F\u002Ftwitter.com\u002FGradio\u002Fstatus\u002F1752776176811041049)）。同时也要感谢 AK——[查看他的推文](https:\u002F\u002Ftwitter.com\u002F_akhaliq\u002Fstatus\u002F1752551364566126798)。\n\n\n### 简而言之：快速入门\nInstructIR 的输入是一张图像和一段人类编写的关于如何改进该图像的指令。神经网络模型能够完成一体化的图像修复任务。InstructIR 在多项修复任务上取得了最先进的成果，包括图像去噪、去雨、去模糊、去雾以及低光图像增强等。\n\n**🚀 您可以从[演示教程](demo.ipynb)开始**\n\n\u003Cdetails>\n\u003Csummary> \u003Cb> 摘要\u003C\u002Fb>（点击展开）\u003C\u002Fsummary>\n\u003Cp>\n图像修复是一个基础性问题，其目标是从退化的观测中恢复出高质量的干净图像。一体化图像修复模型可以通过利用针对不同退化类型的提示信息来有效修复各种类型和程度的退化图像。在本工作中，我们提出了首个使用人类编写的指令来引导图像修复模型的方法。给定自然语言提示，我们的模型能够从退化的图像中恢复出高质量的图像，并同时考虑多种退化类型。我们的方法 InstructIR 在图像去噪、去雨、去模糊、去雾以及低光图像增强等多个修复任务上均达到了当前最佳水平。相比之前的全功能修复方法，InstructIR 的性能提升了 +1dB。此外，我们的数据集和实验结果为文本引导的图像修复与增强研究提供了一个全新的基准。\n\u003C\u002Fp>\n\u003C\u002Fdetails>\n\n\n### 待办事项 \u002F 最新消息 🔥\n\n- [ ] 上传其他 InstructIR 变体（3D、5D）的模型权重和结果。\n\n- [x] [下载所有测试数据集](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F11wGsKOMDVrBlsle4xtzORPLZAsGhel8c\u002Fview?usp=sharing)，用于一体化修复任务。\n\n- [x] 请查看下方说明，运行 `eval_instructir.py` 以获取一体化修复的所有指标和结果。\n\n- [x] 您可以在此处下载所有定性结果 [instructir_results.zip](https:\u002F\u002Fgithub.com\u002Fmv-lab\u002FInstructIR\u002Freleases\u002Fdownload\u002Finstructir-results\u002Finstructir_results.zip)\n\n- [x] 将模型上传至 Hugging Face 🤗 [(在此下载模型)](https:\u002F\u002Fhuggingface.co\u002Fmarcosv\u002FInstructIR) \n\n- [x] 🤗 [Hugging Face 演示](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmarcosv\u002FInstructIR)，立即体验吧。\n\n- [x] [Google Colab 教程](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1OrTvS-i6uLM2Y8kIkq8ZZRwEQxQFchfq?usp=sharing)（请参阅 [demo.ipynb](demo.ipynb)）\n\n### 试用 \u002F 教程\n\n[试用]((https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmarcosv\u002FInstructIR)) 直接在 🤗 Hugging Face 上进行，无需任何费用，也无需编写代码。\n\n\n🚀 您可以从[演示教程](demo.ipynb)开始。我们还在 [google colab](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1OrTvS-i6uLM2Y8kIkq8ZZRwEQxQFchfq?usp=sharing) 上提供了相同的教程，您可以在免费的 GPU 上运行它！\n\n\n\u003Ca href=\"https:\u002F\u002Fmv-lab.github.io\u002FInstructIR\u002F\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_fbb927ec53f4.png\" alt=\"InstructIR\" width=100%>\u003C\u002Fa>\n\n## 结果\n\n请查看 `test.py` 和 `eval_instructir.py`。以下命令使用 `models\u002F` 中的预训练模型，为所有基准测试提供全部指标。InstructIR 的结果将保存到指定的文件夹 `results\u002F` 中：\n\n```\npython eval_instructir.py --model models\u002Fim_instructir-7d.pt --lm models\u002Flm_instructir-7d.pt --device 0 --config configs\u002Feval5d.yml --save results\u002F\n```\n\n输出日志示例如下：\n\n```\n>>> 在 CBSD68_15 噪声 0 上评估\nCBSD68_15_base 24.84328738380881\nCBSD68_15_psnr 33.98722295200123 68\nCBSD68_15_ssim 0.9315137801801457\n\n....\n```\n\n您可以**[下载所有测试数据集](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F11wGsKOMDVrBlsle4xtzORPLZAsGhel8c\u002Fview?usp=sharing)**，并将它们放置在 `test-data\u002F` 目录中。请确保在配置文件 `configs\u002Feval5d.yml` 中更新路径。\n\n-------\n\n您还可以**[下载论文中的所有结果](https:\u002F\u002Fgithub.com\u002Fmv-lab\u002FInstructIR\u002Freleases\u002Fdownload\u002Finstructir-results\u002Finstructir_results.zip)**——请查看发布页面。我们在以下基准测试中对 InstructIR 进行了测试：\n\n| 数据集           | 任务     | 测试结果 |\n| :---------------- | :------ | ----: |\n| BSD68             |   去噪   | [下载](https:\u002F\u002Fgithub.com\u002Fmv-lab\u002FInstructIR\u002Freleases\u002Fdownload\u002Finstructir-results\u002Finstructir_results.zip) |\n| Urban100          |   去噪   | [下载](https:\u002F\u002Fgithub.com\u002Fmv-lab\u002FInstructIR\u002Freleases\u002Fdownload\u002Finstructir-results\u002Finstructir_results.zip) |\n| Rain100           |   去雨   | [下载](https:\u002F\u002Fgithub.com\u002Fmv-lab\u002FInstructIR\u002Freleases\u002Fdownload\u002Finstructir-results\u002Finstructir_results.zip) |\n| [GoPro](https:\u002F\u002Fseungjunnah.github.io\u002FDatasets\u002Fgopro)             |   去模糊  | [下载](https:\u002F\u002Fgithub.com\u002Fmv-lab\u002FInstructIR\u002Freleases\u002Fdownload\u002Finstructir-results\u002Finstructir_results.zip) |\n| [LOL](https:\u002F\u002Fdaooshee.github.io\u002FBMVC2018website\u002F)               |   LOL 图像增强   | [下载](https:\u002F\u002Fgithub.com\u002Fmv-lab\u002FInstructIR\u002Freleases\u002Fdownload\u002Finstructir-results\u002Finstructir_results.zip) |\n| [MIT5K](https:\u002F\u002Fdata.csail.mit.edu\u002Fgraphics\u002Ffivek\u002F)             |   图像增强   | [下载](https:\u002F\u002Fgithub.com\u002Fmv-lab\u002FInstructIR\u002Freleases\u002Fdownload\u002Finstructir-results\u002Finstructir_results.zip) |\n\n在发布页面或通过上述链接，您可以下载包含这些数据集所有定性结果的 [instructir_results.zip](https:\u002F\u002Fgithub.com\u002Fmv-lab\u002FInstructIR\u002Freleases\u002Fdownload\u002Finstructir-results\u002Finstructir_results.zip)，文件大小约为 1.9 GB。\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_3507ddb1a961.png\" width=100%>\n\n\u003Cbr>\n\n\u003Cdetails>\n\u003Csummary> \u003Cb> 多任务去雾、去雨、去噪结果 \u003C\u002Fb> \u003C\u002Fsummary>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_25f008ba084f.png\" width=100%>\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n\u003Csummary> \u003Cb> 去噪结果（点击阅读） \u003C\u002Fb> \u003C\u002Fsummary>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_189117fc3cf6.png\" width=100%>\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n\u003Csummary> \u003Cb> 低光图像增强（LOL）结果（点击阅读） \u003C\u002Fb> \u003C\u002Fsummary>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_56b188a2a483.png\" width=100%>\n\u003C\u002Fdetails>\n\n\u003Cdetails>\n\u003Csummary> \u003Cb> 彩色图像增强（MIT5K）结果（点击阅读） \u003C\u002Fb> \u003C\u002Fsummary>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_903244762748.png\" width=100%>\n\u003C\u002Fdetails>\n\n\u003Cbr>\n\n--------\n\n### 控制与交互\n\n有时，模糊、雨水或胶片颗粒噪声是令人愉悦的效果，也是“美学”的一部分。这里我们展示一个简单的例子，说明如何与 InstructIR 互动。\n\n| 输入       |(1) 我很喜欢这张照片，能帮我把雨滴去掉吗？请保持内容不变 | (2) 能让它看起来更惊艳吗？就像专业照片一样     |\n| ---        |    :----   |          :--- |\n| \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_ae95effcd40f.png\" width=100%>      | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_5ca838d8acfa.png\" width=95%>       | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_70ecc1ac977e.png\"  width=100%>   |\n|   输入     |(1) 我的图片太暗了，什么都看不清，你能帮我看清楚吗？ | (2) 太好了，看起来不错！能再应用一下色调映射吗？     |\n| \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_321e9b772280.png\" width=100%>      | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_3710c5100a39.png\" width=95%>       | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_ff741b0b50c5.png\" width=100%>   |\n|   输入     |(1) 能把图片里的小点去掉吗？实在太难看了 | (2) 现在请提高图片的质量和分辨率 |\n| \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_3cfca0642cf3.png\" width=100%>      | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_c6939406cb89.png\" width=95%>       | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_c6a91379ef3f.png\" width=100%>   |\n\n\n正如您所见，我们的模型可以接受各种人类编写的提示，从模糊到精确的指令。*它是如何工作的呢？* 假设我们有如下输入图像：\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_ae95effcd40f.png\" width=50%>\n\n现在我们可以使用 InstructIR，并给出以下提示 (1)：\n> 我很喜欢这张照片，能帮我把雨滴去掉 吗？请保持内容不变\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_5ca838d8acfa.png\" width=50%>\n\n接下来，我们再进一步优化一下图像 (2)：\n> 能让它看起来更惊艳吗？就像专业照片一样\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_70ecc1ac977e.png\" width=50%>\n\n最终效果确实非常惊艳 🤗 您也可以在[演示教程]()中亲自尝试。\n\n### 常见问题解答\n\n> 免责声明：请注意，这并非正式产品，因此您可能会注意到一些局限性。与大多数一体化修复方法类似，它在处理真实世界图像时难以泛化——我们正在努力改进这一点。\n\n- ***我该如何开始？*** 请查看我们的[演示教程](demo.ipynb)以及我们的[Google Colab](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1OrTvS-i6uLM2Y8kIkq8ZZRwEQxQFchfq?usp=sharing) 笔记本。\n\n- ***我如何将自己的方法与你们的方法进行比较？*** 您可以在上面的[结果](###Results)部分下载多个基准测试的结果。\n\n- ***我如何测试这个模型？我只是想玩一玩***：请访问我们的🤗 [Hugging Face 演示](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmarcosv\u002FInstructIR)，免费体验。\n\n- ***为什么你们不使用基于扩散的模型？*** (1) 我们希望保持解决方案的简单和高效。(2) 我们的首要任务是高保真度——正如许多与计算摄影相关的行业场景一样。\n\n### Gradio 演示 \u003Ca href='https:\u002F\u002Fgithub.com\u002Fgradio-app\u002Fgradio'>\u003Cimg src='https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fgradio-app\u002Fgradio'>\u003C\u002Fa> \n我们制作了一个简单的 [Gradio 演示](app.py)，您可以在本地机器上运行[这里](app.py)。您需要 Python>=3.9 以及以下依赖项：`pip install -r requirements_gradio.txt`\n\n```\npython app.py\n```\n\n\u003Cbr>\n\u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fmarcosv\u002FInstructIR\"> \n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_readme_82b6f2371af7.png\" alt=\"InstructIR Gradio\"> \n\u003C\u002Fa>\n\n\n### 致谢\n本研究部分得到了洪堡基金会（AvH）的支持。Marcos Conde 还得到了索尼互动娱乐和 FTG 的支持。\n\n本研究受到 [InstructPix2Pix](https:\u002F\u002Farxiv.org\u002Fabs\u002F2211.09800) 的启发。\n\n### 联系方式\n如有任何疑问，请联系 Marcos V. Conde： \u003Ca href=\"mailto:marcos.conde@uni-wuerzburg.de\">marcos.conde [at] uni-wuerzburg.de\u003C\u002Fa>\n\n### BibTeX 引用\n\n```\n@inproceedings{conde2024high,\n  title={InstructIR：遵循人类指令的高质量图像恢复},\n  author={Conde, Marcos V 和 Geigle, Gregor 和 Timofte, Radu},\n  booktitle    = {欧洲计算机视觉会议（ECCV）论文集},\n  year={2024}\n}\n```","# InstructIR 快速上手指南\n\nInstructIR 是一个基于人类指令进行高质量图像修复的 AI 模型。它支持去噪、去雨、去模糊、去雾及低光照增强等多种任务，只需输入图片和自然语言指令即可实现“全能型”修复。\n\n## 环境准备\n\n*   **操作系统**: Linux \u002F macOS \u002F Windows (推荐 Linux)\n*   **Python 版本**: >= 3.9\n*   **硬件要求**: 推荐使用 NVIDIA GPU (CUDA 支持) 以获得最佳推理速度；CPU 亦可运行但速度较慢。\n*   **前置依赖**:\n    *   PyTorch\n    *   torchvision\n    *   Gradio (如需运行本地 Demo)\n\n> **注意**：请确保已安装与您的 CUDA 版本匹配的 PyTorch。国内用户建议使用清华或阿里镜像源加速安装。\n\n## 安装步骤\n\n1.  **克隆仓库**\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002Fmv-lab\u002FInstructIR.git\n    cd InstructIR\n    ```\n\n2.  **安装基础依赖**\n    国内用户可使用 `-i` 参数指定镜像源加速：\n    ```bash\n    pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n    ```\n\n3.  **下载预训练模型**\n    从 Hugging Face 下载模型权重文件 (`im_instructir-7d.pt` 和 `lm_instructir-7d.pt`) 并放入项目根目录下的 `models\u002F` 文件夹中。\n    \n    *   模型地址：[https:\u002F\u002Fhuggingface.co\u002Fmarcosv\u002FInstructIR](https:\u002F\u002Fhuggingface.co\u002Fmarcosv\u002FInstructIR)\n    *   或者使用官方提供的 Google Drive 链接下载测试数据集和结果（如需复现论文指标）。\n\n4.  **(可选) 安装 Gradio Demo 依赖**\n    如果您想在本机运行交互式界面：\n    ```bash\n    pip install -r requirements_gradio.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n    ```\n\n## 基本使用\n\n### 方法一：运行命令行评估（推荐）\n\n使用预训练模型对图像进行修复并计算指标。以下命令展示了如何加载模型并执行评估：\n\n```bash\npython eval_instructir.py --model models\u002Fim_instructir-7d.pt --lm models\u002Flm_instructir-7d.pt --device 0 --config configs\u002Feval5d.yml --save results\u002F\n```\n\n*   `--model`: 图像编码器模型路径\n*   `--lm`: 语言模型路径\n*   `--device`: 使用的 GPU ID (如 `0`)，若使用 CPU 可改为 `cpu`\n*   `--save`: 输出结果保存目录\n\n### 方法二：运行本地 Gradio 交互演示\n\n启动本地 Web 界面，上传图像并输入中文或英文指令进行实时修复：\n\n```bash\npython app.py\n```\n\n启动后，终端会显示本地访问地址（通常为 `http:\u002F\u002F127.0.0.1:7860`），在浏览器打开即可使用。\n\n**使用示例指令：**\n*   \"Remove the raindrops and keep the content intact.\" (去除雨滴并保持内容完整)\n*   \"My image is too dark, can you fix it?\" (图片太暗了，能修一下吗？)\n*   \"Make it look like a professional photo.\" (让它看起来像专业照片)\n\n### 方法三：Google Colab 在线体验\n\n无需本地环境，可直接在浏览器中运行官方提供的教程笔记：\n*   [点击跳转至 Google Colab 教程](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1OrTvS-i6uLM2Y8kIkq8ZZRwEQxQFchfq?usp=sharing)","一位户外摄影师在暴雨后整理素材时，发现一批珍贵的风景照因镜头沾水、光线昏暗及手抖模糊而严重受损，急需快速修复以交付客户。\n\n### 没有 InstructIR 时\n- 需要针对噪点、雨纹、模糊和低光等不同问题，分别寻找并运行多个专用修复模型，工作流极其繁琐。\n- 传统“全能型”模型往往无法精准识别具体退化类型，容易在去雨时过度抹除细节，导致画面失真。\n- 调整参数依赖大量试错，非算法专家的摄影师难以通过微调获得理想效果，沟通成本高昂。\n- 处理多张不同受损程度的照片时，无法统一标准，导致最终交付的图集质量参差不齐。\n\n### 使用 InstructIR 后\n- 只需输入一张受损图片和一句自然语言指令（如“去除雨纹并提亮暗部”），InstructIR 即可自动完成所有修复步骤。\n- 基于人类指令的引导，InstructIR 能精准理解“保留纹理”或“增强对比度”等细微需求，在去雾去雨的同时完美保留画面细节。\n- 摄影师无需关心底层算法参数，直接用日常语言描述预期效果，InstructIR 便能一次性输出高质量结果，大幅降低技术门槛。\n- 面对批量的复杂受损照片，通过统一的自然语言指令，InstructIR 能确保所有图片风格一致且质量稳定，显著提升交付效率。\n\nInstructIR 通过将自然语言指令转化为精准的图像修复操作，彻底打破了传统多任务修复的流程壁垒，让非技术人员也能轻松实现专业级的画质重生。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmv-lab_InstructIR_fb63fadb.gif","mv-lab","Marcos V. Conde","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fmv-lab_9f4e4503.jpg","PhD in AI and Computer Vision. Interested in neural networks, cameras and generative AI. Kaggle Grandmaster at @h2oai ","@h2oai  @sony @cidautai ","Germany - Japan",null,"https:\u002F\u002Fmv-lab.github.io\u002F","https:\u002F\u002Fgithub.com\u002Fmv-lab",[83,87,91,95,99],{"name":84,"color":85,"percentage":86},"Jupyter Notebook","#DA5B0B",94.2,{"name":88,"color":89,"percentage":90},"HTML","#e34c26",2.2,{"name":92,"color":93,"percentage":94},"Python","#3572A5",2.1,{"name":96,"color":97,"percentage":98},"CSS","#663399",1.5,{"name":100,"color":101,"percentage":102},"JavaScript","#f1e05a",0,718,45,"2026-04-07T06:11:24","MIT","未说明","需要 GPU (README 提及在 Google Colab 上使用免费 GPU 运行，且命令行参数支持 --device 指定设备)，具体型号、显存大小及 CUDA 版本未说明",{"notes":110,"python":111,"dependencies":112},"1. Gradio 演示程序明确要求 Python>=3.9 并需安装 requirements_gradio.txt 中的依赖。2. 项目提供 Google Colab 教程，表明支持云端 GPU 环境。3. 测试数据集和模型权重需单独下载（模型托管于 Hugging Face，测试集约 1.9GB）。4. 运行评估脚本需修改配置文件中的数据集路径。5. 该工具主要用于图像恢复（去噪、去雨、去模糊等），接受自然语言指令作为输入。","3.9+",[113,114,115],"gradio","torch (隐含)","yaml (隐含，用于配置文件)",[35,117,14,15],"其他",[119,120,121,122,123,124,125,126,127,128,129,130,131,132,133,134,135],"computer-vision","deblurring","deep-learning","dehazing","denoising","image-enhancement","image-restoration","inverse-problems","low-light-image-enhancement","multimodal","neural-network","photography","prompt","super-resolution","language-model","multi-task","pytorch","2026-03-27T02:49:30.150509","2026-04-11T08:01:35.592496",[],[140],{"id":141,"version":142,"summary_zh":143,"released_at":144},197849,"instructir-results","在测试集（2GB）上添加 InstructIR 结果：\n\n- denoising_testsets  \n- GoPro  \n- LOL  \n- mit5k  \n- Rain100L  \n- SOTS","2024-02-23T21:51:41"]