InstructIR：遵循人类指令的高质量图像修复（ECCV 2024）

Marcos V. Conde, Gregor Geigle, Radu Timofte

伍尔茨堡大学计算机视觉实验室 | 索尼 PlayStation, FTG

视频由 Gradio 提供（查看他们关于 InstructIR 的帖子）。同时也要感谢 AK——查看他的推文。

简而言之：快速入门

InstructIR 的输入是一张图像和一段人类编写的关于如何改进该图像的指令。神经网络模型能够完成一体化的图像修复任务。InstructIR 在多项修复任务上取得了最先进的成果，包括图像去噪、去雨、去模糊、去雾以及低光图像增强等。

🚀 您可以从演示教程开始

摘要（点击展开）

图像修复是一个基础性问题，其目标是从退化的观测中恢复出高质量的干净图像。一体化图像修复模型可以通过利用针对不同退化类型的提示信息来有效修复各种类型和程度的退化图像。在本工作中，我们提出了首个使用人类编写的指令来引导图像修复模型的方法。给定自然语言提示，我们的模型能够从退化的图像中恢复出高质量的图像，并同时考虑多种退化类型。我们的方法 InstructIR 在图像去噪、去雨、去模糊、去雾以及低光图像增强等多个修复任务上均达到了当前最佳水平。相比之前的全功能修复方法，InstructIR 的性能提升了 +1dB。此外，我们的数据集和实验结果为文本引导的图像修复与增强研究提供了一个全新的基准。

待办事项 / 最新消息 🔥

• 上传其他 InstructIR 变体（3D、5D）的模型权重和结果。

• 下载所有测试数据集，用于一体化修复任务。

• 请查看下方说明，运行 eval_instructir.py 以获取一体化修复的所有指标和结果。

• 您可以在此处下载所有定性结果 instructir_results.zip

• 将模型上传至 Hugging Face 🤗 (在此下载模型)

• 🤗 Hugging Face 演示，立即体验吧。

• Google Colab 教程（请参阅 demo.ipynb）

试用 / 教程

试用 直接在 🤗 Hugging Face 上进行，无需任何费用，也无需编写代码。

🚀 您可以从演示教程开始。我们还在 google colab 上提供了相同的教程，您可以在免费的 GPU 上运行它！

结果

请查看 test.py 和 eval_instructir.py。以下命令使用 models/ 中的预训练模型，为所有基准测试提供全部指标。InstructIR 的结果将保存到指定的文件夹 results/ 中：

python eval_instructir.py --model models/im_instructir-7d.pt --lm models/lm_instructir-7d.pt --device 0 --config configs/eval5d.yml --save results/

输出日志示例如下：

>>> 在 CBSD68_15 噪声 0 上评估
CBSD68_15_base 24.84328738380881
CBSD68_15_psnr 33.98722295200123 68
CBSD68_15_ssim 0.9315137801801457

....

您可以**下载所有测试数据集**，并将它们放置在 test-data/ 目录中。请确保在配置文件 configs/eval5d.yml 中更新路径。

---

您还可以**下载论文中的所有结果**——请查看发布页面。我们在以下基准测试中对 InstructIR 进行了测试：

数据集	任务	测试结果
BSD68	去噪	下载
Urban100	去噪	下载
Rain100	去雨	下载
GoPro	去模糊	下载
LOL	LOL 图像增强	下载
MIT5K	图像增强	下载

在发布页面或通过上述链接，您可以下载包含这些数据集所有定性结果的 instructir_results.zip，文件大小约为 1.9 GB。

多任务去雾、去雨、去噪结果

去噪结果（点击阅读）

低光图像增强（LOL）结果（点击阅读）

彩色图像增强（MIT5K）结果（点击阅读）

---

控制与交互

有时，模糊、雨水或胶片颗粒噪声是令人愉悦的效果，也是“美学”的一部分。这里我们展示一个简单的例子，说明如何与 InstructIR 互动。

输入	(1) 我很喜欢这张照片，能帮我把雨滴去掉吗？请保持内容不变	(2) 能让它看起来更惊艳吗？就像专业照片一样
输入	(1) 我的图片太暗了，什么都看不清，你能帮我看清楚吗？	(2) 太好了，看起来不错！能再应用一下色调映射吗？
输入	(1) 能把图片里的小点去掉吗？实在太难看了	(2) 现在请提高图片的质量和分辨率

正如您所见，我们的模型可以接受各种人类编写的提示，从模糊到精确的指令。它是如何工作的呢？ 假设我们有如下输入图像：

现在我们可以使用 InstructIR，并给出以下提示 (1)：

我很喜欢这张照片，能帮我把雨滴去掉 吗？请保持内容不变

接下来，我们再进一步优化一下图像 (2)：

能让它看起来更惊艳吗？就像专业照片一样

最终效果确实非常惊艳 🤗 您也可以在演示教程中亲自尝试。

常见问题解答

免责声明：请注意，这并非正式产品，因此您可能会注意到一些局限性。与大多数一体化修复方法类似，它在处理真实世界图像时难以泛化——我们正在努力改进这一点。

• 我该如何开始？ 请查看我们的演示教程以及我们的Google Colab 笔记本。

• 我如何将自己的方法与你们的方法进行比较？ 您可以在上面的结果部分下载多个基准测试的结果。

• 我如何测试这个模型？我只是想玩一玩：请访问我们的🤗 Hugging Face 演示，免费体验。

• 为什么你们不使用基于扩散的模型？ (1) 我们希望保持解决方案的简单和高效。(2) 我们的首要任务是高保真度——正如许多与计算摄影相关的行业场景一样。

Gradio 演示

我们制作了一个简单的 Gradio 演示，您可以在本地机器上运行这里。您需要 Python>=3.9 以及以下依赖项：pip install -r requirements_gradio.txt

python app.py

致谢

本研究部分得到了洪堡基金会（AvH）的支持。Marcos Conde 还得到了索尼互动娱乐和 FTG 的支持。

本研究受到 InstructPix2Pix 的启发。

联系方式

如有任何疑问，请联系 Marcos V. Conde： marcos.conde [at] uni-wuerzburg.de

BibTeX 引用

@inproceedings{conde2024high,
  title={InstructIR：遵循人类指令的高质量图像恢复},
  author={Conde, Marcos V 和 Geigle, Gregor 和 Timofte, Radu},
  booktitle    = {欧洲计算机视觉会议（ECCV）论文集},
  year={2024}
}

InstructIR 快速上手指南

InstructIR 是一个基于人类指令进行高质量图像修复的 AI 模型。它支持去噪、去雨、去模糊、去雾及低光照增强等多种任务，只需输入图片和自然语言指令即可实现“全能型”修复。

环境准备

• 操作系统: Linux / macOS / Windows (推荐 Linux)
• Python 版本: >= 3.9
• 硬件要求: 推荐使用 NVIDIA GPU (CUDA 支持) 以获得最佳推理速度；CPU 亦可运行但速度较慢。
• 前置依赖:
  • PyTorch
  • torchvision
  • Gradio (如需运行本地 Demo)

注意：请确保已安装与您的 CUDA 版本匹配的 PyTorch。国内用户建议使用清华或阿里镜像源加速安装。

安装步骤

1. 克隆仓库

   git clone https://github.com/mv-lab/InstructIR.git
   cd InstructIR
   

2. 安装基础依赖 国内用户可使用 -i 参数指定镜像源加速：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 下载预训练模型 从 Hugging Face 下载模型权重文件 (im_instructir-7d.pt 和 lm_instructir-7d.pt) 并放入项目根目录下的 models/ 文件夹中。

   • 模型地址：https://huggingface.co/marcosv/InstructIR
   • 或者使用官方提供的 Google Drive 链接下载测试数据集和结果（如需复现论文指标）。

4. (可选) 安装 Gradio Demo 依赖 如果您想在本机运行交互式界面：

   pip install -r requirements_gradio.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

方法一：运行命令行评估（推荐）

使用预训练模型对图像进行修复并计算指标。以下命令展示了如何加载模型并执行评估：

python eval_instructir.py --model models/im_instructir-7d.pt --lm models/lm_instructir-7d.pt --device 0 --config configs/eval5d.yml --save results/

• --model: 图像编码器模型路径
• --lm: 语言模型路径
• --device: 使用的 GPU ID (如 0)，若使用 CPU 可改为 cpu
• --save: 输出结果保存目录

方法二：运行本地 Gradio 交互演示

启动本地 Web 界面，上传图像并输入中文或英文指令进行实时修复：

python app.py

启动后，终端会显示本地访问地址（通常为 http://127.0.0.1:7860），在浏览器打开即可使用。

使用示例指令：

• "Remove the raindrops and keep the content intact." (去除雨滴并保持内容完整)
• "My image is too dark, can you fix it?" (图片太暗了，能修一下吗？)
• "Make it look like a professional photo." (让它看起来像专业照片)

方法三：Google Colab 在线体验

无需本地环境，可直接在浏览器中运行官方提供的教程笔记：

• 点击跳转至 Google Colab 教程