用于 GNU 图像处理程序的人工智能

:star: :star: :star: :star: 欢迎支持。本分支仍在开发中。

已添加 DALL·E 3 和 DALL·E 2。

菜单截图

当前的代码库和模型正在广泛更新，以支持更先进、更稳定的功能。

引用

请使用以下 BibTeX 条目进行引用：

@article{soman2020GIMPML,
  title={GIMP-ML：在 GIMP 中使用计算机视觉模型的 Python 插件},
  author={Soman, Kritik},
  journal={arXiv 预印本 arXiv:2004.13060},
  year={2020}
}

设置/贡献

GIMP-ML 演示文稿

受 GIMP-ML 启发的相关工作

仓库	链接
Intel	Open VINO
GIMP-ML-Hub	GIMP-ML-Hub

模型库

名称	模型
用文本编辑图像	DALL·E 2
扩展图像	DALL·E 2
文本转图像	DALL·E 3

许可证

GIMP-ML 采用 许可证，但每个单独的插件都遵循与其原始模型相同的许可证。

GIMP-ML 快速上手指南

GIMP-ML 是一个为 GNU 图像 manipulation 程序（GIMP）设计的 Python 插件集合，旨在将先进的计算机视觉和生成式 AI 模型（如 DALL-E 2/3）集成到 GIMP 的工作流中，实现文本修图、图像外绘（Outpainting）及文生图等功能。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：推荐 Linux (Ubuntu/Debian) 或 macOS。Windows 用户建议使用 WSL2 以获得最佳兼容性。
• 核心软件：已安装 GIMP 2.10 或更高版本。
• Python 环境：
  • Python 3.6+
  • pip 包管理器
  • git 版本控制工具
• 硬件建议：运行 DALL-E 等生成式模型需要较强的 GPU 支持（推荐 NVIDIA GPU 并安装 CUDA），部分轻量级模型可在 CPU 上运行但速度较慢。
• 网络环境：由于需要下载预训练模型和连接 OpenAI 服务，请确保网络通畅。国内用户建议在下载大型模型时使用代理或寻找国内镜像源。

安装步骤

1. 克隆项目仓库

首先，将 GIMP-ML 源代码克隆到本地目录：

git clone https://github.com/kritiksoman/GIMP-ML.git
cd GIMP-ML

2. 安装依赖

在项目根目录下安装所需的 Python 依赖包。建议先创建虚拟环境以避免冲突：

python3 -m venv venv
source venv/bin/activate  # Windows 用户使用: venv\Scripts\activate
pip install -r requirements.txt

提示：如果 pip 下载速度慢，可添加国内镜像源加速： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 配置 GIMP 插件路径

安装完成后，需要将插件链接到 GIMP 的插件目录。

Linux/macOS:

ln -s $(pwd)/plugins ~/.config/GIMP/2.10/plug-ins/

注意：如果 ~/.config/GIMP/2.10/plug-ins/ 目录不存在，请先手动创建。

Windows (PowerShell): 需手动将 plugins 文件夹复制到 GIMP 的安装目录下的 plug-ins 文件夹中，通常位于： C:\Users\<用户名>\AppData\Roaming\GIMP\2.10\plug-ins

4. 授权与重启

确保插件文件具有执行权限（Linux/macOS）：

chmod +x ~/.config/GIMP/2.10/plug-ins/plugins/*

重启 GIMP。启动后，您可以在菜单栏看到新增的 AI 或 GIMP-ML 选项。

基本使用

以下以使用 DALL-E 2 进行图像外绘（Outpainting） 为例，展示最基础的操作流程：

1. 打开图像：在 GIMP 中打开一张需要扩展背景的图片。
2. 调整画布：使用 图像 (Image) -> 画布大小 (Canvas Size) 扩大画布，留出需要 AI 填充的空白区域。
3. 调用插件：
   • 点击顶部菜单 Filters (滤镜) -> GIMP-ML (或 AI)。
   • 选择 Dalle 2 Outpaint (具体名称可能随版本更新略有不同)。
4. 参数设置：
   • 在弹出的对话框中输入描述提示词（Prompt），例如："a beautiful landscape, sunny day"。
   • 调整生成步数或置信度阈值（如有）。
5. 执行生成：点击 OK 或 Generate。插件将调用模型处理图像，新生成的内容将自动填充到选区或空白画布区域。
6. 后续编辑：生成完成后，该图层即为普通像素图层，您可以使用 GIMP 的标准工具（如画笔、橡皮擦、调色）进行微调。

注意：使用 DALL-E 3 或 DALL-E 2 功能通常需要配置有效的 OpenAI API Key。请在插件设置或环境变量中填入您的 OPENAI_API_KEY。