Opendream: 适合所有人的 Web 界面 💭 🎨

Opendream 为你的 Stable Diffusion 工作流带来了急需且熟悉的特性，例如图层管理、非破坏性编辑、可移植性以及易于编写的扩展插件。请观看我们的演示视频。

开始使用

0. 先决条件: 确保已安装 Node.js。你可以从这里下载。
1. 克隆本仓库。
2. 在终端中进入该项目目录，并运行 sh ./run_opendream.sh。大约 30 秒后，Opendream 系统的前端和后端都将启动并运行。

功能特性

扩散模型已成为图像生成与处理领域中功能强大的工具。尽管它们带来了显著的优势，但由于其内在的复杂性，这些模型通常被视为“黑箱”。当前的扩散图像生成生态系统主要由一些工具组成，这些工具通过一次性的操作来控制模型，例如文本到图像生成、局部修复、pix2pix 等。

例如，流行的界面如 Automatic1111、Midjourney 和 Stability.AI 的 DreamStudio 仅支持破坏性编辑：每次编辑都会“消耗”前一张图片。这意味着用户无法轻松地基于之前的图像继续创作，也无法对同一张图片进行多次实验，从而限制了他们的创作探索空间。

图层与非破坏性编辑

非破坏性编辑是一种图像处理方法，它能够保留原始图像数据，同时允许用户在不覆盖之前工作成果的情况下进行调整和修改。这种方法通过使用图层和蒙版，促进了实验性创作，并提供了对编辑过程更精细的控制。当你删除某个图层时，该图层之后的所有图层也会被一并删除。这确保了画布上当前的所有图层都是由其他现有图层生成的。此外，这也使得用户可以确定性地“重放”整个工作流程。

与 Photoshop 类似，Opendream 开箱即用就支持非破坏性编辑。更多关于 Photoshop 中非破坏性编辑原理的信息，请参阅此处。

保存与分享工作流程

用户还可以将当前的工作流程保存为一种可移植的文件格式，以便日后打开或与合作者共享。在此上下文中，“状态”只是一个 JSON 文件，用于描述当前的所有图层及其创建方式。

支持简单编写、易于安装的扩展插件

随着围绕这些模型和工具的开源生态蓬勃发展，可扩展性也成为了重要议题。虽然 Automatic1111 确实提供了扩展插件，但它们往往难以编程、使用和安装。与 Adobe Photoshop 等应用相比，其功能远不够完善。

随着 Stable Diffusion 的新功能（如 ControlNet）不断推出，用户应当能够以最小的负担和时间成本，将其无缝集成到自己的艺术创作流程中。

Opendream 让编写和使用新的扩散功能变得如同编写一个 Python 函数般简单。继续阅读以了解具体方法。

扩展插件

从一开始，Opendream 就内置了两个核心原语操作：dream 和 mask_and_inpaint。在本仓库中，我们还提供了 instruct_pix2pix、controlnet_canny、controlnet_openpose 以及 sam（Segment Anything）等扩展插件。

任何图像处理逻辑都可以轻松地作为扩展插件实现。借助扩展插件，你还可以自定义某些操作的具体行为。例如，你可以覆盖 dream 操作，使其改用 OpenAI 的 DALL-E，或者调用 AWS 或 Replicate 等服务上的无服务器端点。这里有一个使用 Baseten 的示例。

加载现有扩展插件

加载扩展插件有两种方式：

1. 通过 Web UI 安装预先编写好的扩展。
2. (手动) 下载有效的扩展文件（或自行编写！），并将其放入 opendream/extensions 文件夹中。下方提供了编写自定义扩展的说明。

以下是目前支持的部分扩展插件示例。你可以通过 Web UI 使用这些链接安装任意扩展。

扩展名称	链接
OpenAI 的 DALL-E	文件
无服务器 Stable Diffusion	文件
Instruct Pix2Pix	文件
ControlNet Canny	文件
ControlNet Openpose	文件
Segment Anything	文件
PhotoshopGPT	Gist

请注意，不同的扩展可能有各自的依赖项，你需要将这些依赖添加到 requirements.txt 文件中。例如，如果你想使用 DALL-E 扩展，就需要添加 openai 依赖。

如果你开发了一个有用的扩展插件，欢迎提交 Pull Request！

编写自定义扩展

用户可以按照以下步骤编写自己的扩展：

1. 在 opendream/extensions 文件夹中创建一个新的 Python 文件。
2. 编写一个带有类型提示和 @opendream.define_op 装饰器的方法。该装饰器会将此方法注册到 Opendream 后端。

该方法需满足以下要求：

• 参数必须带有类型提示。这些类型提示使后端能够为输入生成 Schema，进而在前端解析为表单组件。有效类型包括：str、int、float、Layer、MaskLayer 或 ImageLayer。
• 唯一有效的返回值类型是 Layer 或 Layer 对象的列表。

贡献与许可

Opendream 由 Varun Shenoy、Eric Lou、Shashank Rammoorthy 和 Rahul Shiv 在斯坦福大学的 CS 348K 课程中开发。

欢迎您提供任何您认为必要或有用的贡献。本项目采用 MIT 许可证授权。

Opendream 快速上手指南

Opendream 是一款专为 Stable Diffusion 设计的 Web UI，引入了类似 Photoshop 的图层管理和非破坏性编辑功能。它允许用户保存和分享完整的工作流，并支持通过简单的 Python 函数轻松扩展新功能（如 ControlNet、Segment Anything 等）。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：支持 Linux 或 macOS（Windows 用户建议使用 WSL2）。
• 前置依赖：必须安装 Node.js。
  • 下载地址：https://nodejs.org/en/download
  • 国内加速推荐：若下载缓慢，可使用淘宝镜像 https://npmmirror.com/mirrors/node/ 下载安装包。
• 硬件建议：由于涉及 Stable Diffusion 模型推理，建议配备 NVIDIA GPU 以获得最佳性能。

安装步骤

1. 克隆项目仓库 在终端中执行以下命令获取源代码：

   git clone https://github.com/varunshenoy/opendream.git
   

2. 进入项目目录

   cd opendream
   

3. 启动服务 运行提供的启动脚本。该脚本将自动安装后端依赖并启动前端与后端服务（首次运行可能需要约 30 秒）：

   sh ./run_opendream.sh
   

4. 访问界面 脚本运行成功后，终端会显示访问地址（通常为 http://localhost:3000 或类似端口），在浏览器中打开即可使用。

基本使用

Opendream 的核心优势在于其非破坏性的图层工作流。以下是基础操作流程：

1. 创建初始图像 (Dream)

• 在界面中选择内置的 dream 操作。
• 输入提示词（Prompt）并设置参数。
• 点击执行，系统将生成一个新的图像图层。

2. 非破坏性编辑

• 叠加编辑：基于现有图层，再次调用 dream 或其他扩展（如 instruct_pix2pix）进行修改。新操作会生成一个新图层，原图层保持不变。
• 图层管理：您可以像使用 Photoshop 一样隐藏、删除或调整图层顺序。
  • 注意：删除某个图层时，其之后依赖该图层生成的所有后续图层也会被自动删除，以确保工作流的逻辑一致性。

3. 保存与分享工作流

• 完成创作后，点击保存按钮。
• 系统会将当前所有图层及其生成参数导出为一个 JSON 文件。
• 您可以随时重新加载该文件，精确复现之前的编辑过程，或将其分享给协作者。

4. 使用扩展 (Extensions)

Opendream 支持动态加载扩展以增强功能（如 ControlNet Canny, SAM 等）：

• 方式一（推荐）：在 Web UI 的扩展管理界面中，直接粘贴扩展文件的 URL 进行安装。
• 方式二（手动）：下载 .py 扩展文件，将其放入项目根目录下的 opendream/extensions 文件夹，然后重启服务。

提示：部分扩展（如 DALL-E）可能需要在项目的 requirements.txt 中添加额外的 Python 依赖包（例如 openai），安装后需重启服务生效。