文生图 Playground（原名 DALL-E Playground）

一个面向文生图爱好者的实验平台，基于 Stable Diffusion V2。

2022年11月，重大更新

该仓库的原始版本使用的是 DALL-E Mini。随着 Stable Diffusion (SD) V2 的最新发布以及其实现的简便性，本仓库已切换为使用 SD 而非 DALL-E Mini。

另请参阅 Whisper Playground——一个利用 OpenAI 的 Whisper 构建实时语音转文本 Web 应用的实验平台

快速使用

您可以通过 GitHub 托管的前端来体验 DALL-E Playground。请按照以下步骤操作：

1. 使用 Google Colab 运行 DALL-E 后端
2. 从最后一个执行单元格的输出中复制 URL。查找以 Your url is: 开头的行。
3. 等待后端完全加载，这通常需要约 2 分钟，直到您看到 --> Image generation server is up and running!
4. 访问 https://saharmor.github.io/dalle-playground/?backendUrl=https://XXXX.trycloudflare.com，其中 backendUrl 查询参数应为上一步获取的 URL。

注意事项：虽然可以在 Google Colab 的免费层级上运行后端，但生成超过 ~2 张图片可能需要 >1 分钟，从而导致前端超时。建议升级到 Colab Pro，或在您自己的高性能机器上（例如 AWS EC2）运行后端笔记本。

本地开发

如果您希望克隆并在本地运行 DALL-E Playground，请按照以下步骤操作：

1. 克隆或分叉此仓库
2. 创建虚拟环境 cd backend && python3 -m venv ENV_NAME
3. 激活虚拟环境 source venv/bin/activate
4. 安装依赖项 pip install -r requirements.txt
5. 确保已安装 PyTorch 及其相关依赖项 安装指南
6. 运行 Web 服务器 python3 app.py --port 8080（您可以将端口更改为其他值）
7. 在另一个终端中，进入前端目录并安装模块 cd interface && npm install，然后运行 npm start
8. 复制第 6 步中的后端 URL，并将其粘贴到 Web 应用程序中的后端 URL 输入框中。

Windows WSL2 下的本地开发/使用

Windows 的 WSL2 Linux 层在启用 GPU 支持方面存在一些独特的问题。NVIDIA CUDA 驱动程序安装在 Windows 端而非 Linux 端，但 JAX 在未从源代码编译的情况下无法识别 GPU。以下是编译 JAX 的额外说明。

1. 在 Windows 中安装最新的 NVIDIA GeForce Game Ready 或 NVIDIA RTX Quadro 驱动程序
2. 在 Linux 中：安装 NVIDIA 的 CUDA 工具包，WSL 安装说明
3. 在 Linux 中：安装 NVIDIA 的 CuDNN 库：说明
4. 在 Linux 中：从源代码构建并安装 jaxlib 和 jax，确保在编译时启用 CUDA，命令为 python3 build/build.py --enable_cuda 说明
5. 在编译 jaxlib 时，可能会遇到配置文件损坏的问题，解决方案见：https://github.com/google/jax/issues/11068
6. 按照上述本地开发说明进行操作。

WSL2 的安装相对基础，您可能需要手动安装 npm、python3-pip 等软件包才能使系统正常运行。更多故障排除信息请参见 此处。

使用 Docker Compose 进行本地开发

1. 确保已安装 Docker 和 NVIDIA 容器工具包

2. 克隆或分叉此仓库

3. 启动服务 docker-compose up，若希望在后台运行，可添加 -d 参数

4. 第一次运行时，下载镜像、模型及其他依赖项需要一些时间。这些内容仅需下载一次，之后会被缓存。

5. 复制第 2 步中的后端 URL，并将其粘贴到 Web 应用程序中的后端 URL 输入框中。

   Web 应用可在 http://localhost:3000/dalle-playground 访问。

致谢

原始仓库曾使用 @borisdayma 的 DALL-E Mini。

dalle-playground 快速上手指南

dalle-playground 是一个基于 Stable Diffusion V2 的文本生成图像（Text-to-Image）开源工具，前身是 DALL-E Mini。它提供了一个简洁的前端界面，用于实时体验 AI 绘图。

环境准备

在开始之前，请确保满足以下系统要求：

• 操作系统：Linux, macOS, 或 Windows (推荐 WSL2)。
• Python: 版本 3.8+。
• Node.js & npm: 用于运行前端界面。
• 深度学习框架: PyTorch 及其依赖项。
  • 安装指南参考：PyTorch 官方安装说明
• GPU (可选但推荐):
  • 若使用本地 GPU 加速，需安装对应的 NVIDIA 驱动、CUDA Toolkit 和 CuDNN。
  • Windows WSL2 用户注意: 需在 Windows 侧安装显卡驱动，并在 Linux 侧手动从源码编译 jax 和 jaxlib 以启用 CUDA 支持（详见原文档 Local development/use with Windows WSL2 部分）。

安装步骤

你可以选择以下三种方式之一进行部署：

方案一：云端快速体验 (无需本地配置)

适合快速测试，利用 Google Colab 免费算力运行后端。

1. 运行后端: 打开 Google Colab Notebook 并执行所有单元格。
2. 获取地址: 等待最后一个单元格输出，找到以 Your url is: 开头的行，复制该 URL。
3. 等待就绪: 确保看到 --> Image generation server is up and running! 提示（约需 2 分钟）。
4. 访问前端: 在浏览器打开以下地址，将 XXXX 替换为上一步复制的 URL：

   https://saharmor.github.io/dalle-playground/?backendUrl=https://XXXX.trycloudflare.com
   

   注意：免费版 Colab 生成速度较慢，超过 2 张图可能导致前端超时，建议升级 Colab Pro 或使用本地高性能机器。

方案二：本地开发环境安装

适合需要自定义开发或拥有本地 GPU 资源的用户。

1. 克隆仓库:

   git clone https://github.com/saharmor/dalle-playground.git
   cd dalle-playground
   

2. 配置后端环境:

   cd backend
   python3 -m venv ENV_NAME
   source ENV_NAME/bin/activate  # Windows 用户使用: ENV_NAME\Scripts\activate
   pip install -r requirements.txt
   

   (请确保已按“环境准备”要求预先安装好 PyTorch)

3. 启动后端服务:

   python3 app.py --port 8080
   

   记下终端显示的后台服务地址（通常为 http://localhost:8080）。

4. 配置并启动前端: 打开一个新的终端窗口：

   cd interface
   npm install
   npm start
   

5. 连接服务: 在浏览器打开前端页面（通常为 http://localhost:3000），在设置中输入后端的 URL 地址。

方案三：Docker Compose 部署

最简便的本地隔离部署方式，自动处理依赖。

1. 前置要求: 确保已安装 Docker 和 NVIDIA Container Toolkit (如需 GPU 加速)。

2. 克隆并启动:

   git clone https://github.com/saharmor/dalle-playground.git
   cd dalle-playground
   docker-compose up
   # 若需后台运行，使用: docker-compose up -d
   

   首次运行会下载模型和依赖，耗时较长，后续会自动缓存。

3. 访问应用: 浏览器访问 http://localhost:3000/dalle-playground 即可使用。

基本使用

无论采用哪种部署方式，使用流程一致：

1. 连接后端: 如果是本地或 Docker 部署，确保前端页面的 "Backend URL" 输入框中填入了正确的后端地址（如 http://localhost:8080）。
2. 输入提示词: 在文本框中输入英文描述（Prompt），例如：

   A cyberpunk cat sitting on a neon roof, high detail, 8k
   

3. 生成图像: 点击生成按钮，等待后端处理（本地 GPU 通常需数秒至数十秒）。
4. 查看结果: 生成的图片将直接显示在界面上，可右键保存。