用一行代码创作引人入胜的 Disco Diffusion 艺术作品

DiscoArt 是一种优雅的方式，专为生成艺术创作者、AI 爱好者以及资深开发者打造，能够轻松创作出令人惊艳的 Disco Diffusion^[*] 作品。DiscoArt 拥有现代化且专业的 API 和优美的代码库，确保了极高的易用性和可维护性。它还提供了结果恢复与持久化、无需 TLS 的 gRPC/HTTP 服务、后分析等便捷功能，从而简化了与大型跨模态或多模态应用的集成。

_{^{[*] Disco Diffusion 是一个基于 Google Colab 的 Notebook，利用 CLIP 引导的扩散模型，让用户仅通过文本提示就能生成引人入胜的精美图像。}}

💯 行业领先：达到工业级工程标准，代码质量一流，依赖项精简，占用内存和显存极少；相比原版 DD5.6，进行了重要的 bug 修复和功能改进 [参见 FEATURES.md]。

👼 人人可用：支持 自托管、Google Colab 免费层级、无 GUI（IPython）环境以及 CLI，安装过程流畅！没有复杂的配置，没有依赖地狱，也不需要求助 Stack Overflow。

🎨 专注创作而非编码：提供 Python 风格的一行式 create() 接口，IDE 支持自动补全，并配备强大功能。随时随地获取实时结果，再也不必担心 Google Colab 会话超时。轻松设置初始状态，以便更高效地探索参数。

🏭 适合集成与生产：基于 DocArray 数据结构构建，可与 Jina、CLIP-as-service 等跨模态或多模态应用无缝集成。

☁️ 作为服务使用：只需运行 python -m discoart serve，DiscoArt 即可成为高性能、低延迟的服务，支持 gRPC/HTTP/WebSocket 以及 TLS。扩缩容只需一行命令；云原生特性如 Kubernetes、Prometheus 和 Grafana 也只需一行配置。这一切都得益于 Jina 的强大支持，简单得令人难以置信 [参见 jina-ai/jina]。

【附带提示的图库】(https://twitter.com/hxiao/status/1542967938369687552?s=20&t=DO27EKNMADzv4WjHLQiPFA)

你是否注意到每条推文中的 discoart-id？要获取配置和提示，只需执行：

from discoart import show_config

show_config('discoart-id')

安装

需要 Python 3.7+ 和支持 CUDA 的 PyTorch。

pip install discoart

此方法适用于 自托管、Google Colab、系统集成以及无 GUI 环境。

• 自托管 Jupyter：若要在自己的 GPU 设备上运行 Jupyter Notebook，最简单的方法是使用我们预构建的 Docker 镜像 [参见 #run-in-docker]。
• 通过 CLI 使用：python -m discoart create 和 python -m discoart config 是 CLI 命令。
• 作为服务运行：python -m discoart serve 可以将 DiscoArt 部署为 gRPC/HTTP/WebSocket 服务。

GUI

DiscoArt 是用于创作 Disco Diffusion 艺术作品的 基础设施。内置的 Jupyter Notebook 支持提供了基础但有限的用户体验，例如不提供直观的 GUI 来进行 提示调度。需要注意的是，DiscoArt 以开发者为中心，优先考虑 API 设计，因此提升面向消费者的体验并不在其规划范围内。目前已有部分服务、平台和产品（与 Jina AI 无关）将 DiscoArt 作为服务集成，并在其之上提供了优秀的 GUI，例如 Fever Dreams、Replicate、RunPod 和 Renderflux。

点击查看第三方 GUI

• Fever Dreams：一款免费的社区驱动服务，拥有友好的 GUI 和作品展示区，用户可以在这里生成并分享他们的 DiscoArt 作品、提示和配置。
• Replicate：一个基于表单的免费 DiscoArt GUI，提供沙盒式的用户体验和可视化界面。
• RunPod：一家付费的 GPU 云服务提供商，运行 DiscoArt 容器，并配备简洁明了的 GUI，用于可视化配置和创作成果。
• Renderflux：一个付费的创意艺术平台，封装了 DiscoArt 并提供了端到端的 GUI 用于创作管理。

请注意，这些平台、产品或公司均与 Jina AI 无关联。 他们各自定义了服务条款、付费墙以及数据和隐私政策，这些内容不在 DiscoArt 的 MIT 许可证覆盖范围内。

开始使用

创作艺术作品

from discoart import create

da = create()

就这么简单！它将使用 默认的文本提示和参数 进行创作。

设置提示和参数

支持的参数已在 此处列出。你可以在 create() 中指定它们：

from discoart import create

da = create(
    text_prompts='一幅狂风暴雨中海崖的画作，在 ArtStation 上热门。',
    init_image='https://d2vyhzeko0lke5.cloudfront.net/2f4f6dfa5a05e078469ebe57e77b72f0.png',
    skip_steps=100,
)

如果你忘记了某个参数，随时可以查看速查表：

from discoart import cheatsheet

cheatsheet()

DiscoArt 与 DD5.6 在参数上的差异 在此处说明。

可视化结果

最终结果和中间结果会创建在当前工作目录下，例如：

./{name-docarray}/{i}-done.png
./{name-docarray}/{i}-step-{j}.png
./{name-docarray}/{i}-progress.png
./{name-docarray}/{i}-progress.gif
./{name-docarray}/da.protobuf.lz4

其中：

• name-docarray 是运行的名称，您可以指定它，否则将使用随机名称。
• i-* 的值取决于 n_batches。
• *-done-* 是完成后的最终图像。
• *-step-* 是某个步骤的中间图像，实时更新。
• *-progress.png 是迄今为止所有中间结果的拼图图像，实时更新。
• *-progress.gif 是迄今为止所有中间结果的动画 GIF，实时更新。
• da.protobuf.lz4 是迄今为止所有中间结果的压缩 protobuf 文件，实时更新。

保存频率由 save_rate 控制。

此外，create() 会返回一个 da 对象，它是 DocumentArray 类型的对象。它包含以下信息：

• 传递给 create() 函数的所有参数，包括种子、文本提示和模型参数。
• 生成的 4 张图像及其中间步骤的图像，其中 4 由 n_batches 决定，默认值为 4。

这使您能够使用功能强大的 DocArray API 对结果进行进一步的后处理、分析和导出。

图像以 Data URI 的形式存储在 .uri 中，要将第一张图像保存为本地文件：

da[0].save_uri_to_file('discoart-result.png')

要保存所有最终图像：

for idx, d in enumerate(da):
    d.save_uri_to_file(f'discoart-result-{idx}.png')

您还可以将四张最终图像以网格形式显示：

da.plot_image_sprites(skip_empty=True, show_index=True, keep_aspect_ratio=True)

或者逐个显示它们：

for d in da:
    d.display()

也可以单独查看某一次运行的结果：

da[0].display()

可视化中间步骤

您还可以放大某次运行（比如第一次运行）并查看中间步骤：

da[0].chunks.plot_image_sprites(
    skip_empty=True, show_index=True, keep_aspect_ratio=True
)

您可以逐个 .display() 这些子文档，或通过 .save_uri_to_file() 保存其中一个，也可以将所有中间步骤保存为 GIF：

da[0].chunks.save_gif(
    'lighthouse.gif', show_index=True, inline_display=True, size_ratio=0.5
)

请注意，从 >=0.7.14 版本开始，会生成一个包含所有中间步骤的 20 FPS GIF。

显示/保存/加载配置

要显示 Document 或 DocumentArray 的配置，

from discoart import show_config

show_config(da)  # 显示第一次运行的配置
show_config(da[3])  # 显示第四次运行的配置
show_config(
    'discoart-06030a0198843332edc554ffebfbf288'
)  # 显示具有已知 DocArray ID 的运行的配置

要保存 Document 或 DocumentArray 的配置，

from discoart import save_config

save_config(da, 'my.yml')  # 保存第一次运行的配置
save_config(da[3], 'my.yml')  # 保存第四次运行的配置

要从 Document 或 DocumentArray 的 YAML 配置文件中运行 create，

from discoart import create, load_config

config = load_config('my.yml')
create(**config)

您还可以将配置导出为 SVG 图像：

from discoart.config import save_config_svg

save_config_svg(da)

您还可以直接从配置生成可运行的 Python 代码：

from discoart.config import export_python

export_python(da)

随时随地拉取结果

如果您是 Google Colab 免费版用户，最让人头疼的问题之一就是会话经常丢失。有时您可能因为第一张图像不够理想而提前停止运行，这时按下键盘中断键会导致 create() 无法返回任何结果。无论哪种情况，您都可以通过拉取上次会话的 ID 轻松恢复结果。

1. 找到会话 ID。它显示在图像的顶部。

2. 使用该 ID 在任何设备上随时拉取结果，不一定非得在 Google Colab 上：

   from docarray import DocumentArray
   
   da = DocumentArray.pull('discoart-3205998582')
   

将 Document 用作初始状态

可以将 Document 视为一个自包含的数据对象，包含配置和图像，将其用作未来运行的初始状态。它的 .tags 将被用作初始参数；如果存在 .uri，则会被用作初始图像。

from discoart import create
from docarray import DocumentArray

da = DocumentArray.pull('discoart-3205998582')

create(
    init_document=da[0],
    cut_ic_pow=0.5,
    tv_scale=600,
    cut_overview='[12]*1000',
    cut_innercut='[12]*1000',
    use_secondary_model=False,
)

如果您只想从已知的 DocArray ID 初始化，只需：

from discoart import create

create(init_document='discoart-3205998582')

环境变量

您可以设置环境变量来控制 DiscoArt 的元行为。这些环境变量必须在导入 DiscoArt 之前设置，可以在 Bash 中设置，也可以通过 Python 中的 os.environ 设置。

DISCOART_LOG_LEVEL='DEBUG' # 更详细的日志
DISCOART_OPTOUT_CLOUD_BACKUP='1' # 关闭云备份
DISCOART_DISABLE_IPYTHON='1' # 禁用 ipython 依赖
DISCOART_DISABLE_RESULT_SUMMARY='1' # 禁用运行结束后的结果摘要
DISCOART_DEFAULT_PARAMETERS_YAML='path/to/your-default.yml' # 使用自定义默认参数文件
DISCOART_CUT_SCHEDULES_YAML='path/to/your-schedules.yml' # 使用自定义切割计划文件
DISCOART_MODELS_YAML='path/to/your-models.yml' # 使用自定义模型列表文件
DISCOART_OUTPUT_DIR='path/to/your-output-dir' # 使用自定义输出目录存放所有图像和结果
DISCOART_CACHE_DIR='path/to/your-cache-dir' # 使用自定义缓存目录存放模型和下载内容
DISCOART_DISABLE_REMOTE_MODELS='1' # 禁用 GitHub 上扩散模型的列表，远程扩散模型允许用户使用最新模型而无需更新代码库。
DISCOART_REMOTE_MODELS_URL='https://yourdomain/models.yml' # 使用自定义远程 URL 获取模型列表
DISCOART_DISABLE_CHECK_MODEL_SHA='1' # 禁用检查本地模型 SHA 是否与远程模型 SHA 匹配
DISCOART_DISABLE_TQDM='1' # 禁用扩散过程中的 tqdm 进度条

命令行界面

DiscoArt 提供了两个命令 create 和 config，允许您通过命令行运行 DiscoArt。

python -m discoart create my.yml

该命令会根据 YAML 配置文件 my.yml 生成艺术作品。您也可以这样做：

cat config.yml | python -m discoart create

那么如何创建自己的 my.yml 文件，它又是什么样子的呢？这就需要用到第二个命令：

python -m discoart config my.yml

该命令会复制 默认的 YAML 配置文件，并将其导出为 my.yml。现在您可以修改这个文件，并使用 python -m discoart create 命令来运行它。

如果未指定输出路径，python -m discoart config 将会把默认配置打印到标准输出。

要获取某个命令的帮助信息，可以在命令末尾添加 --help，例如：

python -m discoart create --help

用法: python -m discoart create [-h] [YAML_CONFIG_FILE]

位置参数:
  YAML_CONFIG_FILE  要使用的 YAML 配置文件，默认为标准输入。

可选参数:
  -h, --help        显示此帮助消息并退出

服务模式

运行 DiscoArt 服务非常简单。只需执行以下命令：

python -m discoart serve

您将看到：

现在可以通过 curl 或 JavaScript 向服务器发送请求，例如：

curl \
-X POST http://0.0.0.0:51001/post \
-H 'Content-Type: application/json' \
-d '{"execEndpoint":"/create", "parameters": {"text_prompts": ["A beautiful painting of a singular lighthouse", "yellow color scheme"]}}'

就是这样。当然，您也可以在 JSON 中传递 create() 函数接受的所有参数。

轮询中间结果

我们已经知道，即使在 GPU 上运行，create 函数仍然很慢，完成一幅作品可能需要 10 分钟。这意味着在发送上述请求后，客户端需要等待 10 分钟才能收到响应。由于所有操作都是同步进行的，这种行为并无不妥。然而，在实际应用中，客户端可能希望在过程中获得进度或中间结果，而不是一直等到最后。

为此设计了 /result 端点。一旦有中间结果可用，它就会立即返回。您只需要在请求参数中指定与 /create 端点相同的 name_docarray 即可。以下是一个示例：

让我们通过向 /create 端点发送以下请求来创建 mydisco-123：

curl \
-X POST http://0.0.0.0:51001/post \
-H 'Content-Type: application/json' \
-d '{"execEndpoint":"/create", "parameters": {"name_docarray": "mydisco-123", "text_prompts": ["A beautiful painting of a singular lighthouse", "yellow color scheme"]}}'

现在，当上述请求正在服务器上处理时，您可以定期通过向 /result 端点发送以下请求来检查 mydisco-123 的进度：

curl \
-X POST http://0.0.0.0:51001/post \
-H 'Content-Type: application/json' \
-d '{"execEndpoint":"/result", "parameters": {"name_docarray": "mydisco-123"}}'

服务器将返回包含最新进度的 JSON 数据，其中包括图像（以 DataURI 格式）、损失值、步骤数等。文档/DocumentArray 的 JSON Schema 在这里描述。

请注意，由于 Jina Gateway 的智能路由功能，/result 不会被 /create 阻塞。要了解更多关于这些端点的信息，您可以查看 ReDoc 或服务器内置的 Swagger UI。

跳过与取消

向 /skip 发送请求，可以跳过当前运行并进入下一个运行，具体取决于 n_batches 的设置：

curl \
-X POST http://0.0.0.0:51001/post \
-H 'Content-Type: application/json' \
-d '{"execEndpoint":"/skip"}'

向 /stop 发送请求，则会停止当前运行并取消所有 n_batches 次运行：

curl \
-X POST http://0.0.0.0:51001/post \
-H 'Content-Type: application/json' \
-d '{"execEndpoint":"/stop"}'

解除 /create 请求的阻塞

您可以启用非阻塞的 /create 端点：客户端发送的 /create 请求将被立即返回，而无需等待结果完成。此时，您需要完全依赖 /result 来轮询结果。

要启用此功能：

1. 将 默认的 flow.yml 文件 复制到 myflow.yml；
2. 在 discoart 执行器部分，将 floating: false 改为 floating: true；
3. 运行以下命令：

   python -m discoart serve myflow.yml
   

请注意，现在请求的速度完全由您控制。也就是说，如果客户端在一秒钟内发送 10 个 /create 请求，那么服务器将会并行启动 10 个 create()！这很容易导致内存不足。因此，建议仅在您确定客户端不会发送过多请求时才启用此功能，例如您能够控制客户端的请求速率；或者您是在 BFF（前端后端）之后使用 DiscoArt。

水平扩展

如果您有多块 GPU，并希望利用时间复用的方式并行运行多个 DiscoArt 实例，您可以复制 默认的 flow.yml 文件，并按如下方式修改：

jtype: Flow
with:
  protocol: http
  monitoring: true
  port: 51001
  port_monitoring: 51002  # prometheus 监控端口
  env:
    JINA_LOG_LEVEL: debug
    DISCOART_DISABLE_IPYTHON: 1
    DISCOART_DISABLE_RESULT_SUMMARY: 1
executors:
  - name: discoart
    uses: DiscoArtExecutor
    env:
      CUDA_VISIBLE_DEVICES: RR0:3  # 如果您有多块 GPU，请更改此设置
    replicas: 3  # 如果您的显存更大，请相应调整
  - name: poller
    uses: ResultPoller

这里的 replicas: 3 表示将启动三个 DiscoArt 实例，CUDA_VISIBLE_DEVICES: RR0:3 则确保它们以轮询方式使用前三个 GPU。

将文件命名为 myflow.yml，然后运行：

python -m discoart serve myflow.yml

自定义

得益于 Jina，您可以自定义的内容非常多！您可以更改端口号；将协议改为 gRPC/Websockets；添加 TLS 加密；启用或禁用 Prometheus 监控；还可以通过以下命令将其导出为 Kubernetes 部署包：

jina export kubernetes myflow.yml

有关更多功能和 YAML 配置，请参阅 Jina 文档。

使用 gRPC 网关

从 HTTP 切换到 gRPC 网关非常简单：

jtype: Flow
with:
  protocol: grpc
...

然后重启服务器。

使用 gRPC 网关有多种优势：

• 网络开销更小、速度更快。
• 功能丰富，如压缩、状态监控等。

一般来说，如果您是在 BFF（前端后端）之后使用 DiscoArt 服务器，或者您的 DiscoArt 服务器并不直接面向最终用户提供 HTTP 流量，那么您应该使用 gRPC 协议。

要与 gRPC DiscoArt 服务器通信，可以使用 Jina 客户端：

# !pip install jina
from jina import Client

c = Client(host='grpc://0.0.0.0:51001')

da = c.post(
    '/create',
    parameters={
        'name_docarray': 'mydisco-123',
        'text_prompts': [
            '一幅美丽的灯塔画',
            '黄色色调',
        ],
    },
)

# 检查中间结果
da = c.post('/result', parameters={'name_docarray': 'mydisco-123'})

要使用现有的 Document/DocumentArray 作为 create 的初始 Document：

from jina import Client

c = Client(host='grpc://0.0.0.0:51001')

old_da = create(...)

da = c.post(
    '/create',
    old_da,  # 这可以是 DocumentArray 或单个 Document
    parameters={
        'width_height': [1024, 768],
    },
)

这相当于在服务器上运行 create(init_document=old_da, width_height=[1024, 768])。注意：

• 后续参数的优先级高于 init_document 中的参数。
• 如果 init_document 是一个 DocumentArray，则数组中的第一个 Document 将被用作初始 Document。
• 在发送之前无需进行任何序列化，Jina 会自动处理。

在 Google Colab 上托管

虽然不推荐，但也可以使用 Google Colab 来托管 DiscoArt 服务器。请查看以下教程：

• https://docs.jina.ai/how-to/google-colab/
• https://clip-as-service.jina.ai/hosting/colab/

在 Docker 中运行

我们提供了一个预构建的 Docker 镜像，可直接运行 DiscoArt。要将 Docker 镜像更新到最新版本：

docker pull jinaai/discoart:latest

使用 Jupyter Notebook

默认入口点是启动 Jupyter Notebook

# docker build . -t jinaai/discoart  # 如果你想自己构建
docker run -p 51000:8888 -v $(pwd):/home/jovyan/ -v $HOME/.cache:/root/.cache --gpus all jinaai/discoart

现在你可以访问 http://127.0.0.1:51000 来使用笔记本。

在 Windows 上启用 Docker 中的 GPU

你可以在 Windows Subsystem for Linux (WSL) 上使用它，请参阅官方指南 这里。

# 确保你安装了 Windows 11 或 Windows 10 版本 21H2
docker run -p 8888:8888 -v $HOME/.cache:/root/.cache --gpus all jinaai/discoart

作为服务使用

# docker build . -t jinaai/discoart  # 如果你想自己构建
docker run --entrypoint "python" -p 51001:51001 -v $(pwd):/home/jovyan/ -v $HOME/.cache:/root/.cache --gpus all jinaai/discoart -m discoart serve

你的 DiscoArt 服务器现在正在 http://127.0.0.1:51001 上运行。

发布周期

Docker 镜像会在每次发布时构建，因此可以锁定到特定版本，例如 0.5.1：

docker run -p 51000:8888 -v $(pwd):/home/jovyan/ -v $HOME/.cache:/root/.cache --gpus all jinaai/discoart:0.5.1

接下来是什么？

接下来是创建。

😎 如果你已经是 DD 用户：你已经准备好了！无需额外学习，DiscoArt 保留了与 DD5.6 相同的参数语义。所以尽情发挥你的创造力吧！在此处阅读更多关于它们差异的信息。

你随时可以运行 from discoart import cheatsheet; cheatsheet() 来查看所有新添加或修改的参数。

👶 如果你是 DALL·E Flow 或新用户：你可能需要循序渐进地学习，因为 Disco Diffusion 的工作方式与 DALL·E 截然不同。它更加先进和强大：例如，Disco Diffusion 可以接受加权和结构化的文本提示；可以从带有可控噪声的图像进行初始化；并且可以调整的参数也多得多。像 "armchair avocado" 这样的急躁提示只会让你感到困惑和沮丧。我强烈建议你在尝试自己的提示之前先查看以下资源：

• Zippy 的 Disco Diffusion 备忘录 v0.3
• EZ Charts - 扩散参数研究
• Disco Diffusion 70 多位艺术家研究
• 潜空间旅行者指南
• Disco Diffusion 图解设置
• Coar 的 Disco Diffusion 指南

支持

• 加入我们的 Discord 社区，与其他社区成员讨论想法。
• 参加我们的 工程全员会议，讨论你的使用场景并了解 Jina 的新功能。
  • 时间？ 每月第二个星期二
  • 地点？ Zoom (查看我们的公共活动日历/.ical) 和 YouTube 直播
• 订阅我们 YouTube 频道 上的最新视频教程。

加入我们

DiscoArt 由 Jina AI 支持，并采用 MIT 许可证 许可。我们正在积极招聘 AI 工程师和解决方案工程师，共同构建开源的下一代神经搜索生态系统。

DiscoArt 快速上手指南

DiscoArt 是一个用于生成高质量 Disco Diffusion 艺术作品的 Python 库。它提供现代化的 API、结果持久化、实时进度查看以及便捷的集成能力，适合生成式艺术家、AI 爱好者及开发者使用。

环境准备

在开始之前，请确保您的环境满足以下要求：

• 操作系统：Linux, macOS, Windows (推荐 Linux 以获得最佳 GPU 支持)
• Python 版本：3.7 或更高
• 硬件依赖：需要支持 CUDA 的 NVIDIA GPU 以进行加速（也可在 CPU 上运行但速度较慢）
• 前置依赖：已安装支持 CUDA 的 PyTorch 环境

提示：如果您没有本地 GPU 环境，可以直接使用 Google Colab 免费运行。

安装步骤

推荐使用 pip 进行安装。国内用户若遇到下载缓慢问题，可指定清华或阿里镜像源加速。

标准安装

pip install discoart

使用国内镜像源加速安装

pip install discoart -i https://pypi.tuna.tsinghua.edu.cn/simple

Docker 方式（可选）

如果您希望隔离环境或使用预构建镜像：

docker pull jinaai/discoart

基本使用

DiscoArt 的核心功能通过 create() 函数实现，支持一行代码生成艺术作品。

1. 使用默认参数生成

最简单的用法是直接调用 create()，它将使用内置的默认提示词和参数生成图像。

from discoart import create

da = create()

运行后，当前目录下将生成包含最终图像、中间步骤图像及进度 GIF 的文件夹。

2. 自定义提示词与参数

您可以通过传递参数来自定义生成的内容，例如设置文本提示词 (text_prompts)、初始图片 (init_image) 或跳过步数 (skip_steps)。

from discoart import create

da = create(
    text_prompts='A painting of sea cliffs in a tumultuous storm, Trending on ArtStation.',
    init_image='https://d2vyhzeko0lke5.cloudfront.net/2f4f6dfa5a05e078469ebe57e77b72f0.png',
    skip_steps=100,
)

3. 查看与保存结果

create() 函数返回一个 DocumentArray 对象 (da)，您可以直接操作它来查看或保存结果。

保存单张图片到本地：

da[0].save_uri_to_file('discoart-result.png')

保存所有生成的图片：

for idx, d in enumerate(da):
    d.save_uri_to_file(f'discoart-result-{idx}.png')

在 Notebook 中直接显示图片网格：

da.plot_image_sprites(skip_empty=True, show_index=True, keep_aspect_ratio=True)

4. 查看参数速查表

如果忘记了可用参数，可以随时运行以下命令查看速查表：

from discoart import cheatsheet

cheatsheet()