介绍

该仓库包含了一个完全基于 C++ 实现的 Stable Diffusion 图像合成方案，包括原始的 txt2img（文字生成图像）、img2img（图像生成图像）和 inpainting（图像修复）功能，以及安全检查器。该解决方案不依赖 Python，以具有竞争力的性能在单个进程中运行整个图像生成流程，使部署大大简化和缩小，基本上只包含几个可执行文件和库文件，以及模型权重。使用该库可以将 Stable Diffusion 集成到几乎任何应用中——只要它可以导入 C++ 或 C 函数，但它对于实时图形应用和游戏的开发者最为有用，这些应用通常使用 C++ 实现。

ControlNet 支持

该库还支持 ControlNet（一种神经网络架构，允许使用输入图像引导图像生成过程），这允许使用输入图像来引导图像生成过程，例如：

在这个第一个示例中，我们使用 OpenPose 估计器和 OpenPose 条件化的 ControlNet，我们可以通过指定姿态来引导 img2img 生成，从而产生更好的结果。

使用 HED 边缘检测和边缘条件化的 ControlNet，我们将图像风格改变为类似漫画插图的形式，同时保持布局完整。

使用深度估计器和深度图条件化的 ControlNet，我们生成一个不同的角色，但保持原始设置。

特征提取器

该库还提供了以下特征提取器的 GPU 加速实现（上述示例中展示的）：

• 姿态估计：使用 OpenPose 从图像中提取人体骨架
• 深度估计：使用 MiDAS 从单张图像估计每个像素的深度
• 边缘检测：使用 Holistically-Nested Edge Detection（HED，整体嵌套边缘检测）从图像中提取边缘

代码示例

以下是一些简单的代码示例：

• StableDiffusion
• ControlNet
• 特征提取

参考模型

该库所需的 AI 模型以 ONNX（Open Neural Network Exchange，开放神经网络交换）格式存储。所有模型都已通过 Microsoft Olive 运行，并针对 DirectML 进行了优化。我已使用以下模型测试了该库：

• 支持 ControlNet 的 Stable Diffusion 1.5
• 支持 ControlNet 的 Realistic Vision 1.4
• 带特征提取器的 ControlNet

您可以使用本指南转换自己的模型。

如果您计划将这些模型集成到您的产品中，请务必查看模型的原始许可证。

技术背景

该实现使用 ONNX 来存储图像生成过程中涉及的数学模型。这些 ONNX 模型随后使用 ONNX Runtime 执行，该运行时支持多种平台（Windows、Linux、MacOS、Android、iOS、WebAssembly 等）和执行提供程序（如 NVIDIA CUDA / TensorRT；AMD ROCm、Apple CoreML、Qualcomm QNN、Microsoft DirectML 等）。

我们提供了一个名为 Unpaint 的集成示例，展示了如何将库集成到简单的 WinUI（Windows UI，一个基于 C++ 的现代 Windows 界面框架）用户界面中。您可以从 Microsoft Store 下载免费应用程序来评估该解决方案的性能特性。

当前代码库和生成的 Nuget 包 面向 Windows 并使用 DirectML，不过只有小部分代码使用了 Windows 特定的 API，因此可以以最少的改动移植到其他平台。

许可

该库的源代码以 MIT 许可证提供。

集成组件

该项目的预构建版本可以从 Nuget 获取，名称为 Axodox.MachineLearning，可以添加到 Visual Studio C++ 项目中（桌面和 UWP 项目均支持），仅支持 x64 平台。

基本集成步骤：

• 将 Axodox.Common 和 Axodox.MachineLearning 包添加到您的项目
• 确保您的项目仅包含 x64 平台，因为该库目前仅支持 x64
• 确保您的编译器设置为 C++20，我们还建议启用所有警告和合规模式
• 将以下 include 语句添加到您的代码文件或预编译头文件中：#include "Include/Axodox.MachineLearning.h"
• 按照此示例代码集成管道：https://github.com/axodox/unpaint/blob/main/Unpaint/StableDiffusionModelExecutor.cpp

我们建议在您的应用程序中添加适当的安全机制来抑制 StableDiffusion 的不当输出，性能开销很小。

我们使用的 Stable Diffusion 模型是使用 Microsoft Olive 生成的，请按照链接的示例将模型从 HuggingFace 转换。通过更改脚本，您还可以转换存储在磁盘上的各种格式的模型（例如 *.safetensors）。您可以在这里找到一些预转换的模型用于测试。

构建项目

构建库是进行修改和测试所必需的。您需要安装以下工具来构建该库：

• Visual Studio 2022
  • 选择以下工作负载：
    • 使用 C++ 的桌面开发
    • 使用 C++ 的游戏开发
  • 若还要构建 Unpaint，请同时选择以下单独组件：
    • 通用 Windows 平台开发
    • C++ (v143) 通用 Windows 平台工具

您可以运行 build_nuget.ps1，或者打开 Axodox.MachineLearning.sln 并在 Visual Studio 中进行构建。

构建库后，通过将 AxodoxMachineLearning-Location 环境变量设置为指向您的本地构建目录来覆盖现有的 NuGet 包安装。

例如，UWP 应用程序使用 C:\dev\axodox-machinelearning\Axodox.MachineLearning.Universal，桌面应用程序使用 C:\dev\axodox-machinelearning\Axodox.MachineLearning.Desktop。

然后，将该路径指向的项目添加到您自己项目的解决方案中。这允许将所有项目添加到同一个解决方案中，从而可以无缝地对库和您的应用程序进行修改，而无需反复复制文件。

axodox-machinelearning 快速上手指南

环境准备

系统要求

• 操作系统：Windows 10/11（当前主要支持）
• 平台：x64
• 编译器：Visual Studio 2022

前置依赖

安装 Visual Studio 2022 时需要选择以下工作负载：

• Desktop development with C++
• Game development with C++

如需构建 Unpaint 示例程序，还需额外选择：

• Universal Windows Platform development
• C++ (v143) Universal Windows Platform tools

编译要求

• C++20 标准
• 建议启用所有警告和 conformance mode

---

安装步骤

方式一：使用 NuGet 包（推荐）

1. 在 Visual Studio 中打开你的 C++ 项目（支持 Desktop 和 UWP）

2. 确保项目平台设置为 x64（仅支持 x64）

3. 通过 NuGet 包管理器安装以下两个包：

   • Axodox.Common
   • Axodox.MachineLearning

4. 在代码文件或预编译头文件中添加头文件引用：

#include "Include/Axodox.MachineLearning.h"

方式二：本地构建

1. 克隆仓库：

git clone https://github.com/axodox/axodox-machinelearning.git

2. 使用以下方式之一构建：

   • 运行脚本：.\build_nuget.ps1
   • 或在 Visual Studio 中打开 Axodox.MachineLearning.sln 解决方案

3. 使用本地构建版本：

   • 设置环境变量 AxodoxMachineLearning-Location 指向本地构建目录
   • UWP 应用：C:\dev\axodox-machinelearning\Axodox.MachineLearning.Universal
   • Desktop 应用：C:\dev\axodox-machinelearning\Axodox.MachineLearning.Desktop

---

基本使用

下载模型文件

预转换的 ONNX 模型可从以下地址获取：

• Stable Diffusion 1.5 with ControlNet
• Realistic Vision 1.4 with ControlNet
• ControlNet with feature extractors

简单示例：文本生成图像

参考官方示例代码：

• StableDiffusionTest.cpp
• ControlNetTest.cpp
• FeatureExtractorTest.cpp

完整集成示例可参考 Unpaint 项目 中的 StableDiffusionModelExecutor.cpp。

注意事项

• 建议在应用中添加适当的安全机制，以过滤不适当输出
• 模型文件需放置在程序可访问的路径下
• 确保模型文件符合原始许可证要求