赋予语言生命

Aphrodite 是一个推理引擎 (inference engine)，旨在大规模优化兼容 HuggingFace 模型的部署。基于 vLLM 的 Paged Attention（分页注意力）技术构建，它为多用户并发提供高性能模型推理服务。由 PygmalionAI 和 Ruliad 合作开发，Aphrodite 作为后端引擎，为两家组织的聊天平台和 API (应用程序接口) 基础设施提供支持。

Aphrodite 建立在并整合了 各种项目 的卓越工作之上，主要是 vLLM。

功能特性

• 连续批处理 (Continuous Batching)
• 利用来自 vLLM 的 PagedAttention 进行高效的键值对 (K/V) 管理
• 优化的 CUDA 内核以提升推理性能
• 支持通过 AQLM, AutoRound, AWQ, BitNet, Bitsandbytes, EETQ, GGUF, GPTQ, QuIP#, SqueezeLLM, Marlin, FP2-FP12 [1] [2] [3], NVIDIA ModelOpt, TorchAO, VPTQ, compressed_tensors, MXFP4, 等进行量化 (Quantization) 支持，以及更多。
• 分布式推理 (Distributed inference)
• 8-bit KV Cache（键值缓存），支持更高的上下文长度和吞吐量，包括 FP8 E5M3 和 E4M3 格式
• 支持现代采样器 (samplers)，如 DRY, XTC, Mirostat 等
• 解耦推理 (Disaggregated inference)
• 推测解码 (Speculative decoding)
• 多模态 (Multimodal) 支持
• 多 LoRA 支持

快速开始

安装引擎：

pip install -U aphrodite-engine

[!TIP] 您需要单独安装内核 (kernels)。请参阅 安装指南 了解更多详情。即使在不安装内核的情况下运行 Aphrodite，也会提示您安装说明。

然后启动一个模型：

aphrodite run Qwen/Qwen3-0.6B

如果您不是进行大规模部署，可以附加 --single-user-mode 标志来限制内存使用。

这将创建一个与 OpenAI 兼容的 API 服务器，可通过 localhost 的 2242 端口访问。您可以将 API 接入支持 OpenAI 的 UI，例如 SillyTavern。

请查阅 文档 获取可传递给引擎的参数和标志完整列表，或直接运行 aphrodite run -h 查看参数列表。

您可以在这里尝试引擎演示：

Docker

此外，我们提供了一个 Docker 镜像以便轻松部署。这是一个基本命令供您开始：

docker run --runtime nvidia --gpus all \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    #--env "CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7" \
    -p 2242:2242 \
    --ipc=host \
    alpindale/aphrodite-openai:latest \
    --model NousResearch/Meta-Llama-3.1-8B-Instruct \
    --tensor-parallel-size 8 \
    --api-key "sk-empty"

这将拉取 Aphrodite Engine 镜像，并在 2242 端口启动带有 Llama-3.1-8B-Instruct 模型的引擎。

系统要求

• 操作系统：Linux, Windows (WSL2)
• Python：3.9 至 3.12

构建要求：

• CUDA >= 12

关于支持的设备，请参见 此处。一般来说，所有半现代 GPU 都受支持——低至 Pascal (GTX 10xx, P40 等)。我们也支持 AMD GPU、Intel CPU 和 GPU、Google TPU 以及 AWS Inferentia。

注意事项

1. 设计上，Aphrodite 会占用您 GPU 显存 (VRAM) 的 90%。如果您不是大规模部署大语言模型 (LLM)，您可能希望限制其占用的内存量。您可以在 API 示例中通过启动服务器时添加 --gpu-memory-utilization 0.6（0.6 表示 60%），或使用 --single-user-mode 仅分配单个序列所需的内存来实现这一点。

2. 您可以通过运行 aphrodite run --help 查看所有命令列表。

致谢

Aphrodite Engine 的实现离不开其他开源项目的杰出工作。以下是一份（非详尽）列表：

• vLLM
• TensorRT-LLM
• xFormers
• Flash Attention
• llama.cpp
• AutoAWQ
• AutoGPTQ
• SqueezeLLM
• Exllamav2
• TabbyAPI
• AQLM
• KoboldAI
• Text Generation WebUI
• Megatron-LM
• Ray

赞助者

过去和现在的支持者，按字母顺序排列：

• Arc Compute
• Lium
• Prime Intellect
• PygmalionAI
• Ruliad AI

贡献

欢迎每个人贡献。您可以通过提交新功能、修复或一般用户体验改进的 Pull Requests 来支持该项目。

Aphrodite Engine 快速上手指南

Aphrodite 是一个高性能的推理引擎，专为大规模部署兼容 HuggingFace 的模型而优化。它基于 vLLM 的 PagedAttention 技术构建，支持多用户并发、多种量化格式及分布式推理，可作为 Chat 平台或 API 的基础后端。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux 或 Windows (需使用 WSL2)
• Python 版本: 3.9 至 3.12
• CUDA 版本: >= 12
• 硬件支持:
  • 主要支持 NVIDIA GPU (从 Pascal/GTX 10xx 系列起)
  • 同时也支持 AMD GPU、Intel CPU/GPU、Google TPU 及 AWS Inferentia

注意: Aphrodite 默认会占用 GPU 显存的 90%。如果您不是进行大规模服务，建议通过参数限制显存占用。

安装步骤

方式一：直接安装 (推荐)

使用 pip 安装核心引擎：

pip install -U aphrodite-engine

[!TIP] 重要提示: 您需要单独安装算子内核 (kernels)。如果不安装内核，运行时会提示相关安装说明。具体请参考官方安装文档。

方式二：Docker 部署

如果您希望快速启动且避免环境冲突，可以使用提供的 Docker 镜像：

docker run --runtime nvidia --gpus all \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    -p 2242:2242 \
    --ipc=host \
    alpindale/aphrodite-openai:latest \
    --model NousResearch/Meta-Llama-3.1-8B-Instruct \
    --tensor-parallel-size 8 \
    --api-key "sk-empty"

此命令将拉取镜像并启动 Llama-3.1-8B-Instruct 模型服务，监听端口为 2242。

基本使用

安装完成后，您可以直接在命令行启动模型服务。

启动模型

运行以下命令加载模型（示例使用 Qwen 小模型）：

aphrodite run Qwen/Qwen3-0.6B

单用户模式

如果您仅在本地测试或非大规模服务场景下使用，建议添加 --single-user-mode 标志以限制内存占用：

aphrodite run Qwen/Qwen3-0.6B --single-user-mode

显存控制

如需更精细地控制显存使用比例，可使用 --gpu-memory-utilization 参数（例如设置为 0.6 表示占用 60% 显存）：

aphrodite run Qwen/Qwen3-0.6B --gpu-memory-utilization 0.6

API 接入

启动成功后，Aphrodite 会在本地创建一个兼容 OpenAI 的 API 服务器，默认监听端口为 2242。

您可以将 API 地址配置到支持 OpenAI 协议的 UI 工具中（如 SillyTavern），或直接调用 API 接口进行测试。

如需查看完整的启动参数和标志列表，可运行：

aphrodite run -h