English | 简体中文

安装指导 | 快速入门 | 支持模型列表

---

FastDeploy 飞桨大模型高效部署套件

最新活动

[2026-03] FastDeploy v2.5 全新发布! 新增Qwen3-VL与Qwen3-VL MoE模型部署支持，新增W4AFP8量化方法，增强强化学习训练支持能力，包含170+项Bug修复与性能优化，升级全部内容参阅 v2.5 ReleaseNote。

[2026-01] FastDeploy v2.4: 新增 DeepSeek V3 与 Qwen3-MoE 模型的 PD 分离部署，增强MTP 投机解码能力，全面优化多硬件平台上的 MoE 推理与多模态前缀缓存性能，升级全部内容参阅 v2.4 ReleaseNote。

[2025-11] FastDeploy v2.3: 新增ERNIE-4.5-VL-28B-A3B-Thinking与PaddleOCR-VL-0.9B两大重磅模型在多硬件平台上的部署支持，进一步优化全方位推理性能，以及带来更多部署功能和易用性的提升，升级全部内容参阅v2.3 ReleaseNote。

[2025-09] FastDeploy v2.2: HuggingFace生态模型兼容，性能进一步优化，更新增对baidu/ERNIE-21B-A3B-Thinking支持!

[2025-08] FastDeploy v2.1:全新的KV Cache调度策略，更多模型支持PD分离和CUDA Graph，昆仑、海光等更多硬件支持增强，全方面优化服务和推理引擎的性能。

关于

FastDeploy 是基于飞桨（PaddlePaddle）的大语言模型（LLM）与视觉语言模型（VLM）推理部署工具包，提供开箱即用的生产级部署方案，核心技术特性包括：

• 🚀 负载均衡式PD分解：工业级解决方案，支持上下文缓存与动态实例角色切换，在保障SLO达标和吞吐量的同时优化资源利用率
• 🔄 统一KV缓存传输：轻量级高性能传输库，支持智能NVLink/RDMA选择
• 🤝 OpenAI API服务与vLLM兼容：单命令部署，兼容vLLM接口
• 🧮 全量化格式支持：W8A16、W8A8、W4A16、W4A8、W2A16、FP8等
• ⏩ 高级加速技术：推测解码、多令牌预测（MTP）及分块预填充
• 🖥️ 多硬件支持：NVIDIA GPU、昆仑芯XPU、海光DCU、天数智芯GPU、燧原GCU、沐曦GPU、英特尔Gaudi等

要求

• 操作系统: Linux
• Python: 3.10 ~ 3.12

安装

FastDeploy 支持在英伟达（NVIDIA）GPU、昆仑芯（Kunlunxin）XPU、天数（Iluvatar）GPU、燧原（Enflame）GCU、海光（Hygon）DCU 以及其他硬件上进行推理部署。详细安装说明如下：

• 英伟达 GPU
• 昆仑芯 XPU
• 天数 CoreX
• 燧原 S60
• 海光 DCU
• 沐曦 GPU
• 英特尔 Gaudi

入门指南

通过我们的文档了解如何使用 FastDeploy：

• 10分钟快速部署
• ERNIE-4.5 部署
• ERNIE-4.5-VL 部署
• 离线推理
• 在线服务
• 最佳实践

支持模型列表

通过我们的文档了解如何下载模型，如何支持torch格式等：

• 模型支持列表

进阶用法

• 量化
• 分离式部署
• 投机解码
• 前缀缓存
• 分块预填充
• 负载均衡调度Router
• 全局Cache池化

致谢

FastDeploy 依据 Apache-2.0 开源许可证. 进行授权。在开发过程中，我们参考并借鉴了 vLLM 的部分代码，以保持接口兼容性，在此表示衷心感谢。

FastDeploy 快速上手指南

FastDeploy 是基于飞桨（PaddlePaddle）的大语言模型（LLM）与视觉语言模型（VLM）高效推理部署工具包，提供开箱即用的生产级解决方案，支持多硬件平台及多种量化格式。

1. 环境准备

在开始之前，请确保您的开发环境满足以下基本要求：

• 操作系统: Linux
• Python 版本: 3.10 ~ 3.12
• 硬件支持:
  • NVIDIA GPU (主流支持)
  • 国产芯片：昆仑芯 XPU、海光 DCU、天数智芯 GPU、燧原 GCU、沐曦 GPU、英特尔 Gaudi 等。
• 前置依赖: 请根据您使用的硬件类型，预先安装对应的驱动程序（如 NVIDIA CUDA Driver/CUDA Toolkit 或对应国产卡驱动）。

注意：不同硬件的具体驱动版本要求及详细安装前置条件，请参考官方文档中对应硬件的安装指导章节。

2. 安装步骤

FastDeploy 针对不同硬件提供了独立的安装文档。以下是基于最通用的 NVIDIA GPU 环境的安装指引。

方式一：使用 pip 安装（推荐）

确保已激活 Python 虚拟环境，执行以下命令：

pip install fastdeploy-gpu

国内加速建议：若下载速度较慢，推荐使用国内镜像源：

pip install fastdeploy-gpu -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：其他硬件安装

如果您使用的是国产芯片或其他特定硬件，请访问对应的安装文档获取专属命令：

• 昆仑芯 XPU 安装指南
• 海光 DCU 安装指南
• 天数 CoreX 安装指南
• 更多硬件支持

3. 基本使用

FastDeploy 兼容 OpenAI API 标准，支持单命令启动服务，也可通过 Python SDK 进行离线推理。

场景一：一键启动在线服务 (OpenAI 兼容)

假设您已下载好模型（例如 Qwen/Qwen2.5-7B-Instruct），可以使用以下命令直接启动推理服务：

fastdeploy --model_name_or_path Qwen/Qwen2.5-7B-Instruct \
           --port 8000 \
           --tensor_parallel_size 1

启动成功后，您可以使用 curl 或任何兼容 OpenAI 的客户端调用服务：

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen2.5-7B-Instruct",
    "messages": [{"role": "user", "content": "你好，请介绍一下 FastDeploy"}],
    "max_tokens": 512
  }'

场景二：Python 离线推理

您也可以直接在 Python 代码中加载模型进行推理：

from fastdeploy import LLM, SamplingParams

# 初始化模型
llm = LLM(model="Qwen/Qwen2.5-7B-Instruct")

# 设置采样参数
sampling_params = SamplingParams(temperature=0.7, max_tokens=512)

# 执行推理
prompts = ["中国的首都是哪里？"]
outputs = llm.generate(prompts, sampling_params)

# 打印结果
for output in outputs:
    print(f"Prompt: {output.prompt!r}, Generated text: {output.outputs[0].text!r}")

进阶特性提示

• 量化加速：支持 W4A16、W8A8、FP8 等多种量化格式，启动时添加 --quantization 参数即可。
• PD 分离部署：针对高并发场景，支持 Prefill 和 Decode 阶段分离部署以提升吞吐量。
• 投机解码：支持小模型辅助大模型进行投机采样，显著降低首字延迟。

更多高级用法（如多机部署、自定义 Router 策略等），请参阅 官方最佳实践文档。