使用纯 Python 构建自定义推理服务器

精确定义模型、智能体、RAG 或流水线的推理工作方式。
无需 MLOps 桥接代码或配置文件，即可控制批处理、路由、流式传输和编排。

 

✅ 自定义推理逻辑  ✅ 比 FastAPI 快 2 倍     ✅ 智能体、RAG、流水线等
✅ 自定义逻辑 + 控制  ✅ 任意 PyTorch 模型          ✅ 自行托管或托管服务        
✅ 多 GPU 自动扩展   ✅ 批处理 + 流式传输       ✅ 自备模型或 vLLM           
✅ 无需 MLOps 桥接代码      ✅ Python 中轻松设置       ✅ 无服务器支持          

为什么选择 LitServe？

大多数推理工具（如 vLLM 等）专为单一模型类型设计，并强制使用严格的抽象。它们在你需要自定义逻辑、多个模型、智能体或非标准流水线时就显得力不从心。LitServe 让你用 Python 编写自己的推理引擎。你可以定义请求如何处理、模型如何加载、批处理和路由如何运作，以及输出如何生成。LitServe 负责性能、并发、扩展和部署。用 LitServe 构建推理 API、智能体、聊天机器人、RAG 系统、MCP 服务器或多模型流水线。

本地运行、自行托管或一键部署到 Lightning AI。

想要最简单的推理托管方式？

超过 38 万开发者使用 Lightning Cloud，这是运行 LitServe 最简单的方式，无需管理基础设施。只需一条命令即可部署，获得自动扩展 GPU、监控和免费 tier。无需云环境搭建。或者自行托管。

快速入门

通过 pip 安装 LitServe（更多选项)：

pip install litserve

示例 1：包含多个模型的玩具推理流水线。
示例 2：使用 OpenAI API 的最小智能体，用于获取新闻。
(高级示例)：

推理引擎示例

import litserve as ls

# 定义 API，可包含任意数量的模型、数据库等...
class InferenceEngine(ls.LitAPI):
    def setup(self, device):
        self.text_model = lambda x: x**2
        self.vision_model = lambda x: x**3

    def predict(self, request):
        x = request["input"]    
        # 使用两个模型进行计算
        a = self.text_model(x)
        b = self.vision_model(x)
        c = a + b
        return {"output": c}

if __name__ == "__main__":
    # 12+ 功能，如批处理、流式传输等...
    server = ls.LitServer(InferenceEngine(max_batch_size=1), accelerator="auto")
    server.run(port=8000)

免费部署到 Lightning Cloud（或自行托管）：

# 免费部署，带自动扩展、监控等...
lightning deploy server.py --cloud

# 或者本地运行（自行托管）
lightning deploy server.py
# python server.py

测试服务器：模拟 HTTP 请求（在任何终端运行）：

curl -X POST http://127.0.0.1:8000/predict -H "Content-Type: application/json" -d '{"input": 4.0}'

智能体示例

import re, requests, openai
import litserve as ls

class NewsAgent(ls.LitAPI):
    def setup(self, device):
        self.openai_client = openai.OpenAI(api_key="OPENAI_API_KEY")

    def predict(self, request):
        website_url = request.get("website_url", "https://text.npr.org/")
        website_text = re.sub(r'<[^>]+>', ' ', requests.get(website_url).text)

        # 请求 LLM 告诉你最新新闻
        llm_response = self.openai_client.chat.completions.create(
           model="gpt-3.5-turbo", 
           messages=[{"role": "user", "content": f"根据这段内容，最新的消息是：{website_text}"}],
        )
        output = llm_response.choices[0].message.content.strip()
        return {"output": output}

if __name__ == "__main__":
    server = ls.LitServer(NewsAgent())
    server.run(port=8000)

测试它：

curl -X POST http://127.0.0.1:8000/predict -H "Content-Type: application/json" -d '{"website_url": "https://text.npr.org/"}'

主要优势

一些主要优势：

• 部署任意管道或模型：代理、管道、RAG、聊天机器人、图像模型、视频、语音、文本等……
• 无需MLOps胶水：LitAPI让您在一个地方即可构建完整的AI系统（多模型、代理、RAG）(更多)。
• 即时搭建：只需几行代码，通过setup()即可连接模型、数据库和数据(更多)。
• 优化完善：内置自动扩展、GPU支持及快速推理功能(更多)。
• 随处部署：可自托管，也可通过Lightning一键部署(更多)。
• 面向AI的FastAPI：基于FastAPI构建，但针对AI进行了优化——在AI专用多工作线程处理下速度提升2倍(更多)。
• 适合专家使用：可使用vLLM，也可自行构建，全面掌控批处理、缓存和逻辑(更多)。

⚠️ 这并非开箱即用的vLLM或Ollama替代方案。如果您需要，LitServe为您提供更底层的灵活性，以构建他们所做的事情（甚至更多）。

精选示例

以下是常见模型类型和用例的推理管道示例。

玩具模型：      Hello world
大语言模型：           Llama 3.2, LLM代理服务器, 带工具使用的智能体
RAG：            vLLM RAG（Llama 3.2）, RAG API（LlamaIndex）
NLP：            Hugging face, BERT, 文本嵌入API
多模态：     OpenAI Clip, MiniCPM, Phi-3.5 Vision Instruct, Qwen2-VL, Pixtral
音频：          Whisper, AudioCraft, StableAudio, 降噪（DeepFilterNet）
视觉：         Stable diffusion 2, AuraFlow, Flux, 图像超分辨率（Aura SR）,
                背景移除, 控制稳定扩散（ControlNet）
语音：         文本转语音（XTTS V2）, Parler-TTS
经典机器学习：   随机森林, XGBoost
其他：  媒体转换API（ffmpeg）, PyTorch + TensorFlow合并在一个API中, LLM代理服务器

浏览100多个社区构建的模板

随处托管

自行托管，尽享完全掌控；或借助Lightning AI，在几秒钟内完成部署，支持自动扩展、安全保障以及99.995%的正常运行时间。
包含免费 tier，无需任何设置，直接在您的云端运行

lightning deploy server.py --cloud

https://github.com/user-attachments/assets/ff83dab9-0c9f-4453-8dcb-fb9526726344

功能特性

性能

LitServe 专为 AI 工作负载而设计。其专门的多 worker 处理方式可实现比 FastAPI 至少 2 倍的提速。

此外，批处理和 GPU 自动扩展等附加功能可将性能提升至 2 倍以上，高效扩展以支持比 FastAPI 和 TorchServe 更多的并发请求。

欲复现完整基准测试结果，请点击此处（数值越高越好）。

这些结果针对的是图像和文本分类 ML 任务。对于其他 ML 任务（如嵌入、大语言模型推理、音频、分割、目标检测、摘要等），性能关系同样适用。

💡 关于大语言模型推理的提示： 对于高性能的大语言模型推理（例如 Ollama/vLLM），可将 vLLM 与 LitServe 集成，使用 LitGPT，或借助 LitServe 打造您自己的 vLLM 类似服务器。要最大化大语言模型性能，还需采用诸如 kv 缓存之类的优化手段，而这些优化正是 LitServe 可提供的功能。

社区

LitServe 是一个接受贡献的社区项目——让我们共同打造全球最先进的 AI 推理引擎！

💬 在 Discord 上获取帮助
📋 许可证：Apache 2.0

LitServe 中文快速上手指南

环境准备

• 系统要求：Linux / macOS / Windows（推荐 Linux）
• Python 版本：3.8+
• 前置依赖：
  • PyTorch（推荐使用国内镜像加速安装）
  • 可选：CUDA（如需 GPU 加速）

推荐使用清华源加速 PyTorch 安装：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

安装步骤

使用 pip 安装 LitServe（推荐使用国内镜像加速）：

pip install litserve -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

创建 server.py 文件，定义最简推理服务：

import litserve as ls

class InferenceEngine(ls.LitAPI):
    def setup(self, device):
        self.model = lambda x: x ** 2  # 示例模型：平方运算

    def predict(self, request):
        x = request["input"]
        return {"output": self.model(x)}

if __name__ == "__main__":
    server = ls.LitServer(InferenceEngine(), accelerator="auto")
    server.run(port=8000)

启动服务：

python server.py

测试请求：

curl -X POST http://127.0.0.1:8000/predict -H "Content-Type: application/json" -d '{"input": 4.0}'

响应示例：

{"output": 16.0}

支持一键部署至 Lightning AI：

lightning deploy server.py --cloud