Envoy AI 网关

Envoy AI 网关是一个开源项目，用于利用 Envoy Gateway 处理来自应用客户端到生成式 AI 服务的请求流量。

使用方法

在使用 Envoy AI 网关时，我们采用两层网关模式。第一层网关充当集中式的入口点，而第二层网关则负责处理进入自托管模型服务集群的流量。

• 第一层网关负责身份验证、顶层路由和全局限流。
• 第二层网关提供对自托管模型访问的细粒度控制，并支持端点选择器以优化 LLM 推理性能。

支持的 AI 提供商

Envoy AI 网关支持广泛的 AI 提供商，便于与您首选的 LLM 服务集成：

文档

• 博客 介绍 Envoy AI 网关。
• 文档 提供 Envoy AI 网关的相关信息。
• 快速入门 指导您通过几个简单步骤使用 Envoy AI 网关。
• 概念 帮助您理解 Envoy AI 网关的架构和资源。
• 演讲与演示 讨论 Envoy AI 网关。

联系方式

• Slack：如果您还不是成员，请加入 [Envoy Slack 工作区][]。否则，您可以使用 [Envoy AI 网关频道][] 与社区成员协作。

参与方式

我们遵守 [CNCF 行为准则][行为准则]。

Envoy AI 网关团队和社区成员每周一举行会议。请注册会议、添加议程事项并积极参与。会议详情可在[公共文档][会议]中查看。

如需通过拉取请求为项目做出贡献，请阅读 CONTRIBUTING.md 文件，其中包含有关如何构建和测试项目的说明。

背景

将 Envoy Gateway 用作 [云原生 LLM 网关][云原生 LLM 网关] 的提议，激发了本项目的启动。

Envoy AI Gateway 快速上手指南

Envoy AI Gateway 是一个基于 Envoy Gateway 的开源项目，旨在为应用客户端到生成式 AI 服务之间的请求流量提供统一的管理入口。它采用双层网关架构，支持认证、路由、限流及自托管模型的精细化控制。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux (推荐 Ubuntu 20.04+/CentOS 7+) 或 macOS。
• Kubernetes 集群：需要一个正在运行的 Kubernetes 集群 (v1.24+)，如 Kind, Minikube, 或云厂商托管集群 (ACK, TKE, EKS 等)。
• 命令行工具：
  • kubectl：已配置好与集群的连接。
  • helm (v3.0+)：用于包管理安装。
• 网络访问：确保节点能够访问外部 AI 提供商 API（如 OpenAI, Azure 等）或内部自托管模型服务。

提示：国内开发者若拉取 Docker 镜像困难，建议配置容器运行时（如 Docker 或 containerd）使用国内镜像加速器。

安装步骤

推荐使用 Helm 进行快速部署。以下步骤将安装 Envoy AI Gateway 及其依赖项。

1. 添加 Helm 仓库

   helm repo add envoy-gateway https://envoyproxy.github.io/gateway-helm
   helm repo update
   

2. 创建命名空间

   kubectl create namespace envoy-gateway-system
   

3. 安装 Envoy AI Gateway

   执行以下命令安装核心组件：

   helm install envoy-gateway envoy-gateway/gateway-helm \
     --namespace envoy-gateway-system \
     --wait
   

4. 验证安装状态

   等待所有 Pod 运行正常：

   kubectl get pods -n envoy-gateway-system
   

   确保 envoy-gateway 和 envoy 相关的 Pod 状态均为 Running。

基本使用

以下示例展示如何配置一个最简单的路由，将请求转发至 OpenAI 服务。

1. 创建 Secret 存储 API Key

首先，将您的 AI 提供商 API 密钥存入 Kubernetes Secret：

kubectl create secret generic openai-creds \
  --from-literal=apiKey=YOUR_OPENAI_API_KEY \
  -n default

2. 配置 Backend (后端服务)

创建一个 AIBackend 资源，定义目标 AI 服务商（此处以 OpenAI 为例）：

apiVersion: gateway.envoyproxy.io/v1alpha1
kind: AIBackend
metadata:
  name: openai-backend
  namespace: default
spec:
  type: OpenAI
  auth:
    credentials:
      type: Secret
      secretRef:
        name: openai-creds

应用配置：

kubectl apply -f openai-backend.yaml

3. 配置 HTTPRoute 路由规则

创建 HTTPRoute 将传入流量绑定到上述后端：

apiVersion: gateway.networking.k8s.io/v1
kind: HTTPRoute
metadata:
  name: ai-route
  namespace: default
spec:
  parentRefs:
    - name: envoy
      namespace: envoy-gateway-system
  rules:
    - matches:
        - path:
            type: PathPrefix
            value: /v1/chat/completions
      backendRefs:
        - group: gateway.envoyproxy.io
          kind: AIBackend
          name: openai-backend
          port: 443

应用配置：

kubectl apply -f ai-route.yaml

4. 测试调用

获取网关入口地址并发出请求：

# 获取网关 IP (根据实际环境可能是 LoadBalancer IP 或 NodePort)
export GATEWAY_IP=$(kubectl get svc/envoy -n envoy-gateway-system -o jsonpath='{.status.loadBalancer.ingress[0].ip}')

# 发送测试请求
curl http://$GATEWAY_IP/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-3.5-turbo",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

如果配置正确，您将收到来自 AI 模型的响应。更多高级功能（如多层级路由、自托管模型优化、速率限制等）请参考官方 文档。