AI 网关

原生 AI API 网关

官方网站   |   文档   |   博客   |   MCP 服务器快速入门   |   开发者指南   |   Wasm 插件中心   |

英文 | 中文 | 日本語

Higress 是什么？

Higress 是一款基于 Istio 和 Envoy 的云原生 API 网关，可通过使用 Go/Rust/JS 编写的 Wasm 插件进行扩展。它提供了数十个开箱即用的通用插件，并配备了一个即开即用的控制台（可在此处试用 演示）。

核心应用场景

Higress 的 AI 网关功能支持国内外所有 主流模型提供商。同时，它还通过插件机制支持托管 MCP（Model Context Protocol）服务器，使 AI 代理能够轻松调用各种工具和服务。借助 openapi-to-mcp 工具，您可以快速将 OpenAPI 规范转换为用于托管的远程 MCP 服务器。Higress 可对 LLM API 和 MCP API 进行统一管理。

🌟 立即访问 https://mcp.higress.ai/，亲身体验由 Higress 托管的远程 MCP 服务器：

企业级应用

Higress 最初诞生于阿里巴巴内部，旨在解决 Tengine 重载影响长连接服务以及 gRPC/Dubbo 负载均衡能力不足的问题。在阿里云内部，Higress 的 AI 网关功能支持通义百炼模型工作室、机器学习 PAI 平台等核心 AI 应用及其他关键 AI 服务。阿里云已基于 Higress 构建了其云原生 API 网关产品，为大量企业客户提供 99.99% 的网关高可用性保障服务能力。

您可以通过下方按钮安装企业版 Higress：

如果您使用的是开源 Higress，并希望获得企业级支持，可以联系项目维护者 johnlanni 的邮箱：zty98751@alibaba-inc.com 或社交媒体账号（微信 ID：nomadao，钉钉 ID：chengtanzty）。添加好友时请注明 Higress :)

总结

• 快速入门
• 功能展示
• 应用场景
• 核心优势
• 社区

快速入门

只需 Docker 即可启动 Higress，方便个人开发者在本地搭建以进行学习或构建简单站点：

# 创建工作目录
mkdir higress; cd higress
# 启动 Higress，配置文件将被写入工作目录
docker run -d --rm --name higress-ai -v ${PWD}:/data \
        -p 8001:8001 -p 8080:8080 -p 8443:8443  \
        higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:latest

端口说明：

• 8001 端口：Higress UI 控制台入口
• 8080 端口：网关 HTTP 协议入口
• 8443 端口：网关 HTTPS 协议入口

所有 Higress Docker 镜像均使用 Higress 自有的镜像仓库，不受 Docker Hub 速率限制的影响。 此外，镜像的提交和更新均受到安全扫描机制的保护（由阿里云 ACR 提供支持），因此在生产环境中使用非常安全。

如果您从 higress-registry.cn-hangzhou.cr.aliyuncs.com 拉取镜像时遇到超时问题，可以尝试更换为以下 Docker 镜像源：

北美地区：higress-registry.us-west-1.cr.aliyuncs.com

东南亚地区：higress-registry.ap-southeast-7.cr.aliyuncs.com

对于 Kubernetes 部署，您可以在 Helm values 中配置 global.hub 参数，以使用更靠近您所在地区的镜像仓库。这适用于 Higress 组件镜像以及内置 Wasm 插件镜像：

# 示例：使用北美镜像
helm install higress -n higress-system higress.io/higress --set global.hub=higress-registry.us-west-1.cr.aliyuncs.com --create-namespace

可用的镜像仓库：

• 中国（杭州）：higress-registry.cn-hangzhou.cr.aliyuncs.com（默认）
• 北美地区：higress-registry.us-west-1.cr.aliyuncs.com
• 东南亚地区：higress-registry.ap-southeast-7.cr.aliyuncs.com

有关其他安装方式，例如在 K8s 下使用 Helm 部署，请参阅官方 快速入门文档。

如果您是在云端部署，建议使用 企业版

使用场景

• MCP 服务器托管：

  Higress 通过其插件机制托管 MCP 服务器，使 AI 代理能够轻松调用各种工具和服务。借助 openapi-to-mcp 工具，您可以快速将 OpenAPI 规范转换为远程 MCP 服务器。

  

  使用 Higress 托管 MCP 服务器的主要优势：

  • 统一的身份验证和授权机制

  • 细粒度的限流功能，防止滥用

  • 全面的审计日志，记录所有工具调用

  • 丰富的可观测性，便于监控性能

  • 通过 Higress 的插件机制简化部署

  • 动态更新，无需中断或断开连接

    了解更多...

• AI 网关：

  Higress 使用统一协议连接所有 LLM 模型提供商，具备 AI 可观测性、多模型负载均衡、令牌限流和缓存功能：

  

• Kubernetes 入口控制器：

  Higress 可以作为功能丰富的入口控制器，兼容 Kubernetes 的 Nginx 入口控制器的许多注解。

  目前已支持 Gateway API，并支持从 Ingress API 到 Gateway API 的平滑迁移。

  与 ingress-nginx 相比，资源开销显著降低，路由变更生效速度提升了十倍。

  以下资源开销对比来自 sealos。

  有关详细信息，请阅读这篇 文章，了解 sealos 如何将对 数万个入口 资源的监控从 nginx 入口迁移到 higress。

  

• 微服务网关：

  Higress 可以作为微服务网关，从多种服务注册中心发现微服务，例如 Nacos、ZooKeeper、Consul、Eureka 等。

  它与 Dubbo、Nacos、Sentinel 等微服务技术栈深度集成。

• 安全网关：

  Higress 可用作安全网关，支持 WAF 和多种身份验证策略，如 key-auth、hmac-auth、jwt-auth、basic-auth、oidc 等。

核心优势

• 生产级

  出自阿里巴巴内部产品，经过两年以上的生产环境验证，支持每秒数十万请求的大规模场景。

  彻底消除 Nginx 重载带来的流量抖动，配置变更可在毫秒级生效，且对业务透明。尤其适用于 AI 业务等长连接场景。

• 流式处理

  支持请求/响应体的真正完整流式处理，Wasm 插件可轻松定制处理 SSE（服务器发送事件）等流式协议。

  在 AI 业务等高带宽场景下，可显著降低内存开销。

• 易于扩展

  提供丰富的官方插件库，涵盖 AI、流量管理、安全防护等常用功能，满足超过 90% 的业务场景需求。

  专注于 Wasm 插件扩展，通过沙箱隔离确保内存安全，支持多种编程语言，允许插件版本独立升级，实现网关逻辑无损热更新。

• 安全易用

  基于 Ingress API 和 Gateway API 标准，提供开箱即用的 UI 控制台、WAF 防护插件以及 IP/Cookie CC 防护插件，即装即用。

  支持连接 Let's Encrypt 自动签发和续订免费证书，也可部署在 K8s 外部，只需一条 Docker 命令即可启动，方便个人开发者使用。

社区

加入我们的 Discord 社区！在这里您可以与开发者和其他热情的 Higress 用户交流互动。

致谢

Higress 的诞生离不开社区中各开源项目的重要贡献。我们特别感谢 Envoy 和 Istio。

相关仓库

• Higress 控制台：https://github.com/higress-group/higress-console
• Higress 独立版：https://github.com/higress-group/higress-standalone
• Higress 插件服务器：https://github.com/higress-group/plugin-server
• Higress Wasm 插件 Golang SDK：https://github.com/higress-group/wasm-go

贡献者

星标历史

↑ 回到顶部 ↑

Higress AI 网关快速上手指南

Higress 是一款云原生 AI 网关，基于 Istio 和 Envoy 构建，支持通过 Wasm 插件（Go/Rust/JS）扩展。它提供了统一的 LLM API 管理和 MCP（Model Context Protocol）服务器托管能力，是构建 AI 应用的理想入口。

环境准备

• 操作系统：Linux、macOS 或 Windows（需安装 Docker Desktop）。
• 前置依赖：
  • Docker：版本建议 20.10+。
  • （可选）kubectl 和 helm：如果您计划部署到 Kubernetes 集群。
• 网络要求：确保能够访问 Docker 镜像仓库。国内用户推荐使用阿里云提供的专属镜像源以避免拉取超时。

安装步骤

Higress 支持单机 Docker 运行和 Kubernetes 集群部署。对于个人开发者快速体验或本地开发，推荐使用 Docker 一键启动。

方式一：Docker 快速启动（推荐）

执行以下命令创建目录并启动 Higress 容器。该命令会自动拉取最新的 all-in-one 镜像（已包含控制台和核心组件）。

# 创建工作目录
mkdir higress; cd higress

# 启动 Higress (使用国内杭州镜像源，避免拉取超时)
docker run -d --rm --name higress-ai -v ${PWD}:/data \
        -p 8001:8001 -p 8080:8080 -p 8443:8443  \
        higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:latest

端口说明：

• 8001: Higress 管理控制台入口
• 8080: 网关 HTTP 协议入口
• 8443: 网关 HTTPS 协议入口

提示：如果您位于北美或东南亚地区，可分别替换镜像源为：

• 北美：higress-registry.us-west-1.cr.aliyuncs.com
• 东南亚：higress-registry.ap-southeast-7.cr.aliyuncs.com

方式二：Kubernetes 集群部署

如果您需要在 K8s 环境中生产部署，建议使用 Helm。以下示例展示了如何指定国内镜像源进行安装：

# 添加 Higress Helm 仓库 (如果尚未添加)
helm repo add higress https://higress.io/helm-charts
helm repo update

# 安装 Higress (指定杭州镜像源以加速拉取)
helm install higress -n higress-system higress.io/higress \
  --set global.hub=higress-registry.cn-hangzhou.cr.aliyuncs.com \
  --create-namespace

基本使用

安装完成后，您可以通过浏览器访问管理控制台进行配置，或直接通过 API 测试网关功能。

1. 访问管理控制台

在浏览器中打开以下地址（默认无需登录即可体验演示功能，生产环境建议配置认证）：

http://localhost:8001

在控制台中，您可以：

• 配置 AI 代理：接入通义千问、OpenAI 等主流大模型提供商。
• 托管 MCP 服务：将 OpenAPI 规范快速转换为 MCP Server，供 AI Agent 调用。
• 管理路由与插件：配置流量转发、限流、鉴权等策略。

2. 简单的 API 调用测试

假设您已通过控制台配置了一个指向后端服务的路由（例如路径 /api），您可以直接使用 curl 测试网关是否正常工作：

# 测试 HTTP 请求
curl -i http://localhost:8080/api

# 测试 HTTPS 请求 (自签名证书可能需要添加 -k 参数)
curl -ik https://localhost:8443/api

3. 下一步：配置 AI 网关或 MCP

• AI 网关场景：在控制台中绑定您的 LLM API Key，配置统一协议，即可实现多模型负载均衡、Token 限流和缓存。
• MCP 托管场景：利用 openapi-to-mcp 工具将现有 OpenAPI 文档转换为 MCP 配置，并在 Higress 中发布，让 AI Agent 能够安全地调用您的工具。

更多详细配置请参考 官方文档 或访问 MCP 快速入门。