[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-envoyproxy--ai-gateway":3,"tool-envoyproxy--ai-gateway":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",149489,2,"2026-04-10T11:32:46",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":73,"owner_company":75,"owner_location":75,"owner_email":75,"owner_twitter":75,"owner_website":76,"owner_url":77,"languages":78,"stars":114,"forks":115,"last_commit_at":116,"license":117,"difficulty_score":118,"env_os":119,"env_gpu":120,"env_ram":120,"env_deps":121,"category_tags":125,"github_topics":126,"view_count":32,"oss_zip_url":75,"oss_zip_packed_at":75,"status":17,"created_at":133,"updated_at":134,"faqs":135,"releases":136},6288,"envoyproxy\u002Fai-gateway","ai-gateway","Manages Unified Access to Generative AI Services built on Envoy Gateway","ai-gateway 是一个基于 Envoy Gateway 构建的开源项目，旨在为生成式 AI 服务提供统一的访问管理入口。在开发应用中接入多个大模型时，开发者常面临接口标准不一、鉴权逻辑分散以及流量控制复杂等挑战。ai-gateway 通过创新的“双层网关”架构优雅地解决了这些问题：第一层网关作为集中入口，统一处理身份认证、顶层路由分发及全局速率限制；第二层网关则深入自托管模型集群，提供细粒度的访问控制，并支持端点选择优化以提升推理效率。\n\n该工具广泛兼容主流 AI 提供商，涵盖 OpenAI、Azure、Google Gemini、AWS Bedrock、Anthropic 以及 DeepSeek 等国内外众多服务，让集成不同厂商的 LLM 变得像配置路由一样简单。它特别适合需要构建稳定、可扩展 AI 后端架构的开发者和运维工程师，尤其是那些同时混合使用云端 API 与自建模型服务的团队。借助 ai-gateway，技术团队无需为每个模型单独编写适配代码，即可实现流量的统一治理与性能优化，从而更专注于核心业务逻辑的开发。","# Envoy AI Gateway\n\nEnvoy AI Gateway is an open source project for using [Envoy Gateway](https:\u002F\u002Fgithub.com\u002Fenvoyproxy\u002Fgateway) to handle request traffic from application clients to Generative AI services.\n\n## Usage\n\nWhen using Envoy AI Gateway, we refer to a two-tier gateway pattern. **The Tier One Gateway** functions as a centralized entry point, and the **Tier Two Gateway** handles ingress traffic to a self-hosted model serving cluster.\n\n- The **Tier One Gateway** handles authentication, top-level routing, and global rate limiting\n- The **Tier Two Gateway** provides fine-grained control over self-hosted model access, with endpoint picker support for LLM inference optimization.\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fenvoyproxy_ai-gateway_readme_4f82848f74d9.png)\n\n## Supported AI Providers\n\nEnvoy AI Gateway supports a wide range of AI providers, making it easy to integrate with your preferred LLM services:\n\n\u003Cdiv align=\"center\">\n  \u003Ctable>\n    \u003Ctr>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Fopenai.svg\" width=\"60\" height=\"60\" alt=\"OpenAI\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>OpenAI\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Fazure-openai.svg\" width=\"60\" height=\"60\" alt=\"Azure OpenAI\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>Azure OpenAI\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Fgoogle-gemini.svg\" width=\"60\" height=\"60\" alt=\"Google Gemini\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>Google Gemini\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Fvertex-ai.svg\" width=\"60\" height=\"60\" alt=\"Vertex AI\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>Vertex AI\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Faws-bedrock.svg\" width=\"60\" height=\"60\" alt=\"AWS Bedrock\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>AWS Bedrock\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Fmistral.svg\" width=\"60\" height=\"60\" alt=\"Mistral\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>Mistral\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Fcohere.svg\" width=\"60\" height=\"60\" alt=\"Cohere\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>Cohere\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Fgroq.svg\" width=\"60\" height=\"60\" alt=\"Groq\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>Groq\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Ftogether-ai.svg\" width=\"60\" height=\"60\" alt=\"Together AI\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>Together AI\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Fdeepinfra.svg\" width=\"60\" height=\"60\" alt=\"DeepInfra\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>DeepInfra\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Fdeepseek.svg\" width=\"60\" height=\"60\" alt=\"DeepSeek\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>DeepSeek\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Fhunyuan.svg\" width=\"60\" height=\"60\" alt=\"Hunyuan\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>Hunyuan\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Fsambanova.svg\" width=\"60\" height=\"60\" alt=\"SambaNova\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>SambaNova\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Fgrok.svg\" width=\"60\" height=\"60\" alt=\"Grok\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>Grok\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Ftars.svg\" width=\"60\" height=\"60\" alt=\"Tetrate Agent Router Service\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>Tetrate Agent Router Service\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Fanthropic.svg\" width=\"60\" height=\"60\" alt=\"Anthropic\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>Anthropic\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n    \u003C\u002Ftr>\n  \u003C\u002Ftable>\n\u003C\u002Fdiv>\n\n## Documentation\n\n- [Blog](https:\u002F\u002Faigateway.envoyproxy.io\u002Fblog\u002Fintroducing-envoy-ai-gateway) introducing Envoy AI Gateway.\n- [Documentation](https:\u002F\u002Faigateway.envoyproxy.io\u002Fdocs) for Envoy AI Gateway.\n- [Quickstart](https:\u002F\u002Faigateway.envoyproxy.io\u002Fdocs\u002Fgetting-started\u002F) to use Envoy AI Gateway in a few simple steps.\n- [Concepts](https:\u002F\u002Faigateway.envoyproxy.io\u002Fdocs\u002Fconcepts\u002F) to understand the architecture and resources of Envoy AI Gateway.\n- [Talks and Presentations](https:\u002F\u002Faigateway.envoyproxy.io\u002Ftalks) about Envoy AI Gateway.\n\n## Contact\n\n- Slack: Join the [Envoy Slack workspace][] if you're not already a member. Otherwise, use the\n  [Envoy AI Gateway channel][] to start collaborating with the community.\n\n## Get Involved\n\nWe adhere to the [CNCF Code of conduct][Code of conduct]\n\nThe Envoy AI Gateway team and community members meet every Monday.\nPlease register for the meeting, add agenda points, and get involved. The\nmeeting details are available in the [public document][meeting].\n\nTo contribute to the project via pull requests, please read the [CONTRIBUTING.md](CONTRIBUTING.md) file\nwhich includes information on how to build and test the project.\n\n## Background\n\nThe proposal of using Envoy Gateway as a [Cloud Native LLM Gateway][Cloud Native LLM Gateway] inspired the initiation of this project.\n\n[meeting]: https:\u002F\u002Fdocs.google.com\u002Fdocument\u002Fd\u002F10e1sfsF-3G3Du5nBHGmLjXw5GVMqqCvFDqp_O65B0_w\u002Fedit?tab=t.0\n[Envoy Slack workspace]: https:\u002F\u002Fcommunityinviter.com\u002Fapps\u002Fenvoyproxy\u002Fenvoy\n[Envoy AI Gateway channel]: https:\u002F\u002Fenvoyproxy.slack.com\u002Farchives\u002FC07Q4N24VAA\n[Code of conduct]: https:\u002F\u002Fgithub.com\u002Fcncf\u002Ffoundation\u002Fblob\u002Fmain\u002Fcode-of-conduct.md\n[Cloud Native LLM Gateway]: https:\u002F\u002Fdocs.google.com\u002Fdocument\u002Fd\u002F1FQN_hGhTNeoTgV5Jj16ialzaSiAxC0ozxH1D9ngCVew\u002Fedit?tab=t.0#heading=h.uuu99yemq4eo\n","# Envoy AI 网关\n\nEnvoy AI 网关是一个开源项目，用于利用 [Envoy Gateway](https:\u002F\u002Fgithub.com\u002Fenvoyproxy\u002Fgateway) 处理来自应用客户端到生成式 AI 服务的请求流量。\n\n## 使用方法\n\n在使用 Envoy AI 网关时，我们采用两层网关模式。**第一层网关**充当集中式的入口点，而**第二层网关**则负责处理进入自托管模型服务集群的流量。\n\n- **第一层网关**负责身份验证、顶层路由和全局限流。\n- **第二层网关**提供对自托管模型访问的细粒度控制，并支持端点选择器以优化 LLM 推理性能。\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fenvoyproxy_ai-gateway_readme_4f82848f74d9.png)\n\n## 支持的 AI 提供商\n\nEnvoy AI 网关支持广泛的 AI 提供商，便于与您首选的 LLM 服务集成：\n\n\u003Cdiv align=\"center\">\n  \u003Ctable>\n    \u003Ctr>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Fopenai.svg\" width=\"60\" height=\"60\" alt=\"OpenAI\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>OpenAI\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Fazure-openai.svg\" width=\"60\" height=\"60\" alt=\"Azure OpenAI\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>Azure OpenAI\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Fgoogle-gemini.svg\" width=\"60\" height=\"60\" alt=\"Google Gemini\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>Google Gemini\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Fvertex-ai.svg\" width=\"60\" height=\"60\" alt=\"Vertex AI\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>Vertex AI\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Faws-bedrock.svg\" width=\"60\" height=\"60\" alt=\"AWS Bedrock\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>AWS Bedrock\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Fmistral.svg\" width=\"60\" height=\"60\" alt=\"Mistral\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>Mistral\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Fcohere.svg\" width=\"60\" height=\"60\" alt=\"Cohere\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>Cohere\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Fgroq.svg\" width=\"60\" height=\"60\" alt=\"Groq\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>Groq\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Ftogether-ai.svg\" width=\"60\" height=\"60\" alt=\"Together AI\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>Together AI\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Fdeepinfra.svg\" width=\"60\" height=\"60\" alt=\"DeepInfra\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>DeepInfra\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Fdeepseek.svg\" width=\"60\" height=\"60\" alt=\"DeepSeek\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>DeepSeek\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Fhunyuan.svg\" width=\"60\" height=\"60\" alt=\"Hunyuan\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>Hunyuan\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Fsambanova.svg\" width=\"60\" height=\"60\" alt=\"SambaNova\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>SambaNova\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Fgrok.svg\" width=\"60\" height=\"60\" alt=\"Grok\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>Grok\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Ftars.svg\" width=\"60\" height=\"60\" alt=\"Tetrate Agent Router Service\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>Tetrate Agent Router Service\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n      \u003Ctd align=\"center\" width=\"120\">\n        \u003Cimg src=\"site\u002Fstatic\u002Fimg\u002Fproviders\u002Fanthropic.svg\" width=\"60\" height=\"60\" alt=\"Anthropic\"\u002F>\n        \u003Cbr>\u003Csub>\u003Cb>Anthropic\u003C\u002Fb>\u003C\u002Fsub>\n      \u003C\u002Ftd>\n    \u003C\u002Ftr>\n  \u003C\u002Ftable>\n\u003C\u002Fdiv>\n\n## 文档\n\n- [博客](https:\u002F\u002Faigateway.envoyproxy.io\u002Fblog\u002Fintroducing-envoy-ai-gateway) 介绍 Envoy AI 网关。\n- [文档](https:\u002F\u002Faigateway.envoyproxy.io\u002Fdocs) 提供 Envoy AI 网关的相关信息。\n- [快速入门](https:\u002F\u002Faigateway.envoyproxy.io\u002Fdocs\u002Fgetting-started\u002F) 指导您通过几个简单步骤使用 Envoy AI 网关。\n- [概念](https:\u002F\u002Faigateway.envoyproxy.io\u002Fdocs\u002Fconcepts\u002F) 帮助您理解 Envoy AI 网关的架构和资源。\n- [演讲与演示](https:\u002F\u002Faigateway.envoyproxy.io\u002Ftalks) 讨论 Envoy AI 网关。\n\n## 联系方式\n\n- Slack：如果您还不是成员，请加入 [Envoy Slack 工作区][]。否则，您可以使用\n  [Envoy AI 网关频道][] 与社区成员协作。\n\n## 参与方式\n\n我们遵守 [CNCF 行为准则][行为准则]。\n\nEnvoy AI 网关团队和社区成员每周一举行会议。请注册会议、添加议程事项并积极参与。会议详情可在[公共文档][会议]中查看。\n\n如需通过拉取请求为项目做出贡献，请阅读 [CONTRIBUTING.md](CONTRIBUTING.md) 文件，其中包含有关如何构建和测试项目的说明。\n\n## 背景\n\n将 Envoy Gateway 用作 [云原生 LLM 网关][云原生 LLM 网关] 的提议，激发了本项目的启动。\n\n[meeting]: https:\u002F\u002Fdocs.google.com\u002Fdocument\u002Fd\u002F10e1sfsF-3G3Du5nBHGmLjXw5GVMqqCvFDqp_O65B0_w\u002Fedit?tab=t.0\n[Envoy Slack workspace]: https:\u002F\u002Fcommunityinviter.com\u002Fapps\u002Fenvoyproxy\u002Fenvoy\n[Envoy AI Gateway channel]: https:\u002F\u002Fenvoyproxy.slack.com\u002Farchives\u002FC07Q4N24VAA\n[Code of conduct]: https:\u002F\u002Fgithub.com\u002Fcncf\u002Ffoundation\u002Fblob\u002Fmain\u002Fcode-of-conduct.md\n[Cloud Native LLM Gateway]: https:\u002F\u002Fdocs.google.com\u002Fdocument\u002Fd\u002F1FQN_hGhTNeoTgV5Jj16ialzaSiAxC0ozxH1D9ngCVew\u002Fedit?tab=t.0#heading=h.uuu99yemq4eo","# Envoy AI Gateway 快速上手指南\n\nEnvoy AI Gateway 是一个基于 [Envoy Gateway](https:\u002F\u002Fgithub.com\u002Fenvoyproxy\u002Fgateway) 的开源项目，旨在为应用客户端到生成式 AI 服务之间的请求流量提供统一的管理入口。它采用双层网关架构，支持认证、路由、限流及自托管模型的精细化控制。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**：Linux (推荐 Ubuntu 20.04+\u002FCentOS 7+) 或 macOS。\n*   **Kubernetes 集群**：需要一个正在运行的 Kubernetes 集群 (v1.24+)，如 Kind, Minikube, 或云厂商托管集群 (ACK, TKE, EKS 等)。\n*   **命令行工具**：\n    *   `kubectl`：已配置好与集群的连接。\n    *   `helm` (v3.0+)：用于包管理安装。\n*   **网络访问**：确保节点能够访问外部 AI 提供商 API（如 OpenAI, Azure 等）或内部自托管模型服务。\n\n> **提示**：国内开发者若拉取 Docker 镜像困难，建议配置容器运行时（如 Docker 或 containerd）使用国内镜像加速器。\n\n## 安装步骤\n\n推荐使用 Helm 进行快速部署。以下步骤将安装 Envoy AI Gateway 及其依赖项。\n\n1.  **添加 Helm 仓库**\n\n    ```bash\n    helm repo add envoy-gateway https:\u002F\u002Fenvoyproxy.github.io\u002Fgateway-helm\n    helm repo update\n    ```\n\n2.  **创建命名空间**\n\n    ```bash\n    kubectl create namespace envoy-gateway-system\n    ```\n\n3.  **安装 Envoy AI Gateway**\n\n    执行以下命令安装核心组件：\n\n    ```bash\n    helm install envoy-gateway envoy-gateway\u002Fgateway-helm \\\n      --namespace envoy-gateway-system \\\n      --wait\n    ```\n\n4.  **验证安装状态**\n\n    等待所有 Pod 运行正常：\n\n    ```bash\n    kubectl get pods -n envoy-gateway-system\n    ```\n    确保 `envoy-gateway` 和 `envoy` 相关的 Pod 状态均为 `Running`。\n\n## 基本使用\n\n以下示例展示如何配置一个最简单的路由，将请求转发至 OpenAI 服务。\n\n### 1. 创建 Secret 存储 API Key\n\n首先，将您的 AI 提供商 API 密钥存入 Kubernetes Secret：\n\n```bash\nkubectl create secret generic openai-creds \\\n  --from-literal=apiKey=YOUR_OPENAI_API_KEY \\\n  -n default\n```\n\n### 2. 配置 Backend (后端服务)\n\n创建一个 `AIBackend` 资源，定义目标 AI 服务商（此处以 OpenAI 为例）：\n\n```yaml\napiVersion: gateway.envoyproxy.io\u002Fv1alpha1\nkind: AIBackend\nmetadata:\n  name: openai-backend\n  namespace: default\nspec:\n  type: OpenAI\n  auth:\n    credentials:\n      type: Secret\n      secretRef:\n        name: openai-creds\n```\n\n应用配置：\n```bash\nkubectl apply -f openai-backend.yaml\n```\n\n### 3. 配置 HTTPRoute 路由规则\n\n创建 `HTTPRoute` 将传入流量绑定到上述后端：\n\n```yaml\napiVersion: gateway.networking.k8s.io\u002Fv1\nkind: HTTPRoute\nmetadata:\n  name: ai-route\n  namespace: default\nspec:\n  parentRefs:\n    - name: envoy\n      namespace: envoy-gateway-system\n  rules:\n    - matches:\n        - path:\n            type: PathPrefix\n            value: \u002Fv1\u002Fchat\u002Fcompletions\n      backendRefs:\n        - group: gateway.envoyproxy.io\n          kind: AIBackend\n          name: openai-backend\n          port: 443\n```\n\n应用配置：\n```bash\nkubectl apply -f ai-route.yaml\n```\n\n### 4. 测试调用\n\n获取网关入口地址并发出请求：\n\n```bash\n# 获取网关 IP (根据实际环境可能是 LoadBalancer IP 或 NodePort)\nexport GATEWAY_IP=$(kubectl get svc\u002Fenvoy -n envoy-gateway-system -o jsonpath='{.status.loadBalancer.ingress[0].ip}')\n\n# 发送测试请求\ncurl http:\u002F\u002F$GATEWAY_IP\u002Fv1\u002Fchat\u002Fcompletions \\\n  -H \"Content-Type: application\u002Fjson\" \\\n  -d '{\n    \"model\": \"gpt-3.5-turbo\",\n    \"messages\": [{\"role\": \"user\", \"content\": \"Hello!\"}]\n  }'\n```\n\n如果配置正确，您将收到来自 AI 模型的响应。更多高级功能（如多层级路由、自托管模型优化、速率限制等）请参考官方 [文档](https:\u002F\u002Faigateway.envoyproxy.io\u002Fdocs)。","某中型电商企业正在构建智能客服系统，后端同时接入了 OpenAI、AWS Bedrock 和自部署的 Llama 3 模型集群，以应对不同复杂度的用户咨询。\n\n### 没有 ai-gateway 时\n- **代码耦合严重**：开发团队需要在业务代码中硬编码不同厂商（如 OpenAI 与 Azure）的 API 格式差异，每次切换或新增模型都要修改核心逻辑。\n- **鉴权管理混乱**：每个微服务都需单独存储和管理多套云厂商的 API Key，密钥泄露风险高且轮换困难。\n- **流量控制缺失**：面对突发大促流量，缺乏全局速率限制机制，导致自费模型调用超额产生巨额账单，或自托管集群因过载而崩溃。\n- **路由策略僵化**：无法根据请求内容动态分发流量，例如简单问题无法自动路由至低成本模型，造成资源浪费。\n\n### 使用 ai-gateway 后\n- **统一接入标准**：ai-gateway 作为统一入口，将上游所有异构模型协议标准化，业务端只需对接一套接口，新增模型无需改动代码。\n- **集中安全管控**：在 Tier One 网关层统一处理身份认证与密钥管理，业务服务零感知，大幅降低安全风险与运维成本。\n- **精细化流控**：通过全局速率限制保护预算，同时利用 Tier Two 网关对自托管集群进行细粒度负载均衡，确保推理服务高可用。\n- **智能动态路由**：支持基于内容的路由策略，自动将简单查询导向廉价模型，复杂任务分发给高性能模型，显著优化成本结构。\n\nai-gateway 通过双层网关架构，将杂乱的生成式 AI 服务整合为稳定、安全且成本可控的企业级基础设施。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fenvoyproxy_ai-gateway_009bff1f.png","envoyproxy","Envoy Proxy - CNCF","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fenvoyproxy_d2a3ff68.png",null,"https:\u002F\u002Fwww.envoyproxy.io\u002F","https:\u002F\u002Fgithub.com\u002Fenvoyproxy",[79,83,87,91,94,97,100,104,108,111],{"name":80,"color":81,"percentage":82},"Go","#00ADD8",90.5,{"name":84,"color":85,"percentage":86},"MDX","#fcb32c",7.3,{"name":88,"color":89,"percentage":90},"CSS","#663399",0.7,{"name":92,"color":93,"percentage":90},"TypeScript","#3178c6",{"name":95,"color":81,"percentage":96},"Go Template",0.3,{"name":98,"color":99,"percentage":96},"Makefile","#427819",{"name":101,"color":102,"percentage":103},"Python","#3572A5",0.1,{"name":105,"color":106,"percentage":107},"Dockerfile","#384d54",0,{"name":109,"color":110,"percentage":107},"JavaScript","#f1e05a",{"name":112,"color":113,"percentage":107},"Shell","#89e051",1497,206,"2026-04-10T08:09:23","Apache-2.0",4,"","未说明",{"notes":122,"python":120,"dependencies":123},"该工具是基于 Envoy Gateway 的网关项目，用于管理应用客户端到生成式 AI 服务的请求流量。它采用双层网关模式：第一层负责认证、顶层路由和全局速率限制；第二层负责对自托管模型集群的细粒度访问控制。支持多种 AI 提供商（如 OpenAI, Azure, Google, AWS 等）。具体的运行环境需求（如操作系统、资源消耗）取决于底层部署的 Kubernetes 集群及 Envoy 代理的配置，README 中未提供具体的硬件或软件版本门槛。",[124],"Envoy Gateway",[52,15,35,14,13],[127,64,128,129,130,131,132],"ai","api-gateway","cncf","kubernetes","llm","inference","2026-03-27T02:49:30.150509","2026-04-10T22:20:33.885731",[],[137,142,147,152,157,162,167,172,177,182,187,192,196,201,206,211,216,221,226,231],{"id":138,"version":139,"summary_zh":140,"released_at":141},189421,"v0.5.0","发布说明：https:\u002F\u002Faigateway.envoyproxy.io\u002Frelease-notes\u002Fv0.5","2026-01-23T21:17:55",{"id":143,"version":144,"summary_zh":145,"released_at":146},189422,"v0.5.0-rc1","v0.5.0 的候选发布版本！\r\n\r\n```\r\nhelm install aieg oci:\u002F\u002Fregistry-1.docker.io\u002Fenvoyproxy\u002Fai-gateway-helm --version v0.5.0-rc1 --namespace envoy-ai-gateway-system --create-namespace\r\n```\r\n","2026-01-12T19:47:59",{"id":148,"version":149,"summary_zh":150,"released_at":151},189423,"v0.4.0","# **Envoy AI 网关 v0.4.0 - 2025年11月7日**\n\n本次发布引入了模型上下文协议（MCP）网关、OpenAI 图像生成功能、Anthropic 支持（直接接入及 AWS Bedrock）、针对 GCP Vertex AI\u002FGemini 的引导式输出解码、跨命名空间引用、增强的身份验证机制，以及全面的可观测性改进。\n\n[🔗 在官网查看发布说明](https:\u002F\u002Faigateway.envoyproxy.io\u002Frelease-notes\u002Fv0.4)\n\n# **✨ 新特性**\n\n## **模型上下文协议（MCP）网关**\n\n### 新的 MCPRoute CRD\n\n> 引入 `MCPRoute` 自定义资源，用于将 MCP 请求路由至后端 MCP 服务器，从而为多个 MCP 后端提供统一的 AI API 接口。\n\n### 完整的 MCP 规范实现\n\n> 包括可流式传输的 HTTP 传输协议、JSON-RPC 2.0 支持，以及符合 MCP 规范的 OAuth 2.0 授权机制，支持 JWKS 验证和受保护资源元数据。\n\n### 服务器多路复用与工具路由\n\n> 可在单个端点后聚合多个 MCP 服务器，并实现智能工具路由、工具过滤（精确匹配与正则表达式模式）以及冲突检测。\n\n### 上游身份验证\n\n> 支持基于 OAuth 的身份验证和 API 密钥认证，以确保后端 MCP 服务器通信的安全性，并允许自定义请求头。\n\n### 会话管理\n\n> 实现了加密的 MCP 会话管理功能，支持轮换种子密钥和优雅的会话生命周期管理。\n\n## **Anthropic 提供商支持**\n\n### 直接支持 api.anthropic.com\n\n> 原生集成 Anthropic 的 `api.anthropic.com` API，作为对现有 GCP Vertex AI Anthropic 支持的补充。\n\n### AWS Bedrock 原生 Anthropic Messages API\n\n> 支持在 AWS Bedrock 上使用 Claude 模型，采用原生 Anthropic Messages API 格式，而非通用的 Converse API，从而实现与直接 Anthropic API 的完全功能对等，包括提示缓存和扩展思考能力。\n\n### Anthropic API 密钥认证\n\n> 原生支持基于 `x-api-key` 头部的认证，与 Anthropic 的 API 规范和 SDK 模式保持一致，适用于直接连接 Anthropic 的场景。\n\n### 透传转换器与令牌用量跟踪\n\n> 提供高效的透传转换层，能够捕获令牌用量并保持 API 兼容性，同时最大限度地降低开销，适用于直接接入和 AWS Bedrock 上的 Anthropic 端点。\n\n### 独立 CLI 自动配置\n\n> 在独立模式下，可从 `ANTHROPIC_API_KEY` 环境变量自动配置，实现零配置部署。\n\n## **GCP Vertex AI\u002FGemini 的引导式输出支持**\n\n### 引导式正则表达式支持\n\n> 对 GCP Vertex AI\u002FGemini 模型的输出进行约束，使其匹配特定的正则表达式，从而实现结构化文本生成。\n\n### 引导式选项支持\n\n> 将 GCP Vertex AI\u002FGemini 模型的输出限制为预定义的选择项，确保响应符合预期值。\n\n### 引导式 JSON 支持\n\n> 确保 GCP Vertex AI\u002FGemini 模型的输出为符合指定 Schema 的有效 JSON 数据，并提供与 OpenAI 兼容的 API 转译。","2025-11-08T00:55:51",{"id":153,"version":154,"summary_zh":155,"released_at":156},189424,"v0.4.0-rc2","v0.4.0 的候选发布版本！\r\n\r\n```\r\nhelm install aieg oci:\u002F\u002Fregistry-1.docker.io\u002Fenvoyproxy\u002Fai-gateway-helm --version v0.4.0-rc2 --namespace envoy-ai-gateway-system --create-namespace\r\n```\r\n","2025-11-07T22:42:47",{"id":158,"version":159,"summary_zh":160,"released_at":161},189425,"v0.4.0-rc1","v0.4.0 的候选发布版本！\r\n\r\n```\r\nhelm install aieg oci:\u002F\u002Fregistry-1.docker.io\u002Fenvoyproxy\u002Fai-gateway-helm --version v0.4.0-rc1 --namespace envoy-ai-gateway-system --create-namespace\r\n```\r\n","2025-11-05T21:31:00",{"id":163,"version":164,"summary_zh":165,"released_at":166},189426,"v0.3.0","# 发布公告\r\n\r\n请查看 [v0.3.0 版本说明](https:\u002F\u002Faigateway.envoyproxy.io\u002Frelease-notes\u002Fv0.3)，了解更多关于此次发布的详细信息。\n\n# **Envoy AI 网关 v0.3.x**\n\n该版本引入了基于 Endpoint Picker Provider 的智能推理路由、增强的可观测性功能、对 Google Vertex AI 的支持以及更完善的提供商集成。\n\n## **v0.3.0**\n\n`2025年8月21日`  \nEnvoy AI 网关 v0.3.0 引入了智能推理路由、扩展的提供商支持（包括 Google Vertex AI 和 Anthropic），以及通过 OpenInference 跟踪和可配置指标实现的增强可观测性。关键特性包括带有 InferencePool 的 Endpoint Picker Provider，用于动态负载均衡；模型名称虚拟化；以及与 Gateway API Inference Extension 的无缝集成。\n\n## **✨ 新特性**\r\n\r\n### **Endpoint Picker Provider (EPP) 集成**\r\n\r\n- **Gateway API Inference Extension 支持**  \r\n  - 完全集成 Gateway API Inference Extension v0.5.1，能够根据实时 AI 推理指标（如 KV 缓存使用情况、队列深度和 LoRA 适配器信息）进行智能端点选择。  \r\n- **双重集成方式**  \r\n  - 同时支持 `HTTPRoute + InferencePool` 和 `AIGatewayRoute + InferencePool` 两种集成模式，为从简单到高级的 AI 路由场景提供灵活性。  \r\n- **动态负载均衡**  \r\n  - 智能路由会自动为每个请求选择最优的推理端点，利用实时性能指标优化整个推理基础设施的资源利用率。  \r\n- **可扩展架构**  \r\n  - 支持自定义的端点选择提供者，允许实现针对特定 AI 工作负载需求的领域专用路由逻辑。\r\n\r\n### **扩展的提供商生态系统**\r\n\r\n- **Google Vertex AI 生产级支持**  \r\n  - Google Vertex AI 已从开发中状态升级为全面生产支持，包括对 Gemini 模型的完整流式传输支持，并具备与 OpenAI API 的兼容性。[查看所有支持的提供商 →](https:\u002F\u002Faigateway.envoyproxy.io\u002Fdocs\u002Fcapabilities\u002Fllm-integrations\u002Fsupported-providers)  \r\n- **Anthropic on Vertex AI 集成**  \r\n  - 通过 GCP Vertex AI 实现的 Anthropic Claude 完整集成，已从实验阶段进入生产就绪状态，支持多工具调用并可为企业部署配置不同的 API 版本。  \r\n- **Gemini 功能增强**  \r\n  - 针对 Gemini 模型的请求\u002F响应转换得到改进，支持工具调用、响应格式指定及高级对话处理，使 Gemini 集成更加 robust 且功能完备。  \r\n- **强化的 OpenAI 兼容生态**  \r\n  - 对更广泛的 OpenAI 兼容提供商生态系统的支持进一步增强，涵盖 Groq、Together AI、Mistral、Cohere、DeepSeek、SambaNova 等，确保在整个 AI 提供商生态中实现无缝集成。\r\n\r\n### **可观测性增强**\r\n","2025-08-21T10:28:43",{"id":168,"version":169,"summary_zh":170,"released_at":171},189427,"v0.3.0-rc2","发布候选版","2025-08-21T10:01:37",{"id":173,"version":174,"summary_zh":175,"released_at":176},189428,"v0.3.0-rc1","v0.3.0 的候选发布版本！\r\n\r\n```\r\nhelm install aieg oci:\u002F\u002Fregistry-1.docker.io\u002Fenvoyproxy\u002Fai-gateway-helm --version v0.3.0-rc1 --namespace envoy-ai-gateway-system --create-namespace\r\n```\r\n","2025-08-15T04:15:29",{"id":178,"version":179,"summary_zh":180,"released_at":181},189429,"v0.2.1","## 概述\r\n\r\n此补丁版本 `v0.2.1` 包含针对大请求体的 AWS 签名问题的修复。\n\n## 提交记录\n\n- 后向移植：不对 AWS 的 Content-Length 进行签名（https:\u002F\u002Fgithub.com\u002Fenvoyproxy\u002Fai-gateway\u002Fpull\u002F697）","2025-06-10T04:01:45",{"id":183,"version":184,"summary_zh":185,"released_at":186},189430,"v0.2.0","# **Envoy AI 网关 v0.2.x**\n**2025年6月5日**\n\nEnvoy AI 网关 v0.2.0 在 v0.1.0 坚实的基础上进一步发展，重点在于扩展提供商生态系统的支持、通过架构改进提升可靠性和性能，以及为 Azure OpenAI 提供企业级身份验证支持。\n\n`Azure OpenAI 集成` `边车架构` `性能优化` `CLI 工具` `模型故障转移与重试` `证书管理器集成`\n\n\n## **✨ 新特性[​](https:\u002F\u002Fdeploy-preview-679--envoy-ai-gateway.netlify.app\u002Frelease-notes\u002Fv0.2#-new-features)**\n\n### **Azure OpenAI 集成**\n\n- **全面的 Azure OpenAI 支持**\n    - 与 Azure OpenAI 服务实现完整集成，提供请求\u002F响应转换，以统一的 OpenAI 兼容补全 API 形式对外暴露。\n- **面向 Azure 企业集成的上游身份验证**\n    - 支持通过 OIDC 令牌和 Entra ID 访问 Azure，实现企业级身份验证，确保安全合规的上游认证流程。\n- **针对 Azure 身份验证的企业代理 URL 支持**\n    - 通过代理 URL 配置选项增强 Azure 身份验证功能，更好地支持企业代理环境。\n- **灵活的令牌提供者**\n    - 通用的令牌提供者架构，同时支持客户端密钥流和联合令牌流。\n\n### **架构改进**\n\n- **边车模式与 UDS 外部处理器**\n    - 切换到边车部署模式，并采用 Unix 域套接字通信，从而提升性能并优化资源利用率。\n- **增强的 ExtProc 缓冲区限制**\n    - 将外部处理器缓冲区上限从 32 KiB 提升至 50 MiB，以支持更大规模的 AI 请求。用户现在可以通过 `filterConfig.externalProcessor.resources` 配置 CPU 和内存资源限制，实现更精细的资源管理。\n- **多 AIGatewayRoute 支持**\n    - 每个网关支持多个 AIGatewayRoute 资源，取消了此前的单路由限制。这一改进有助于更好地组织、扩展和管理跨团队的复杂路由配置。\n- **证书管理器集成**\n    - 集成 cert-manager，用于自动化的 TLS 证书申请与轮换，服务于将 AI 网关边车容器注入 Envoy Gateway Pod 的变更 Webhook 服务器。这实现了企业级的证书管理，无需手动处理证书，同时提升了安全性。\n\n### **跨后端故障转移与重试**\n\n- **提供商回退逻辑**\n    - 基于优先级的故障转移机制，当高优先级端点出现不健康状态时，会自动将流量切换至低优先级的 AI 提供商，从而确保高可用性和容错能力。\n- **后端重试支持**\n    - 可配置的重试策略，以提高对 AI 提供商临时性故障的可靠性和韧性。功能包括带有抖动的指数退避、可配置的重试触发条件（5xx 错误、连接失败、限流等）、自定义重试次数与超时时间，以及与 Envoy Gateway 的…","2025-06-05T21:20:28",{"id":188,"version":189,"summary_zh":190,"released_at":191},189431,"v0.2.0-rc3","Release candidate","2025-06-05T21:12:25",{"id":193,"version":194,"summary_zh":190,"released_at":195},189432,"v0.2.0-rc1","2025-06-02T22:27:40",{"id":197,"version":198,"summary_zh":199,"released_at":200},189433,"v0.1.5","# Overview\r\n\r\nThis patch release v0.1.5 introduces a fix to syncing the ext proc image.\r\n\r\n# Commits\r\n\r\nextproc: set extProcImage before potentially returning #515","2025-07-04T17:22:33",{"id":202,"version":203,"summary_zh":204,"released_at":205},189434,"v0.1.4","## Overview\r\n\r\nThis patch release `v0.1.4` introduces fix to aws validation error when assistant content is empty.\r\n\r\n## Commits\r\n\r\n- translator: skip adding content if assistant content string is empty (https:\u002F\u002Fgithub.com\u002Fenvoyproxy\u002Fai-gateway\u002Fpull\u002F508)","2025-03-20T20:37:28",{"id":207,"version":208,"summary_zh":209,"released_at":210},189435,"v0.1.3","## Overview\r\n\r\nThis patch release `v0.1.3` includes fixes to chat completion streaming and openai assistant content type, and adds genai metrics.\r\n\r\n## Commits\r\n\r\n- extproc: add genai metrics to track token usage and latency (https:\u002F\u002Fgithub.com\u002Fenvoyproxy\u002Fai-gateway\u002Fpull\u002F459)\r\n- extproc: properly stream chat completions (https:\u002F\u002Fgithub.com\u002Fenvoyproxy\u002Fai-gateway\u002Fpull\u002F468)\r\n- feat: openai: allow assistant content to be string (https:\u002F\u002Fgithub.com\u002Fenvoyproxy\u002Fai-gateway\u002Fpull\u002F486)\r\n","2025-03-14T20:00:16",{"id":212,"version":213,"summary_zh":214,"released_at":215},189436,"v0.1.2","## Overview\r\n\r\nThis patch release `v0.1.2` includes fixes to BackendSecurityPolicy requeue bug, docker hub changes, and extproc image tag sync.\r\n\r\n## Commits\r\n\r\n- controller: fix syncing extproc image tag (https:\u002F\u002Fgithub.com\u002Fenvoyproxy\u002Fai-gateway\u002Fpull\u002F447)\r\n- controller: update rotate function to return expiration time (https:\u002F\u002Fgithub.com\u002Fenvoyproxy\u002Fai-gateway\u002Fpull\u002F455)\r\n- ci: update dockerhub user (#441)","2025-03-05T23:43:52",{"id":217,"version":218,"summary_zh":219,"released_at":220},189437,"v0.1.1","## Overview\r\n\r\nThis patch release `v0.1.1` includes fixes to AWS tooling call, new integration tests for AWS tools, and minor GitHub action validation.\r\n\r\n## Commits\r\n\r\ne2e: add agent test using tool - https:\u002F\u002Fgithub.com\u002Fenvoyproxy\u002Fai-gateway\u002Fpull\u002F426\r\nchore: allows backport prefix in commit title - https:\u002F\u002Fgithub.com\u002Fenvoyproxy\u002Fai-gateway\u002Fpull\u002F443","2025-02-28T18:42:07",{"id":222,"version":223,"summary_zh":224,"released_at":225},189438,"v0.1.0","We're excited to announce the first official release of Envoy AI Gateway v0.1.0! This release marks a significant milestone in our journey to provide a secure, scalable, and efficient way to manage GenAI\u002FLLM traffic using Envoy Proxy.\r\n\r\n### Overview\r\n\r\nEnvoy AI Gateway is an open-source project part of the Envoy Ecosystem. It is built on top of [Envoy Gateway](https:\u002F\u002Fgateway.envoyproxy.io\u002F) and [Envoy Proxy](https:\u002F\u002Fwww.envoyproxy.io\u002F), designed to simplify how application clients interact with Generative AI services.\r\n\r\nIt provides a unified layer for routing and managing LLM\u002FAI traffic with built-in security, token based rate limiting, and policy control features.\r\n\r\nFor installation instructions, see our [Getting Started Guide](https:\u002F\u002Faigateway.envoyproxy.io\u002Fdocs\u002Fgetting-started\u002Finstallation).\r\n\r\n### Features\r\n\r\n#### Unified API for LLM Providers\r\n- **Standardized Interface**: Expose a unified API (currently OpenAI-compatible) to clients while routing to different AI service backends\r\n- **Request\u002FResponse Transformation**: Automatically transform requests and responses between different provider formats\r\n- **Provider Integration**: Initial support for OpenAI and AWS Bedrock\r\n\r\n#### Upstream Authorization\r\n- **API Key Management**: Securely manage API keys for upstream AI providers\r\n- **AWS Credentials Support**: Built-in support for AWS request signing for Bedrock services\r\n- **OIDC Token Exchange**: Support for OIDC-based authentication flows\r\n\r\n#### Token-Based Rate Limiting\r\n- **Token Usage Tracking**: Track and limit usage based on tokens rather than just request count\r\n- **Flexible Rate Limit Policies**: Configure limits based on input tokens, output tokens, or total tokens\r\n- **Per-User Limiting**: Apply rate limits per-client and\u002For user\r\n\r\n#### Traffic Management\r\n- **Intelligent Routing**: Route requests to appropriate AI backends based on model name and other criteria\r\n- **Header-Based Routing**: Configure routing rules using HTTP headers and paths\r\n- **Backend Selection**: Flexible backend selection with support for weighted traffic distribution\r\n\r\n#### Kubernetes Native\r\n- **Custom Resources**: Define your AI Gateway configuration using Kubernetes Custom Resources\r\n- **Helm Installation**: Easy deployment using Helm charts\r\n- **Integration with Gateway API**: Built on the Kubernetes Gateway API specification\r\n\r\n\r\nNote that Envoy AI Gateway is built on top of Envoy Gateway and you benefit from all the features of Envoy Gateway and Envoy Proxy. See the [Envoy Gateway documentation](https:\u002F\u002Fgateway.envoyproxy.io) for more information.\r\n\r\n### Custom Resources\r\n\r\nThis release introduces three new Custom Resource Definitions (CRDs):\r\n\r\n1. **AIGatewayRoute**: Defines the unified API schema and routing rules to AI service backends\r\n2. **AIServiceBackend**: Specifies the AI service backend schema and connection details\r\n3. **BackendSecurityPolicy**: Configures authentication for upstream AI services\r\n\r\n### Documentation\r\n\r\nComprehensive documentation is available at [aigateway.envoyproxy.io](https:\u002F\u002Faigateway.envoyproxy.io\u002F), including:\r\n- [Getting Started Guide](https:\u002F\u002Faigateway.envoyproxy.io\u002Fdocs\u002Fgetting-started)\r\n- [Architecture Overview](https:\u002F\u002Faigateway.envoyproxy.io\u002Fdocs\u002Fconcepts\u002Farchitecture)\r\n- [API Reference](https:\u002F\u002Faigateway.envoyproxy.io\u002Fdocs\u002Fapi\u002F)\r\n- [Confiugration Examples](https:\u002F\u002Fgithub.com\u002Fenvoyproxy\u002Fai-gateway\u002Ftree\u002Fmain\u002Fexamples)\r\n\r\n\r\n### Quick installation \r\n\r\nThe helm chart is attached as an asset named `ai-gateway-helm-v0.1.0.tgz` here. Alternatively, it is also published at [Docker Hub](https:\u002F\u002Fhub.docker.com\u002Flayers\u002Fenvoyproxy\u002Fai-gateway-helm\u002Fv0.1.0\u002Fimages\u002Fsha256-3b516a048d96b89a0f16d9d0e6bc675c3f38547d5fd0849bb28ca239daef5544), so you can try it out with \r\n```\r\nhelm install aieg oci:\u002F\u002Fregistry-1.docker.io\u002Fenvoyproxy\u002Fai-gateway-helm --version v0.1.0 --namespace envoy-ai-gateway-system --create-namespace\r\n```\r\n\r\n### Community\r\n\r\nEnvoy AI Gateway is a community-driven project.\r\nWe welcome your contributions and feedback!\r\n\r\n- Join our [Slack channel](https:\u002F\u002Fenvoyproxy.slack.com\u002Farchives\u002FC07Q4N24VAA)\r\n  - [Register for Envoy Slack](https:\u002F\u002Fcommunityinviter.com\u002Fapps\u002Fenvoyproxy\u002Fenvoy)\r\n- Attend our [weekly community meetings](https:\u002F\u002Fdocs.google.com\u002Fdocument\u002Fd\u002F10e1sfsF-3G3Du5nBHGmLjXw5GVMqqCvFDqp_O65B0_w)\r\n- Contribute on [GitHub](https:\u002F\u002Fgithub.com\u002Fenvoyproxy\u002Fai-gateway)\r\n\r\n### What's Next\r\n\r\nWe're already working on exciting features for upcoming releases:\r\n- Google Gemini integration\r\n- Provider and model fallback logic\r\n\r\n### Acknowledgements\r\n\r\nThis release wouldn't be possible without the incredible contributions from our community members across Tetrate, Bloomberg, WSO2, RedHat, Google, and our independent contributors.\r\n\r\nThank you for your dedication and support!\r\n","2025-02-25T16:46:39",{"id":227,"version":228,"summary_zh":229,"released_at":230},189439,"v0.1.0-rc2","This is a release candidate for v0.1.0. The helm chart is attached as an asset named `ai-gateway-helm-v0.1.0-rc2.tgz` here. Alternatively, it is also published at [Docker Hub](https:\u002F\u002Fhub.docker.com\u002Flayers\u002Fenvoyproxy\u002Fai-gateway-helm\u002Fv0.1.0-rc2\u002Fimages\u002Fsha256-30d312b6f97b08c3b19134b0b76185d74ede0713b3d6c456dfd00007bf851452), so you can try it out with \r\n```\r\nhelm install aieg oci:\u002F\u002Fregistry-1.docker.io\u002Fenvoyproxy\u002Fai-gateway-helm --version v0.1.0-rc2 --namespace envoy-ai-gateway-system --create-namespace\r\n```\r\n","2025-02-25T16:07:35",{"id":232,"version":233,"summary_zh":234,"released_at":235},189440,"v0.1.0-rc1","This is a release candidate for v0.1.0. The helm chart is attached as an asset named `ai-gateway-helm-v0.1.0-rc1.tgz` here. Alternatively, it is also published at [GHCR](https:\u002F\u002Fgithub.com\u002Fenvoyproxy\u002Fai-gateway\u002Fpkgs\u002Fcontainer\u002Fai-gateway%2Fai-gateway-helm\u002F359782726?tag=v0.1.0-rc1), so you can try it out with \r\n```\r\nhelm install aieg oci:\u002F\u002Fghcr.io\u002Fenvoyproxy\u002Fai-gateway\u002Fai-gateway-helm --version v0.1.0-rc1 --namespace envoy-ai-gateway-system --create-namespace\r\n```","2025-02-20T19:25:46"]