[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-KenyonY--openai-forward":3,"tool-KenyonY--openai-forward":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",152630,2,"2026-04-12T23:33:54",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":77,"owner_email":78,"owner_twitter":76,"owner_website":76,"owner_url":79,"languages":80,"stars":96,"forks":97,"last_commit_at":98,"license":99,"difficulty_score":32,"env_os":100,"env_gpu":101,"env_ram":101,"env_deps":102,"category_tags":109,"github_topics":110,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":118,"updated_at":119,"faqs":120,"releases":151},7090,"KenyonY\u002Fopenai-forward","openai-forward","🚀  大语言模型高效转发服务  · An efficient forwarding service designed for LLMs. ·  OpenAI API Reverse Proxy","OpenAI-Forward 是一款专为大型语言模型打造的高效转发服务，本质上是一个功能强大的 OpenAI API 反向代理。它旨在解决开发者在集成 LLM 时面临的请求速率限制、高昂的 Token 成本以及服务稳定性等痛点。通过智能预测缓存机制，它能自动保存并复用相似的 AI 回答，从而显著加速响应速度并节省调用费用；同时，其内置的用户流量控制、自定义密钥管理、黑白名单过滤及自动重试功能，让 API 服务更加安全、可控且稳定。\n\n该工具特别适合需要搭建私有化模型网关的开发者、研究人员以及企业技术团队。无论是代理本地的 LocalAI 模型，还是转发云端的 OpenAI 服务，OpenAI-Forward 都能轻松胜任。其核心技术亮点在于基于 uvicorn、aiohttp 和 asyncio 构建的出色异步性能，确保了高并发下的低延迟表现。此外，最新版本引入了便捷的 WebUI 配置界面和高性能的 FlaxKV 缓存后端，大幅降低了部署与维护门槛。用户只需通过简单的 pip 安装或 Docker 部署，即可快速拥有一套可定制、可观测的专属大模型转发服务。","**简体中文** | [**English**](https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fblob\u002Fmain\u002FREADME_EN.md)\n\n\u003Ch1 align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\">  OpenAI Forward \u003C\u002Fa>\n    \u003Cbr>\n    \u003Cbr>\n\u003C\u002Fh1>\n\n\u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fpypi.org\u002Fproject\u002Fopenai-forward\u002F\">\n        \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fv\u002Fopenai-forward?color=brightgreen&style=flat-square\" alt=\"PyPI version\" >\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fblob\u002Fmain\u002FLICENSE\">\n        \u003Cimg alt=\"License\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flicense\u002FKenyonY\u002Fopenai-forward.svg?color=blue&style=flat-square\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fhub.docker.com\u002Fr\u002Fbeidongjiedeguang\u002Fopenai-forward\">\n        \u003Cimg alt=\"docker pull\" src=\"https:\u002F\u002Fimg.shields.io\u002Fdocker\u002Fpulls\u002Fbeidongjiedeguang\u002Fopenai-forward?style=flat-square&label=docker pulls\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Factions\u002Fworkflows\u002Fci.yml\">\n        \u003Cimg alt=\"tests\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002FKenyonY\u002Fopenai-forward\u002Fci.yml?style=flat-square&label=tests\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fpypistats.org\u002Fpackages\u002Fopenai-forward\">\n        \u003Cimg alt=\"pypi downloads\" src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdm\u002Fopenai_forward?style=flat-square\">\n    \u003C\u002Fa>\n\u003C\u002Fp>\n\n\u003Cdiv align=\"center\">\n\n[特点](#主要特性) |\n[部署指南](deploy.md) |\n[使用指南](#使用指南) |\n[配置](#配置) |\n[对话日志](#对话日志)\n\n\n\u003C\u002Fdiv>\n\n\n> [!IMPORTANT]\n>\n> 在v0.7.0以后在配置方面会有较大调整，并与之前版本不兼容。通过UI配置起来会更加方便，且提供了更强大的配置选项。\n\n\n**OpenAI-Forward** 是为大型语言模型实现的高效转发服务。其核心功能包括\n用户请求速率控制、Token速率限制、智能预测缓存、日志管理和API密钥管理等，旨在提供高效、便捷的模型转发服务。\n无论是代理本地语言模型还是云端语言模型，如 [LocalAI](https:\u002F\u002Fgithub.com\u002Fgo-skynet\u002FLocalAI)\n或 [OpenAI](https:\u002F\u002Fapi.openai.com)，都可以由 OpenAI Forward 轻松实现。\n得益于 [uvicorn](https:\u002F\u002Fgithub.com\u002Fencode\u002Fuvicorn), [aiohttp](https:\u002F\u002Fgithub.com\u002Faio-libs\u002Faiohttp),\n和 [asyncio](https:\u002F\u002Fdocs.python.org\u002F3\u002Flibrary\u002Fasyncio.html)\n等库支持，OpenAI-Forward 实现了出色的异步性能。\n\n\n### News\n\n- 🎉🎉🎉 v0.7.0版本后支持通过WebUI进行配置管理\n- gpt-1106版本已适配\n- 缓存后端切换为高性能数据库后端：[🗲 FlaxKV](https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fflaxkv)\n\n\u003Ca>\n   \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FKenyonY_openai-forward_readme_23b88924ec29.png\" height=8px width=\"100%\">\n\u003C\u002Fa>\n\n## 主要特性\n\n\n- **全能转发**：可转发几乎所有类型的请求\n- **性能优先**：出色的异步性能\n- **缓存AI预测**：对AI预测进行缓存，加速服务访问并节省费用\n- **用户流量控制**：自定义请求速率与Token速率\n- **实时响应日志**：提升LLMs可观察性\n- **自定义秘钥**：替代原始API密钥\n- **多目标路由**：转发多个服务地址至同一服务下的不同路由\n- **黑白名单**：可对指定IP进行黑白名单限制\n- **自动重试**：确保服务的稳定性，请求失败时将自动重试\n- **快速部署**：支持通过pip和docker在本地或云端进行快速部署\n\n**由本项目搭建的代理服务地址:**\n\n- 原始OpenAI 服务地址\n  > https:\u002F\u002Fapi.openai-forward.com  \n  > https:\u002F\u002Frender.openai-forward.com\n\n- 开启缓存的服务地址（用户请求结果将被保存一段时间）\n  > https:\u002F\u002Fsmart.openai-forward.com\n\n\u003Csub>\n注：此处部署的代理服务仅供个人学习和研究目的使用，勿用于任何商业用途。\n\u003C\u002Fsub>\n\n## 部署指南\n\n👉 [部署文档](deploy.md)\n\n\n\u003Ca>\n   \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FKenyonY_openai-forward_readme_23b88924ec29.png\" height=8px width=\"100%\">\n\u003C\u002Fa>\n\n## 使用指南\n\n### 快速入门\n\n**安装**\n\n```bash\npip install openai-forward \n\n# 或安装webui版本：\npip install openai-forward[webui]\n```\n\n**启动服务**\n\n```bash\naifd run\n# 或启动带webui的服务\naifd run --webui\n```\n\n如果读入了根路径的`.env`的配置, 将会看到以下启动信息\n\n```bash\n❯ aifd run\n╭────── 🤗 openai-forward is ready to serve!  ───────╮\n│                                                    │\n│  base url         https:\u002F\u002Fapi.openai.com           │\n│  route prefix     \u002F                                │\n│  api keys         False                            │\n│  forward keys     False                            │\n│  cache_backend    MEMORY                           │\n╰────────────────────────────────────────────────────╯\n╭──────────── ⏱️ Rate Limit configuration ───────────╮\n│                                                    │\n│  backend                memory                     │\n│  strategy               moving-window              │\n│  global rate limit      100\u002Fminute (req)           │\n│  \u002Fv1\u002Fchat\u002Fcompletions   100\u002F2minutes (req)         │\n│  \u002Fv1\u002Fcompletions        60\u002Fminute;600\u002Fhour (req)   │\n│  \u002Fv1\u002Fchat\u002Fcompletions   60\u002Fsecond (token)          │\n│  \u002Fv1\u002Fcompletions        60\u002Fsecond (token)          │\n╰────────────────────────────────────────────────────╯\nINFO:     Started server process [191471]\nINFO:     Waiting for application startup.\nINFO:     Application startup complete.\nINFO:     Uvicorn running on http:\u002F\u002F0.0.0.0:8000 (Press CTRL+C to quit)\n```\n\n### 代理OpenAI模型:\n\n`aifd run`的默认选项便是代理`https:\u002F\u002Fapi.openai.com`\n\n下面以搭建好的服务地址`https:\u002F\u002Fapi.openai-forward.com` 为例\n\n**Python**\n\n```diff\n  from openai import OpenAI  # pip install openai>=1.0.0\n  client = OpenAI(\n+     base_url=\"https:\u002F\u002Fapi.openai-forward.com\u002Fv1\", \n      api_key=\"sk-******\"\n  )\n```\n\n\n### 代理本地模型\n\n- **适用场景：** 与 [LocalAI](https:\u002F\u002Fgithub.com\u002Fgo-skynet\u002FLocalAI)，\n  [api-for-open-llm](https:\u002F\u002Fgithub.com\u002Fxusenlinzy\u002Fapi-for-open-llm)等项目一起使用\n\n- **如何操作：**\n  以LocalAI为例，如果已在 http:\u002F\u002Flocalhost:8080 部署了LocalAI服务，仅需在环境变量或 .env\n  文件中设置 `FORWARD_CONFIG=[{\"base_url\":\"http:\u002F\u002Flocalhost:8080\",\"route\":\"\u002Flocalai\",\"type\":\"openai\"}]`。\n  然后即可通过访问 http:\u002F\u002Flocalhost:8000\u002Flocalai 使用LocalAI。\n\n(更多)\n\n### 代理任意云端模型\n\n#### 代理[gemini pro](https:\u002F\u002Fai.google.dev\u002F)\n配置环境变量或 .env 文件如下：\n```env\nFORWARD_CONFIG=[{\"base_url\":\"https:\u002F\u002Fgenerativelanguage.googleapis.com\",\"route\":\"\u002Fgemini\",\"type\":\"general\"}]\n```\n说明：`aidf run`启动后，即可通过访问 http:\u002F\u002Flocalhost:8000\u002Fgemini 使用gemini pro。\n\n\n- **场景1:**\n  使用通用转发,可对任意来源服务进行转发，\n  可获得请求速率控制与token速率控制；但通用转发不支持自定义秘钥.\n\n- **场景2：**\n  可通过 [LiteLLM](https:\u002F\u002Fgithub.com\u002FBerriAI\u002Flitellm) 可以将 众多云模型的 API 格式转换为 openai\n  的api格式，然后使用openai风格转发\n\n(更多)\n\n\n\u003Ca>\n   \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FKenyonY_openai-forward_readme_23b88924ec29.png\" height=8px width=\"100%\">\n\u003C\u002Fa>\n\n## 配置\n\n\n执行 `aifd run --webui` 进入配置页面 (默认服务地址 http:\u002F\u002Flocalhost:8001)\n\n\n你可以在项目的运行目录下创建 .env 文件来定制各项配置。参考配置可见根目录下的\n[.env.example](.env.example)文件\n\n\n### 智能缓存\n\n开启缓存后，将会对指定路由的内容进行缓存，其中转发类型分别为`openai`与`general`两者行为略有不同，\n使用`general`转发时，默认会将相同的请求一律使用缓存返回，  \n使用`openai`转发时，在开启缓存后，可以通过OpenAI 的`extra_body`参数来控制缓存的行为，如\n\n**Python**\n\n```diff\n  from openai import OpenAI \n  client = OpenAI(\n+     base_url=\"https:\u002F\u002Fsmart.openai-forward.com\u002Fv1\", \n      api_key=\"sk-******\"\n  )\n  completion = client.chat.completions.create(\n    model=\"gpt-3.5-turbo\",\n    messages=[\n      {\"role\": \"user\", \"content\": \"Hello!\"}\n    ],\n+   extra_body={\"caching\": True}\n)\n```\n\n**Curl**\n\n```bash\ncurl https:\u002F\u002Fsmart.openai.com\u002Fv1\u002Fchat\u002Fcompletions \\\n  -H \"Content-Type: application\u002Fjson\" \\\n  -H \"Authorization: Bearer sk-******\" \\\n  -d '{\n    \"model\": \"gpt-3.5-turbo\",\n    \"messages\": [{\"role\": \"user\", \"content\": \"Hello!\"}],\n    \"caching\": true\n  }'\n\n```\n\n### 自定义秘钥\n\n\u003Cdetails open>\n  \u003Csummary>Click for more details\u003C\u002Fsummary>\n\n见.env文件\n\n**用例:**\n\n```diff\n  import openai\n+ openai.api_base = \"https:\u002F\u002Fapi.openai-forward.com\u002Fv1\"\n- openai.api_key = \"sk-******\"\n+ openai.api_key = \"fk-******\"\n```\n\n\u003C\u002Fdetails>\n\n### 多目标服务转发\n\n支持转发不同地址的服务至同一端口的不同路由下\n用例见  `.env.example`\n\n### 对话日志\n\n\u003Cdetails open>\n  \u003Csummary>Click for more details\u003C\u002Fsummary>\n\n保存路径在当前目录下的`Log\u002Fopenai\u002Fchat\u002Fchat.log`路径中。  \n记录格式为\n\n```text\n{'messages': [{'role': 'user', 'content': 'hi'}], 'model': 'gpt-3.5-turbo', 'stream': True, 'max_tokens': None, 'n': 1, 'temperature': 1, 'top_p': 1, 'logit_bias': None, 'frequency_penalty': 0, 'presence_penalty': 0, 'stop': None, 'user': None, 'ip': '127.0.0.1', 'uid': '2155fe1580e6aed626aa1ad74c1ce54e', 'datetime': '2023-10-17 15:27:12'}\n{'assistant': 'Hello! How can I assist you today?', 'is_tool_calls': False, 'uid': '2155fe1580e6aed626aa1ad74c1ce54e'}\n```\n\n转换为`json`格式：\n\n```bash\naifd convert\n```\n\n得到`chat_openai.json`：\n\n```json\n[\n    {\n        \"datetime\": \"2023-10-17 15:27:12\",\n        \"ip\": \"127.0.0.1\",\n        \"model\": \"gpt-3.5-turbo\",\n        \"temperature\": 1,\n        \"messages\": [\n            {\n                \"user\": \"hi\"\n            }\n        ],\n        \"tools\": null,\n        \"is_tool_calls\": false,\n        \"assistant\": \"Hello! How can I assist you today?\"\n    }\n]\n```\n\n\u003C\u002Fdetails>\n\n## 贡献\n\n欢迎通过提交拉取请求或在仓库中提出问题来为此项目做出贡献。\n\n\n## 许可证\n\nOpenAI-Forward 采用 [MIT](https:\u002F\u002Fopensource.org\u002Flicense\u002Fmit\u002F) 许可证。\n","**简体中文** | [**English**](https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fblob\u002Fmain\u002FREADME_EN.md)\n\n\u003Ch1 align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\">  OpenAI Forward \u003C\u002Fa>\n    \u003Cbr>\n    \u003Cbr>\n\u003C\u002Fh1>\n\n\u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fpypi.org\u002Fproject\u002Fopenai-forward\u002F\">\n        \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fv\u002Fopenai-forward?color=brightgreen&style=flat-square\" alt=\"PyPI version\" >\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fblob\u002Fmain\u002FLICENSE\">\n        \u003Cimg alt=\"License\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flicense\u002FKenyonY\u002Fopenai-forward.svg?color=blue&style=flat-square\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fhub.docker.com\u002Fr\u002Fbeidongjiedeguang\u002Fopenai-forward\">\n        \u003Cimg alt=\"docker pull\" src=\"https:\u002F\u002Fimg.shields.io\u002Fdocker\u002Fpulls\u002Fbeidongjiedeguang\u002Fopenai-forward?style=flat-square&label=docker pulls\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Factions\u002Fworkflows\u002Fci.yml\">\n        \u003Cimg alt=\"tests\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Factions\u002Fworkflow\u002Fstatus\u002FKenyonY\u002Fopenai-forward\u002Fci.yml?style=flat-square&label=tests\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fpypistats.org\u002Fpackages\u002Fopenai-forward\">\n        \u003Cimg alt=\"pypi downloads\" src=\"https:\u002F\u002Fimg.shields.io\u002Fpypi\u002Fdm\u002Fopenai_forward?style=flat-square\">\n    \u003C\u002Fa>\n\u003C\u002Fp>\n\n\u003Cdiv align=\"center\">\n\n[特点](#主要特性) |\n[部署指南](deploy.md) |\n[使用指南](#使用指南) |\n[配置](#配置) |\n[对话日志](#对话日志)\n\n\n\u003C\u002Fdiv>\n\n\n> [!IMPORTANT]\n>\n> 在v0.7.0以后在配置方面会有较大调整，并与之前版本不兼容。通过UI配置起来会更加方便，且提供了更强大的配置选项。\n\n\n**OpenAI-Forward** 是为大型语言模型实现的高效转发服务。其核心功能包括\n用户请求速率控制、Token速率限制、智能预测缓存、日志管理和API密钥管理等，旨在提供高效、便捷的模型转发服务。\n无论是代理本地语言模型还是云端语言模型，如 [LocalAI](https:\u002F\u002Fgithub.com\u002Fgo-skynet\u002FLocalAI)\n或 [OpenAI](https:\u002F\u002Fapi.openai.com)，都可以由 OpenAI Forward 轻松实现。\n得益于 [uvicorn](https:\u002F\u002Fgithub.com\u002Fencode\u002Fuvicorn), [aiohttp](https:\u002F\u002Fgithub.com\u002Faio-libs\u002Faiohttp),\n和 [asyncio](https:\u002F\u002Fdocs.python.org\u002F3\u002Flibrary\u002Fasyncio.html)\n等库支持，OpenAI-Forward 实现了出色的异步性能。\n\n\n### News\n\n- 🎉🎉🎉 v0.7.0版本后支持通过WebUI进行配置管理\n- gpt-1106版本已适配\n- 缓存后端切换为高性能数据库后端：[🗲 FlaxKV](https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fflaxkv)\n\n\u003Ca>\n   \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FKenyonY_openai-forward_readme_23b88924ec29.png\" height=8px width=\"100%\">\n\u003C\u002Fa>\n\n## 主要特性\n\n\n- **全能转发**：可转发几乎所有类型的请求\n- **性能优先**：出色的异步性能\n- **缓存AI预测**：对AI预测进行缓存，加速服务访问并节省费用\n- **用户流量控制**：自定义请求速率与Token速率\n- **实时响应日志**：提升LLMs可观察性\n- **自定义秘钥**：替代原始API密钥\n- **多目标路由**：转发多个服务地址至同一服务下的不同路由\n- **黑白名单**：可对指定IP进行黑白名单限制\n- **自动重试**：确保服务的稳定性，请求失败时将自动重试\n- **快速部署**：支持通过pip和docker在本地或云端进行快速部署\n\n**由本项目搭建的代理服务地址:**\n\n- 原始OpenAI 服务地址\n  > https:\u002F\u002Fapi.openai-forward.com  \n  > https:\u002F\u002Frender.openai-forward.com\n\n- 开启缓存的服务地址（用户请求结果将被保存一段时间）\n  > https:\u002F\u002Fsmart.openai-forward.com\n\n\u003Csub>\n注：此处部署的代理服务仅供个人学习和研究目的使用，勿用于任何商业用途。\n\u003C\u002Fsub>\n\n## 部署指南\n\n👉 [部署文档](deploy.md)\n\n\n\u003Ca>\n   \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FKenyonY_openai-forward_readme_23b88924ec29.png\" height=8px width=\"100%\">\n\u003C\u002Fa>\n\n## 使用指南\n\n### 快速入门\n\n**安装**\n\n```bash\npip install openai-forward \n\n# 或安装webui版本：\npip install openai-forward[webui]\n```\n\n**启动服务**\n\n```bash\naifd run\n# 或启动带webui的服务\naifd run --webui\n```\n\n如果读入了根路径的`.env`的配置, 将会看到以下启动信息\n\n```bash\n❯ aifd run\n╭────── 🤗 openai-forward is ready to serve!  ───────╮\n│                                                    │\n│  base url         https:\u002F\u002Fapi.openai.com           │\n│  route prefix     \u002F                                │\n│  api keys         False                            │\n│  forward keys     False                            │\n│  cache_backend    MEMORY                           │\n╰────────────────────────────────────────────────────╯\n╭──────────── ⏱️ Rate Limit configuration ───────────╮\n│                                                    │\n│  backend                memory                     │\n│  strategy               moving-window              │\n│  global rate limit      100\u002Fminute (req)           │\n│  \u002Fv1\u002Fchat\u002Fcompletions   100\u002F2minutes (req)         │\n│  \u002Fv1\u002Fcompletions        60\u002Fminute;600\u002Fhour (req)   │\n│  \u002Fv1\u002Fchat\u002Fcompletions   60\u002Fsecond (token)          │\n│  \u002Fv1\u002Fcompletions        60\u002Fsecond (token)          │\n╰────────────────────────────────────────────────────╯\nINFO:     Started server process [191471]\nINFO:     Waiting for application startup.\nINFO:     Application startup complete.\nINFO:     Uvicorn running on http:\u002F\u002F0.0.0.0:8000 (Press CTRL+C to quit)\n```\n\n### 代理OpenAI模型:\n\n`aifd run`的默认选项便是代理`https:\u002F\u002Fapi.openai.com`\n\n下面以搭建好的服务地址`https:\u002F\u002Fapi.openai-forward.com` 为例\n\n**Python**\n\n```diff\n  from openai import OpenAI  # pip install openai>=1.0.0\n  client = OpenAI(\n+     base_url=\"https:\u002F\u002Fapi.openai-forward.com\u002Fv1\", \n      api_key=\"sk-******\"\n  )\n```\n\n\n### 代理本地模型\n\n- **适用场景：** 与 [LocalAI](https:\u002F\u002Fgithub.com\u002Fgo-skynet\u002FLocalAI)，\n  [api-for-open-llm](https:\u002F\u002Fgithub.com\u002Fxusenlinzy\u002Fapi-for-open-llm)等项目一起使用\n\n- **如何操作：**\n  以LocalAI为例，如果已在 http:\u002F\u002Flocalhost:8080 部署了LocalAI服务，仅需在环境变量或 .env\n  文件中设置 `FORWARD_CONFIG=[{\"base_url\":\"http:\u002F\u002Flocalhost:8080\",\"route\":\"\u002Flocalai\",\"type\":\"openai\"}]`。\n  然后即可通过访问 http:\u002F\u002Flocalhost:8000\u002Flocalai 使用LocalAI。\n\n(更多)\n\n### 代理任意云端模型\n\n#### 代理[gemini pro](https:\u002F\u002Fai.google.dev\u002F)\n配置环境变量或 .env 文件如下：\n```env\nFORWARD_CONFIG=[{\"base_url\":\"https:\u002F\u002Fgenerativelanguage.googleapis.com\",\"route\":\"\u002Fgemini\",\"type\":\"general\"}]\n```\n说明：`aidf run`启动后，即可通过访问 http:\u002F\u002Flocalhost:8000\u002Fgemini 使用gemini pro。\n\n\n- **场景1:**\n  使用通用转发,可对任意来源服务进行转发，\n  可获得请求速率控制与token速率控制；但通用转发不支持自定义秘钥.\n\n- **场景2：**\n  可通过 [LiteLLM](https:\u002F\u002Fgithub.com\u002FBerriAI\u002Flitellm) 可以将 众多云模型的 API 格式转换为 openai\n  的api格式，然后使用openai风格转发\n\n(更多)\n\n\n\u003Ca>\n   \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FKenyonY_openai-forward_readme_23b88924ec29.png\" height=8px width=\"100%\">\n\u003C\u002Fa>\n\n## 配置\n\n\n执行 `aifd run --webui` 进入配置页面 (默认服务地址 http:\u002F\u002Flocalhost:8001)\n\n\n你可以在项目的运行目录下创建 .env 文件来定制各项配置。参考配置可见根目录下的\n[.env.example](.env.example)文件\n\n\n### 智能缓存\n\n开启缓存后，将会对指定路由的内容进行缓存，其中转发类型分别为`openai`与`general`两者行为略有不同，\n使用`general`转发时，默认会将相同的请求一律使用缓存返回，  \n使用`openai`转发时，在开启缓存后，可以通过OpenAI 的`extra_body`参数来控制缓存的行为，如\n\n**Python**\n\n```diff\n  from openai import OpenAI \n  client = OpenAI(\n+     base_url=\"https:\u002F\u002Fsmart.openai-forward.com\u002Fv1\", \n      api_key=\"sk-******\"\n  )\n  completion = client.chat.completions.create(\n    model=\"gpt-3.5-turbo\",\n    messages=[\n      {\"role\": \"user\", \"content\": \"Hello!\"}\n    ],\n+   extra_body={\"caching\": True}\n)\n```\n\n**Curl**\n\n```bash\ncurl https:\u002F\u002Fsmart.openai.com\u002Fv1\u002Fchat\u002Fcompletions \\\n  -H \"Content-Type: application\u002Fjson\" \\\n  -H \"Authorization: Bearer sk-******\" \\\n  -d '{\n    \"model\": \"gpt-3.5-turbo\",\n    \"messages\": [{\"role\": \"user\", \"content\": \"Hello!\"}],\n    \"caching\": true\n  }'\n\n```\n\n### 自定义秘钥\n\n\u003Cdetails open>\n  \u003Csummary>Click for more details\u003C\u002Fsummary>\n\n见.env文件\n\n**用例:**\n\n```diff\n  import openai\n+ openai.api_base = \"https:\u002F\u002Fapi.openai-forward.com\u002Fv1\"\n- openai.api_key = \"sk-******\"\n+ openai.api_key = \"fk-******\"\n```\n\n\u003C\u002Fdetails>\n\n### 多目标服务转发\n\n支持转发不同地址的服务至同一端口的不同路由下\n用例见  `.env.example`\n\n### 对话日志\n\n\u003Cdetails open>\n  \u003Csummary>点击查看更多详情\u003C\u002Fsummary>\n\n保存路径在当前目录下的`Log\u002Fopenai\u002Fchat\u002Fchat.log`路径中。  \n记录格式为\n\n```text\n{'messages': [{'role': 'user', 'content': 'hi'}], 'model': 'gpt-3.5-turbo', 'stream': True, 'max_tokens': None, 'n': 1, 'temperature': 1, 'top_p': 1, 'logit_bias': None, 'frequency_penalty': 0, 'presence_penalty': 0, 'stop': None, 'user': None, 'ip': '127.0.0.1', 'uid': '2155fe1580e6aed626aa1ad74c1ce54e', 'datetime': '2023-10-17 15:27:12'}\n{'assistant': 'Hello! How can I assist you today?', 'is_tool_calls': False, 'uid': '2155fe1580e6aed626aa1ad74c1ce54e'}\n```\n\n转换为`json`格式：\n\n```bash\naifd convert\n```\n\n得到`chat_openai.json`：\n\n```json\n[\n    {\n        \"datetime\": \"2023-10-17 15:27:12\",\n        \"ip\": \"127.0.0.1\",\n        \"model\": \"gpt-3.5-turbo\",\n        \"temperature\": 1,\n        \"messages\": [\n            {\n                \"user\": \"hi\"\n            }\n        ],\n        \"tools\": null,\n        \"is_tool_calls\": false,\n        \"assistant\": \"Hello! How can I assist you today?\"\n    }\n]\n```\n\n\u003C\u002Fdetails>\n\n## 贡献\n\n欢迎通过提交拉取请求或在仓库中提出问题来为此项目做出贡献。\n\n\n## 许可证\n\nOpenAI-Forward 采用 [MIT](https:\u002F\u002Fopensource.org\u002Flicense\u002Fmit\u002F) 许可证。","# OpenAI-Forward 快速上手指南\n\nOpenAI-Forward 是一个高效的大型语言模型转发服务，支持请求速率控制、Token 限流、智能缓存、日志管理及自定义密钥等功能。适用于代理 OpenAI 官方接口、本地模型（如 LocalAI）或其他云端模型。\n\n## 环境准备\n\n- **操作系统**：Linux \u002F macOS \u002F Windows\n- **Python 版本**：Python 3.8+\n- **依赖管理**：pip 或 Docker（可选）\n- **网络要求**：可访问目标 API 服务（如 api.openai.com 或本地模型服务）\n\n> 💡 国内用户建议使用国内 PyPI 镜像加速安装，例如：\n> ```bash\n> pip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple openai-forward\n> ```\n\n## 安装步骤\n\n### 方式一：通过 pip 安装\n\n```bash\n# 基础版本\npip install openai-forward\n\n# 带 WebUI 管理界面版本（推荐）\npip install openai-forward[webui]\n```\n\n### 方式二：通过 Docker 运行（可选）\n\n```bash\ndocker pull beidongjiedeguang\u002Fopenai-forward\ndocker run -p 8000:8000 -p 8001:8001 beidongjiedeguang\u002Fopenai-forward\n```\n\n## 基本使用\n\n### 1. 启动服务\n\n```bash\n# 启动基础服务（默认代理 https:\u002F\u002Fapi.openai.com）\naifd run\n\n# 启动带 WebUI 配置界面的服务（访问 http:\u002F\u002Flocalhost:8001 进行配置）\naifd run --webui\n```\n\n启动成功后，终端将显示服务配置信息，包括基础 URL、路由前缀、限流策略等。\n\n### 2. 调用代理服务（以 Python 为例）\n\n```python\nfrom openai import OpenAI\n\nclient = OpenAI(\n    base_url=\"https:\u002F\u002Fapi.openai-forward.com\u002Fv1\",  # 替换为你部署的服务地址\n    api_key=\"sk-******\"  # 可使用原始 key 或自定义 forward key\n)\n\ncompletion = client.chat.completions.create(\n    model=\"gpt-3.5-turbo\",\n    messages=[{\"role\": \"user\", \"content\": \"Hello!\"}]\n)\n\nprint(completion.choices[0].message.content)\n```\n\n### 3. 启用智能缓存（可选）\n\n若部署了缓存服务（如 `https:\u002F\u002Fsmart.openai-forward.com`），可通过 `extra_body` 参数控制缓存行为：\n\n```python\ncompletion = client.chat.completions.create(\n    model=\"gpt-3.5-turbo\",\n    messages=[{\"role\": \"user\", \"content\": \"Hello!\"}],\n    extra_body={\"caching\": True}\n)\n```\n\n或使用 curl：\n\n```bash\ncurl https:\u002F\u002Fsmart.openai-forward.com\u002Fv1\u002Fchat\u002Fcompletions \\\n  -H \"Content-Type: application\u002Fjson\" \\\n  -H \"Authorization: Bearer sk-******\" \\\n  -d '{\n    \"model\": \"gpt-3.5-turbo\",\n    \"messages\": [{\"role\": \"user\", \"content\": \"Hello!\"}],\n    \"caching\": true\n  }'\n```\n\n### 4. 代理本地模型（如 LocalAI）\n\n在 `.env` 文件中配置：\n\n```env\nFORWARD_CONFIG=[{\"base_url\":\"http:\u002F\u002Flocalhost:8080\",\"route\":\"\u002Flocalai\",\"type\":\"openai\"}]\n```\n\n启动后，通过 `http:\u002F\u002Flocalhost:8000\u002Flocalai` 即可访问本地模型服务。\n\n---\n\n更多高级配置（如多路由转发、黑白名单、日志导出等）可通过 WebUI 界面或编辑 `.env` 文件完成。参考项目根目录下的 `.env.example` 获取完整配置示例。","某初创团队开发了一款面向国内用户的 AI 写作助手，需调用 OpenAI 接口，但面临网络不稳定、API 成本高昂及多成员协作管理困难等挑战。\n\n### 没有 openai-forward 时\n- **连接频繁中断**：直接调用官方接口常因网络波动导致请求失败，用户体验极差，且缺乏自动重试机制。\n- **运营成本失控**：高频重复的测试请求和相似内容生成直接消耗大量 Token，造成不必要的资金浪费。\n- **权限管理混乱**：团队成员共用同一个 API Key，无法区分个人用量，一旦密钥泄露需全员更换，风险极高。\n- **故障排查困难**：缺乏详细的请求与响应日志，出现异常时难以定位是代码问题还是模型服务问题。\n\n### 使用 openai-forward 后\n- **服务稳定可靠**：利用内置的自动重试功能和异步高性能架构，有效抵御网络抖动，保障请求成功率。\n- **显著降低成本**：开启智能预测缓存后，相同或相似的提示词请求直接返回缓存结果，大幅减少 Token 消耗。\n- **精细化权限控制**：为每位成员分发独立虚拟密钥，可单独设置速率限制（如每分钟请求数），实现安全隔离。\n- **全链路可观测**：通过实时响应日志清晰记录每一次交互细节，快速定位问题根源，提升运维效率。\n\nopenai-forward 通过构建一层高效、可控的中间代理层，将不稳定的原生 API 转化为适合生产环境的高可用、低成本服务。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FKenyonY_openai-forward_fb99c7b1.png","KenyonY","K.Y","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FKenyonY_edeaf985.jpg","MLLM\u002FVLM |  Physics |\r\n\r\nMore is different.",null,"Shanghai","beidongjiedeguang@gmail.com","https:\u002F\u002Fgithub.com\u002FKenyonY",[81,85,89,93],{"name":82,"color":83,"percentage":84},"Python","#3572A5",95.9,{"name":86,"color":87,"percentage":88},"Shell","#89e051",1.4,{"name":90,"color":91,"percentage":92},"Makefile","#427819",1.3,{"name":94,"color":95,"percentage":92},"Dockerfile","#384d54",985,312,"2026-04-12T19:08:00","MIT","Linux, macOS, Windows","未说明",{"notes":103,"python":101,"dependencies":104},"该工具是一个轻量级的 API 转发服务，主要用于代理本地或云端大模型服务（如 OpenAI、LocalAI 等），本身不运行大型模型，因此对 GPU 和内存无特殊高要求。支持通过 pip 或 Docker 快速部署。v0.7.0 版本后配置方式有较大调整，建议通过 WebUI 进行配置管理。缓存后端已切换为高性能数据库 FlaxKV。",[105,106,107,108],"uvicorn","aiohttp","asyncio","flaxkv",[14,52,35],[111,112,113,114,115,116,117],"openai-api","openai-proxy","rate-limit","openai","proxy","llm","python","2026-03-27T02:49:30.150509","2026-04-13T18:55:49.334501",[121,126,131,136,141,146],{"id":122,"question_zh":123,"answer_zh":124,"source_url":125},31866,"使用 GPT-4 提交长文本时出现 504 Gateway Time-out 错误，即使设置了超时时间也无效，如何解决？","这通常不是转发服务本身的问题。在使用流式返回或非流式长文本时，如果达到 OpenAI 或 Azure 服务端每分钟最大 tokens 限制，服务端会自动断开连接，导致客户端收到不完整信息或超时错误（如 peer closed connection）。即使是直接使用官方 API 也会出现此情况。建议检查是否触发了速率限制，并在接收端增加对连接意外关闭的错误处理逻辑，以提示用户发送频率超额。","https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fissues\u002F119",{"id":127,"question_zh":128,"answer_zh":129,"source_url":130},31867,"较长的流式回答保存日志时出现 'IndexError: list index out of range' 错误怎么办？","该问题是由于旧版本代码在处理较长流式响应时的解析逻辑缺陷导致的。解决方案是升级 openai-forward 到最新版本，升级后该问题即可解决。","https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fissues\u002F55",{"id":132,"question_zh":133,"answer_zh":134,"source_url":135},31868,"添加大量 API Key 后运行不久出现大量 httpx.PoolTimeout 超时错误，是并发支持不够吗？","理论上使用多少个 Key 对服务本身的性能没有直接影响。出现大量超时更可能是 OpenAI 的政策限制（如速率限制或单 Key 异常）导致的，而非转发服务的并发瓶颈。如果是单个 Key 的超时导致了整个服务池的阻塞，建议检查 Key 的有效性及对应的速率限制策略，后续版本可能会优化此类异常隔离机制。","https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fissues\u002F72",{"id":137,"question_zh":138,"answer_zh":139,"source_url":140},31869,"如何在启动命令中自定义服务端口和 WebUI 端口？","该功能已在最新版本中实现。现在可以通过启动命令参数直接设置 port 和 webui port，无需修改源代码或配置文件即可指定监听端口。","https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fissues\u002F122",{"id":142,"question_zh":143,"answer_zh":144,"source_url":145},31870,"启用 .env 配置文件后 Docker 容器无法启动或出现 Out of Memory (OOM) 错误，原因是什么？","这通常是因为配置的路由前缀（OPENAI_ROUTE_PREFIX）与实际调用的路由不匹配，或者配置项填写错误导致程序陷入死循环或资源耗尽。请确保：1. 调用请求的路径包含了你在 .env 中设置的前缀；2. 仔细查阅文档理解每个配置项的含义后再修改，不确定的配置项请置空；3. 日志中显示的 extra forward prefix 等也可以根据需要修改，但需遵循正确的格式。","https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fissues\u002F84",{"id":147,"question_zh":148,"answer_zh":149,"source_url":150},31871,"Docker 部署模式下，一个进程能支持多少并发？小配置服务器需要开多个进程吗？","openai-forward 基于异步框架（如 FastAPI\u002FStarlette + httpx），单个进程即可支持较高的并发量。对于 2C2G 的服务器，通常不需要开启多个进程，单个实例足以应对大多数中等负载场景。如果遇到性能瓶颈，建议先监控资源使用情况，确认是 CPU、内存还是网络带宽受限，再考虑是否通过多实例部署来横向扩展。","https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fissues\u002F71",[152,157,162,167,172,177,182,187,192,197,202,207,212,217,222,227,232,237,241,246],{"id":153,"version":154,"summary_zh":155,"released_at":156},239105,"v0.8.1","## 变更内容\n* 功能性更新：将环境变量 `OPENAI_API_KEY` 更改为 `OPENAI_API_KEY_CONFIG`，由 @KenyonY 在 https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fpull\u002F136 中完成。\n\n\n**完整变更日志**：https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fcompare\u002Fv0.8.0...v0.8.1","2024-06-08T10:17:19",{"id":158,"version":159,"summary_zh":160,"released_at":161},239106,"v0.8.0","## 变更内容\n* 由 @KenyonY 在 https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fpull\u002F125 中更新了 render.yaml 文件\n* 功能：支持更灵活的配置选项，由 @KenyonY 在 https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fpull\u002F129 中实现\n* 杂项：由 @KenyonY 在 https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fpull\u002F131 中进行了小幅更新\n\n\n**完整变更日志**: https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fcompare\u002Fv0.7.2...v0.8.0","2024-05-15T16:52:13",{"id":163,"version":164,"summary_zh":165,"released_at":166},239107,"v0.7.2","## 变更内容\n* 功能：将 Web UI 从 openai-forward 主程序中分离，由 @KenyonY 在 https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fpull\u002F114 中实现。\n* 修复：修复部署渲染问题，由 @KenyonY 在 https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fpull\u002F115 中完成。\n* 功能：在内部区分流式与非流式处理，由 @KenyonY 在 https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fpull\u002F121 中实现。\n\n\n**完整变更日志**：https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fcompare\u002Fv0.7.1...v0.7.2","2024-04-11T16:37:06",{"id":168,"version":169,"summary_zh":170,"released_at":171},239108,"v0.7.1","## 变更内容\n* 功能：API密钥权限系统开发已完成，由 @KenyonY 在 https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fpull\u002F112 中完成。\n\n\n**完整变更日志**: https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fcompare\u002Fv0.7.0...v0.7.1","2024-01-30T07:52:08",{"id":173,"version":174,"summary_zh":175,"released_at":176},239109,"v0.7.0","## 变更内容\n* 更新 Docker 部署说明，针对 .env 环境变量进行调整。由 @limboinf 在 https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fpull\u002F107 中完成。\n* Web 界面支持功能，由 @KenyonY 在 https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fpull\u002F108 中实现。\n* 功能：优化 UI 并重构与转发相关的环境配置。由 @KenyonY 在 https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fpull\u002F109 中完成。\n* 功能：在 Web 界面中实现实时日志渲染。由 @KenyonY 在 https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fpull\u002F110 中完成。\n* 功能：为所有路由添加缓存支持。由 @KenyonY 在 https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fpull\u002F111 中完成。\n\n## 新贡献者\n* @limboinf 在 https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fpull\u002F107 中完成了首次贡献。\n\n**完整变更日志**：https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fcompare\u002Fv0.6.12...v0.7.0","2024-01-29T04:48:29",{"id":178,"version":179,"summary_zh":180,"released_at":181},239110,"v0.6.12","**完整更新日志**: https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fcompare\u002Fv0.6.11...v0.6.12","2024-01-21T08:49:43",{"id":183,"version":184,"summary_zh":185,"released_at":186},239111,"v0.6.11","## 变更内容\n* 新功能：v1\u002Fembeddings 的路由缓存，由 @KenyonY 在 https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fpull\u002F106 中实现\n* 新功能：缓存数据格式已不再与之前兼容！\n\n**完整变更日志**：https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fcompare\u002Fv0.6.10...v0.6.11","2024-01-13T15:36:32",{"id":188,"version":189,"summary_zh":190,"released_at":191},239112,"v0.6.10","**完整更新日志**: https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fcompare\u002Fv0.6.9...v0.6.10","2024-01-12T06:22:10",{"id":193,"version":194,"summary_zh":195,"released_at":196},239113,"v0.6.9","**完整更新日志**: https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fcompare\u002Fv0.6.8...v0.6.9","2023-12-26T13:27:38",{"id":198,"version":199,"summary_zh":200,"released_at":201},239114,"v0.6.8","## 变更内容\n* 功能新增：兼容 Python 3.8，由 @KenyonY 在 https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fpull\u002F102 中实现。\n\n\n**完整变更日志**：https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fcompare\u002Fv0.6.7...v0.6.8","2023-12-26T12:16:37",{"id":203,"version":204,"summary_zh":205,"released_at":206},239115,"v0.6.7","## What's Changed\n* 🎨: improve cache module by @KenyonY in https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fpull\u002F97\n\n\n**Full Changelog**: https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fcompare\u002Fv0.6.6...v0.6.7","2023-11-21T04:48:30",{"id":208,"version":209,"summary_zh":210,"released_at":211},239116,"v0.6.6","## What's Changed\n* feat: :sparkles: Intelligent caching keeps up with version gpt-1106 by @KenyonY in https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fpull\u002F95\n\n\n**Full Changelog**: https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fcompare\u002Fv0.6.5...v0.6.6","2023-11-19T15:18:44",{"id":213,"version":214,"summary_zh":215,"released_at":216},239117,"v0.6.5","## What's Changed\r\n* feat: Assistants API support by @KenyonY in https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fpull\u002F93\r\n\r\n\r\n**Full Changelog**: https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fcompare\u002Fv0.6.4...v0.6.5","2023-11-16T13:07:21",{"id":218,"version":219,"summary_zh":220,"released_at":221},239118,"v0.6.4","## What's Changed\r\n* feat: Using `flaxkv` as the cache database by @KenyonY in https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fpull\u002F88\r\n* bug fix by @KenyonY in https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fpull\u002F89\r\n* chore: forwarding chatgpt example by @KenyonY in https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fpull\u002F90\r\n\r\n\r\n**Full Changelog**: https:\u002F\u002Fgithub.com\u002FKenyonY\u002Fopenai-forward\u002Fcompare\u002Fv0.6.3...v0.6.4","2023-11-16T08:41:30",{"id":223,"version":224,"summary_zh":225,"released_at":226},239119,"v0.6.3","See ChangeLog","2023-10-26T06:55:34",{"id":228,"version":229,"summary_zh":230,"released_at":231},239120,"v0.6.2","## Features\r\n\r\n- 支持对\u002Fv1\u002Fchat\u002Fcompletions 的结果使用高性能数据库lmdb\u002Fleveldb进行缓存","2023-10-18T11:21:28",{"id":233,"version":234,"summary_zh":235,"released_at":236},239121,"v0.6.1","## Features\r\n- 支持对路由\u002Fv1\u002Fcompletions 的响应日志\r\n- 支持对路由\u002Fv1\u002Fchat\u002Fcompletions function call的响应日志","2023-10-15T17:32:41",{"id":238,"version":239,"summary_zh":225,"released_at":240},239122,"v0.6.0","2023-09-28T12:19:41",{"id":242,"version":243,"summary_zh":244,"released_at":245},239123,"v0.5.3","add benchmark mode","2023-09-19T11:04:19",{"id":247,"version":248,"summary_zh":225,"released_at":249},239124,"v0.5.2","2023-09-11T10:26:47"]