床岩访问网关

适用于亚马逊 Bedrock 的 OpenAI 兼容 RESTful API

最新动态 🔥

API 网关响应流式传输支持 - 您现在可以使用 Amazon API 网关 REST API 而不是 ALB 进行部署，从而实现真正的响应流式传输，以获得更低的延迟并优化成本。有关详细信息，请参阅部署选项。

最新支持的模型：

• Claude 4.5 系列：Opus 4.5、Sonnet 4.5、Haiku 4.5 - Anthropic 最智能的模型，具备增强的编码和代理能力
• Amazon Nova：Nova Micro、Nova Lite、Nova Pro、Nova Premier - Amazon 原生的基础模型，支持多模态
• DeepSeek：DeepSeek-R1（推理）、DeepSeek-V3.1 - 先进的推理和通用模型
• 通义千问 3：Qwen3-32B、Qwen3-235B、Qwen3-Coder-30B、Qwen3-Coder-480B - 阿里巴巴最新的语言和编码模型
• OpenAI 开源模型：gpt-oss-20b、gpt-oss-120b - 可通过 Bedrock 使用的开源 GPT 模型

它还支持 Claude 4/4.5（扩展思维和交错思维）以及 DeepSeek R1 的推理功能。更多详情请参阅使用方法。您需要先运行 Models API 来刷新模型列表。

概述

亚马逊 Bedrock 提供了广泛的基础模型（如 Claude 3 Opus/Sonnet/Haiku、Llama 2/3、Mistral/Mixtral 等）以及丰富的功能，帮助您构建生成式 AI 应用程序。有关更多信息，请访问 亚马逊 Bedrock 官方页面。

有时，您可能已经使用 OpenAI 的 API 或 SDK 开发了应用程序，并希望在不修改代码库的情况下尝试亚马逊 Bedrock。或者您只是想在 AutoGen 等工具中评估这些基础模型的能力。那么，这个仓库可以让您通过 OpenAI 的 API 和 SDK 无缝访问亚马逊 Bedrock 的模型，从而无需更改代码即可测试这些模型。

如果您觉得这个 GitHub 仓库很有用，请考虑免费给它点个星 ⭐，以表达您对该项目的支持与感谢。

功能特性：

• 支持通过服务器发送事件 (SSE) 进行流式响应
• 支持 Models API
• 支持 Chat Completion API
• 支持工具调用
• 支持 Embedding API
• 支持 Multimodal API
• 支持跨区域推理
• 支持应用推理配置文件（新）
• 支持推理（新）
• 支持交错思维（新）
• 支持提示缓存（新）

有关如何使用新 API 的更多详细信息，请查看使用指南。

开始使用

前提条件

请确保您已满足以下前提条件：

• 拥有亚马逊 Bedrock 基础模型的访问权限。

有关如何申请模型访问权限的更多信息，请参阅 亚马逊 Bedrock 用户指南（设置 > 模型访问）

架构

下图展示了参考架构。它使用 Amazon API 网关响应流式传输 结合 Lambda 实现 SSE 支持。

部署选项

选项	优点	缺点	适用场景
API 网关 + Lambda	无需 VPC，按需付费，原生流式支持，较低的运维开销	可能存在冷启动	多数用例，成本敏感型部署
ALB + Fargate	流式传输延迟最低，无冷启动	成本较高，需要 VPC	高吞吐量、对延迟敏感的工作负载

您也可以使用 Lambda 函数 URL 作为替代方案，详见示例

部署

请按照以下步骤将 Bedrock 代理 API 部署到您的 AWS 账户中。仅支持 Amazon Bedrock 可用的区域（例如 us-west-2）。部署大约需要 10–15 分钟 🕒。

步骤 1：在 Secrets Manager 中创建您自己的 API 密钥（必须）

注意：此步骤是为了使用任意不含空格的字符串创建一个自定义 API 密钥（凭据），该密钥将在后续用于访问代理 API。此密钥无需与您的实际 OpenAI 密钥匹配，您也不需要拥有 OpenAI API 密钥。请务必妥善保管并确保密钥的私密性。

1. 打开 AWS 管理控制台，导航至 AWS Secrets Manager 服务。

2. 单击“存储新密钥”按钮。

3. 在“选择密钥类型”页面中，选择：

   密钥类型：其他类型的密钥
   键/值对：

   • 键：api_key
   • 值：输入您的 API 密钥值

   单击“下一步”

4. 在“配置密钥”页面中： 密钥名称：输入一个名称（例如“BedrockProxyAPIKey”） 描述：（可选）添加关于此密钥的描述

5. 单击“下一步”，检查所有设置并单击“存储”。

创建完成后，您将在 Secrets Manager 控制台中看到您的密钥。请记下密钥的 ARN。

步骤 2：构建并推送容器镜像至 ECR

1. 克隆此仓库：

   git clone https://github.com/aws-samples/bedrock-access-gateway.git
   cd bedrock-access-gateway
   

2. 运行构建和推送脚本：

   cd scripts
   bash ./push-to-ecr.sh
   

3. 按照提示进行配置：

   • ECR 存储库名称（或使用默认值）
   • 镜像标签（或使用默认值：latest）
   • AWS 区域（或使用默认值：us-east-1）

4. 脚本将构建并分别将 Lambda 和 ECS/Fargate 的镜像推送到您的 ECR 存储库中。

5. 重要提示：请复制脚本输出末尾显示的镜像 URI。您将在下一步中用到这些 URI。

步骤 3：部署 CloudFormation 堆栈

1. 下载您想要使用的 CloudFormation 模板：

   • 对于 API Gateway + Lambda：deployment/BedrockProxy.template
   • 对于 ALB + Fargate：deployment/BedrockProxyFargate.template

2. 登录 AWS 管理控制台，在目标区域导航至 CloudFormation 服务。

3. 单击“创建堆栈”→“使用新资源（标准）”。

4. 上传您下载的模板文件。

5. 在“指定堆栈详细信息”页面中，提供以下信息：

   • 堆栈名称：输入一个堆栈名称（例如“BedrockProxyAPI”）
   • ApiKeySecretArn：输入步骤 1 中获得的密钥 ARN
   • ContainerImageUri：输入步骤 2 输出中的 ECR 镜像 URI
   • DefaultModelId：（可选）根据需要更改默认模型

   单击“下一步”。

6. 在“配置堆栈选项”页面中，您可以保留默认设置，也可以根据需求进行自定义。单击“下一步”。

7. 在“审核”页面中，仔细检查所有详细信息。勾选底部的“我确认 AWS CloudFormation 可能会创建 IAM 资源”复选框。单击“提交”。

就完成了！🎉 部署完成后，单击 CloudFormation 堆栈并进入 Outputs 选项卡，您可以在 APIBaseUrl 中找到 API 基础 URL，其值应类似于 http://xxxx.xxx.elb.amazonaws.com/api/v1。

故障排除

如果您遇到任何问题，请查看 故障排除指南 以获取更多详细信息。

SDK/API 使用

您只需要 API 密钥和 API 基础 URL 即可。如果您未按照步骤 1 设置自己的密钥，则应用程序将无法启动，并会显示一条错误消息，指出未配置 API 密钥。

现在，您可以试用代理 API。假设您想测试 Claude 3 Sonnet 模型（模型 ID：anthropic.claude-3-sonnet-20240229-v1:0）……

API 使用示例

export OPENAI_API_KEY=<API 密钥>
export OPENAI_BASE_URL=<API 基础 URL>
# 对于旧版本
# https://github.com/openai/openai-python/issues/624
export OPENAI_API_BASE=<API 基础 URL>

curl $OPENAI_BASE_URL/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -d '{
    "model": "anthropic.claude-3-sonnet-20240229-v1:0",
    "messages": [
      {
        "role": "user",
        "content": "Hello!"
      }
    ]
  }'

SDK 使用示例

from openai import OpenAI

client = OpenAI()
completion = client.chat.completions.create(
    model="anthropic.claude-3-sonnet-20240229-v1:0",
    messages=[{"role": "user", "content": "Hello!"}],
)

print(completion.choices[0].message.content)

有关如何使用嵌入 API、多模态 API 和工具调用的更多详细信息，请参阅 使用指南。

应用推理配置文件

此代理现支持 应用推理配置文件，允许您跟踪模型调用的使用情况和成本。您可以使用在 AWS 账户中创建的应用推理配置文件来进行成本跟踪和监控。

使用应用推理配置文件：

# 将应用推理配置文件 ARN 用作模型 ID
curl $OPENAI_BASE_URL/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -d '{
    "model": "arn:aws:bedrock:us-west-2:123456789012:application-inference-profile/your-profile-id",
    "messages": [
      {
        "role": "user",
        "content": "Hello!"
      }
    ]
  }'

使用应用推理配置文件的 SDK 示例：

from openai import OpenAI

client = OpenAI()
completion = client.chat.completions.create(
    model="arn:aws:bedrock:us-west-2:123456789012:application-inference-profile/your-profile-id",
    messages=[{"role": "user", "content": "Hello!"}],
)

print(completion.choices[0].message.content)

应用推理配置文件的优势：

• 成本跟踪：跟踪特定应用或用例的使用情况和成本
• 使用监控：通过 CloudWatch 监控模型调用指标
• 基于标签的成本分配：使用 AWS 成本分配标签进行详细的账单分析

有关创建和管理应用推理配置文件的更多信息，请参阅 Amazon Bedrock 用户指南。

提示缓存

此代理现支持 Claude 和 Nova 模型的 提示缓存，对于具有重复提示的工作负载，提示缓存可以将成本降低多达 90%，并将延迟降低多达 85%。

支持的模型：

• Claude 模型（Claude 3.5 Haiku、Claude 4、Claude 4.5 等）
• Nova 模型（Nova Micro、Nova Lite、Nova Pro、Nova Premier）

启用提示缓存的方法：

您可以通过两种方式启用提示缓存：

1. 通过环境变量全局启用（在 ECS 任务定义或 Lambda 中设置）：

ENABLE_PROMPT_CACHING=true

2. 通过 extra_body 进行每请求配置：

Python SDK 示例：

from openai import OpenAI

client = OpenAI()

# 缓存系统提示
response = client.chat.completions.create(
    model="global.anthropic.claude-haiku-4-5-20251001-v1:0",
    messages=[
        {"role": "system", "content": "你是一位在…方面具有专业知识的专家助手"},
        {"role": "user", "content": "帮我完成这项任务"}
    ],
    extra_body={
        "prompt_caching": {"system": True}
    }
)

# 检查缓存命中情况
if response.usage.prompt_tokens_details:
    cached_tokens = response.usage.prompt_tokens_details.cached_tokens
    print(f"缓存的 token 数量：{cached_tokens}")

cURL:

curl $OPENAI_BASE_URL/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -d '{
    "model": "global.anthropic.claude-haiku-4-5-20251001-v1:0",
    "messages": [
      {"role": "system", "content": "长篇系统提示..."},
      {"role": "user", "content": "问题"}
    ],
    "extra_body": {
      "prompt_caching": {"system": true}
    }
  }'

缓存选项：

• "prompt_caching": {"system": true} - 缓存系统提示
• "prompt_caching": {"messages": true} - 缓存用户消息
• "prompt_caching": {"system": true, "messages": true} - 同时缓存系统提示和用户消息

要求：

• 提示必须至少包含 1,024 个 token 才能启用缓存
• 缓存的 TTL 为 5 分钟（每次缓存命中都会重置）
• Nova 系列模型的缓存上限为 20,000 个 token

更多信息请参阅 Amazon Bedrock 提示缓存指南。

其他示例

LangChain

请确保使用 ChatOpenAI(...) 而不是 OpenAI(...)

# 安装 langchain-openai
import os

from langchain.chains import LLMChain
from langchain.prompts import PromptTemplate
from langchain_openai import ChatOpenAI

chat = ChatOpenAI(
    model="anthropic.claude-3-sonnet-20240229-v1:0",
    temperature=0,
    openai_api_key=os.environ['OPENAI_API_KEY'],
    openai_api_base=os.environ['OPENAI_BASE_URL'],
)

template = """问题：{question}

答案：让我们一步步思考。"""

prompt = PromptTemplate.from_template(template)
llm_chain = LLMChain(prompt=prompt, llm=chat)

question = "贾斯汀·比伯出生那年，哪支球队赢得了超级碗？"
response = llm_chain.invoke(question)
print(response)

常见问题解答

关于隐私

本应用不会收集您的任何数据。此外，默认情况下也不会记录任何请求或响应。

为什么选择 API Gateway 而不是 ALB？

API Gateway + Lambda 使用 API Gateway 响应流式传输 结合 Lambda Web Adapter，可在无需 VPC 的情况下支持 SSE 流式传输。这是一种经济高效的无服务器方案，超时时间最长可达 10 分钟。

ALB + Fargate 则提供最低的流式传输延迟且无冷启动问题，非常适合高吞吐量的工作负载。

支持哪些区域？

一般来说，所有 Amazon Bedrock 支持的区域都适用；如果未涵盖，请在 Github 上提交问题。请注意，并非所有模型在这些区域都可用。

支持哪些模型？

您可以使用 Models API 获取或刷新当前区域支持的模型列表。

是否可以在本地运行？

是的，您可以在本地运行，例如在 src 文件夹下执行以下命令：

uvicorn api.app:app --host 0.0.0.0 --port 8000

此时 API 的基础 URL 应为 http://localhost:8000/api/v1。

使用代理 API 是否会牺牲性能或增加延迟？

与直接调用 AWS SDK 相比，代理架构会引入一定的延迟。默认的 API Gateway + Lambda 部署通过 Lambda 响应流式传输，能够提供良好的流式传输性能。若希望获得最低的流式响应延迟，建议采用 ALB + Fargate 部署方案，该方案可消除冷启动并提供一致的性能。

是否计划支持 SageMaker 模型？

目前暂无支持 SageMaker 模型的计划。不过，若客户有需求，未来可能会考虑添加此功能。

是否计划支持 Bedrock 自定义模型？

目前不支持微调模型或具有预置吞吐量的模型。如果您有定制需求，可以克隆仓库自行实现。

如何升级？

要使用最新功能，您需要按照部署指南重新部署应用程序。可以通过升级现有的 CloudFormation 堆栈来获取最新更改。

安全性

更多信息请参阅 CONTRIBUTING。

许可证

本库采用 MIT-0 许可证授权。详情请参阅 LICENSE 文件。

Bedrock Access Gateway 快速上手指南

Bedrock Access Gateway 是一个开源工具，旨在通过 OpenAI 兼容的 RESTful API 接口访问 Amazon Bedrock 上的各类大模型（如 Claude、Llama、Nova 等）。它允许你在不修改现有代码的情况下，将基于 OpenAI SDK 的应用无缝迁移至 Amazon Bedrock。

环境准备

在开始部署前，请确保满足以下前置条件：

1. AWS 账号权限：
   • 拥有访问 Amazon Bedrock 基础模型的权限。
   • 若未开通模型访问，请参考 Amazon Bedrock 用户指南 进行申请。
2. 本地工具链：
   • 已安装并配置好 AWS CLI (aws configure)。
   • 已安装 Docker（用于构建容器镜像）。
   • 已安装 Git。
3. 区域限制：
   • 部署需在支持 Amazon Bedrock 的区域进行（例如 us-west-2）。

安装步骤

部署过程大约需要 10-15 分钟，主要包含创建密钥、构建镜像和部署云资源三个步骤。

第一步：创建 API 密钥 (Secrets Manager)

你需要创建一个自定义 API Key 用于后续访问代理接口（无需真实的 OpenAI Key）。

1. 登录 AWS 控制台，进入 Secrets Manager 服务。
2. 点击 "Store a new secret"。
3. 选择 "Other type of secret"，添加键值对：
   • Key: api_key
   • Value: <输入你自定义的任意字符串，不含空格>
4. 命名密钥（例如 BedrockProxyAPIKey），完成创建。
5. 重要：记录生成的 Secret ARN。

第二步：构建并推送容器镜像

克隆仓库并将镜像推送到你的 Amazon ECR。

git clone https://github.com/aws-samples/bedrock-access-gateway.git
cd bedrock-access-gateway/scripts
bash ./push-to-ecr.sh

• 按提示确认 ECR 仓库名称、镜像标签（默认 latest）和 AWS 区域。
• 脚本执行完毕后，复制输出末尾显示的 Image URIs，下一步部署需要用到。

第三步：部署 CloudFormation 栈

根据需求选择部署架构（推荐大多数场景使用 API Gateway + Lambda 以降低成本）。

1. 下载对应的模板文件：
   • API Gateway + Lambda: deployment/BedrockProxy.template
   • ALB + Fargate: deployment/BedrockProxyFargate.template
2. 登录 AWS 控制台，进入 CloudFormation 服务，点击 "Create stack" -> "With new resources"。
3. 上传下载的模板文件。
4. 在 "Specify stack details" 页面填写参数：
   • Stack name: 自定义名称（如 BedrockProxyAPI）。
   • ApiKeySecretArn: 填入第一步记录的 Secret ARN。
   • ContainerImageUri: 填入第二步获取的 ECR 镜像 URI。
   • DefaultModelId: (可选) 指定默认模型。
5. 勾选底部的 "I acknowledge that AWS CloudFormation might create IAM resources"，点击 Submit。

部署完成后，在栈的 Outputs 标签页找到 APIBaseUrl，即为你的代理接口地址（格式类似 http://xxxx.xxx.elb.amazonaws.com/api/v1）。

基本使用

部署成功后，只需配置环境变量即可像使用 OpenAI 一样调用 Bedrock 模型。

1. 配置环境变量

export OPENAI_API_KEY=<你在第一步设置的自定义 API Key>
export OPENAI_BASE_URL=<从 CloudFormation Outputs 获取的 APIBaseUrl>
# 兼容旧版 SDK
export OPENAI_API_BASE=<从 CloudFormation Outputs 获取的 APIBaseUrl>

2. 使用 cURL 测试

以下示例调用 Claude 3 Sonnet 模型：

curl $OPENAI_BASE_URL/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -d '{
    "model": "anthropic.claude-3-sonnet-20240229-v1:0",
    "messages": [
      {
        "role": "user",
        "content": "Hello!"
      }
    ]
  }'

3. 使用 Python SDK

确保已安装 openai 库 (pip install openai)：

from openai import OpenAI

# 初始化客户端，自动读取环境变量
client = OpenAI()

completion = client.chat.completions.create(
    model="anthropic.claude-3-sonnet-20240229-v1:0",
    messages=[{"role": "user", "content": "Hello!"}],
)

print(completion.choices[0].message.content)

提示：支持的功能包括流式响应 (SSE)、Tool Call、多模态输入、推理模式 (Reasoning) 以及 Prompt Caching。详细用法可参考项目官方文档。