Project Icon

bedrock-access-gateway

利用OpenAI API轻松接入Amazon Bedrock基础模型

使用OpenAI API和SDK无缝访问多种Amazon Bedrock基础模型,无需更改代码。支持流式响应、模型、聊天完成、工具调用和多模式API,适合测试Amazon Bedrock模型功能的开发者。不支持旧版文本完成API,请使用聊天完成API。

Bedrock Access Gateway 项目介绍

Bedrock Access Gateway 项目是一个提供与亚马逊 Bedrock 兼容的 OpenAI RESTful API 的平台。这项技术允许开发者无需修改代码库就可以在 Amazon Bedrock 基础模型上运行他们使用 OpenAI API 或 SDK 构建的应用程序。

项目背景和目标

Amazon Bedrock 提供了一系列基础模型,如 Claude 3 Opus/Sonnet/Haiku、Llama 2/3 和 Mistral/Mixtral 等,帮助开发者构建生成式 AI 应用。然而,许多人可能已经使用 OpenAI API 开发了他们的应用,希望在不更改现有功能的情况下利用 Amazon Bedrock 的强大功能。Bedrock Access Gateway 项目正是应运而生,为开发者提供无缝访问 Amazon Bedrock 模型的能力,同时无需对现有代码做出改变。

项目特性

  1. 流式响应支持:实现了通过服务器发送事件(SSE)的流式响应。
  2. 多种 API 支持
    • 模型 API
    • 会话完成 API
    • 工具调用(新特性)
    • 嵌入 API(新特性)
    • 多模态 API(新特性)
    • 跨区域推理(新特性)

Bedrock Access Gateway 支持广泛的 Amazon Bedrock 模型系列,包括 Anthropic Claude 和 Meta Llama 等多种模型。用户可以通过 models API 获取支持的模型列表。

快速入门

部署前准备

要开始使用该项目,您需要确保有访问 Amazon Bedrock 基础模型的权限。

架构概览

项目架构包含一个用于应用负载平衡的虚拟私有云(VPC)以及选择性的 AWS Lambda 或 AWS Fargate 作为后端服务,以支持低延迟响应。

部署步骤

  1. 创建自定义 API Key(可选):通过 AWS 管理控制台的参数存储功能设置。
  2. 部署 CloudFormation 堆栈:选择部署 AWS Lambda 或 AWS Fargate,与 ALB 配合使用。

部署完成后,您可以在 AWS 控制台中查看 API 的基础 URL,并测试该平台的功能。

SDK/API 用法示例

一旦您拥有 API Key 和基础 URL,您便可以通过命令行工具或 Python SDK 调用访问不同的 Amazon Bedrock 模型,实现聊天完成等功能。

跨区域推理

跨区域推理支持在不同的 AWS 区域内调用模型进行推理,解决了区域故障、延迟及性能优化等问题。

  • 提高可用性:提供区域冗余和更高的容错能力。
  • 减少延迟:选择与用户地理位置更接近的区域。
  • 更高性能和容量:更好的分配请求压力和处理峰值流量。
  • 灵活性:根据需求选择使用的区域和模型。
  • 成本效益:选择更具成本效益的区域。

常见问题

  1. 隐私问题:该应用程序不收集用户数据,也不记录任何请求或响应。
  2. 区域支持:目前仅支持 Amazon Bedrock 提供的区域,如美国东部(弗吉尼亚北部)和美国西部(俄勒冈)。
  3. 性能考虑:相比直接调用 AWS SDK,使用代理 API 会有额外的响应延迟。
  4. 不支持的功能:目前不计划支持 SageMaker 模型或 Bedrock 定制模型。

许可证

该项目采用 MIT-0 许可证,使用非常宽松的开源许可方式,允许用户自由修改和使用软件。

以上是对 Bedrock Access Gateway 项目的详细介绍,该项目为用户在 OpenAI 和 Amazon Bedrock 间架起了一座无缝连接的桥梁,降低了开发者的适配成本。

项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

问小白

问小白是一个基于 DeepSeek R1 模型的智能对话平台,专为用户提供高效、贴心的对话体验。实时在线,支持深度思考和联网搜索。免费不限次数,帮用户写作、创作、分析和规划,各种任务随时完成!

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能,包括文生视频、动态画面和形象生成等,帮助用户快速上手,创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台,用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品,帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型,为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能,满足事务性工作的高频需求,帮助撰稿人节省精力,提高效率,优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

Trae

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号