AI Gateway通过统一的API简化了对超过250种语言、视觉、音频和图像模型的请求。它已经可以投入生产,支持缓存、备用、重试、超时、负载平衡,并可以在边缘部署以实现最低延迟。
✅ 超高速(快9.9倍),占用空间极小(~100KB构建)
✅ 负载平衡 多个模型、供应商和密钥之间
✅ 备用 确保您的应用程序保持弹性
✅ 自动重试 和指数级备用默认开启
✅ 可配置请求超时 轻松处理无响应的LLM请求
✅ 多模式 支持视觉、文本到语音、语音到文本、图像生成等模型之间的路由
✅ 按需插件中间件
✅ 480B个令牌 经过战火考验
✅ 企业就绪 提供增强的安全性、可扩展性和自定义部署
设置与安装
通过托管API或自托管在您的环境中使用开源或企业版的AI网关。
👉 Portkey.ai上的托管网关(最快)
托管的API是为您的生成AI应用程序设置AI网关的最快方法。我们每天处理数十亿个令牌,并在如Postman、Haptik、Turing、MultiOn、SiteGPT等公司中投产。
👉 自托管OSS版本 (MIT License)
要在本地运行AI网关,请在终端中执行以下命令。(需要安装npx)或者,探索为Cloudflare、Docker、Node.js和更多的部署指南。
npx @portkey-ai/gateway
您的AI网关现在正在 http://localhost:8787 运行 🚀
👉 自托管企业版
AI网关的企业版提供了企业级管理、治理、安全性和更多开箱即用。比较开源、托管和企业版点击 这里。
企业部署架构和支持的平台可在这里查看 - Enterprise Private Cloud Deployments
通过AI网关进行请求
兼容OpenAI API和SDK
AI网关兼容OpenAI API和SDK,并扩展到可靠地调用200多个LLM。使用OpenAI通过网关进行请求,需更新客户端以包含网关的URL和头信息,然后像往常一样进行请求。AI网关可以将用OpenAI格式编写的请求翻译为指定供应商所需的签名。查看示例
使用Python SDK
Portkey Python SDK是OpenAI Python SDK的一个封装,为所有其他供应商添加了额外参数支持。如果您正在使用Python构建,这是连接网关的推荐库。
pip install -qU portkey-ai
使用Node.JS SDK
Portkey JS/TS SDK是OpenAI JS SDK的一个封装,为所有其他供应商添加了额外参数支持。如果您正在使用JS或TS构建,这是连接网关的推荐库。
npm install --save portkey-ai
使用REST APIs
AI网关支持与OpenAI兼容的端点,对所有其他供应商和模型增加了参数支持。查看API参考。
其他集成
语言 | 支持的SDK |
---|---|
JS / TS | LangchainJS LlamaIndex.TS |
Python | Langchain LlamaIndex |
Go | go-openai |
Java | openai-java |
Rust | async-openai |
Ruby | ruby-openai |
网关食谱
📈 热门食谱
✨ 最新食谱
更多示例
支持的供应商
供应商 | 支持 | 流 | |
---|---|---|---|
OpenAI | ✅ | ✅ | |
Azure OpenAI | ✅ | ✅ | |
Anyscale | ✅ | ✅ | |
Google Gemini & Palm | ✅ | ✅ | |
Anthropic | ✅ | ✅ | |
Cohere | ✅ | ✅ | |
Together AI | ✅ | ✅ | |
Perplexity | ✅ | ✅ | |
Mistral | ✅ | ✅ | |
Nomic | ✅ | ✅ | |
AI21 | ✅ | ✅ | |
Stability AI | ✅ | ✅ | |
DeepInfra | ✅ | ✅ | |
Ollama | ✅ | ✅ | |
Novita AI | ✅ | ✅ |
代理
网关无缝集成了流行的代理框架。在此阅读文档。
框架 | 调用200+ LLM | 高级路由 | 缓存 | 日志记录和追踪* | 可观察性* | 提示管理* |
---|---|---|---|---|---|---|
Autogen | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
CrewAI | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
Phidata | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
Llama Index | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
Control Flow | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
Build Your Own Agents | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
功能
多模态LLM网关 可使用熟悉的OpenAI签名调用来自多个提供商的视觉、音频(文本转语音和语音转文本)和图像生成模型。 |
护栏 验证您的LLM输入和输出以符合您指定的检查。您可以构建自己的检查或选择超过20个预构建的护栏。 |
这些功能通过添加到x-portkey-config
头或SDK中的config
参数的网关配置进行配置。
以下是一个展示上述功能的配置JSON示例。所有功能都是可选的
{
"retry": { "attempts": 5 },
"request_timeout": 10000,
"strategy": { "mode": "fallback" }, // 或'loadbalance'等
"targets": [{
"provider": "openai",
"api_key": "sk-***"
},{
"strategy": {"mode": "loadbalance"}, // 可选的嵌套
"targets": {...}
}]
}
然后在向网关发送的API请求中使用此配置。
使用网关配置
这是一个指南,用于在请求中使用配置对象。
网关企业版
使您的AI应用程序更加可靠和前向兼容,同时确保完全的数据安全和隐私。
✅ 安全密钥管理 - 用于基于角色的访问控制和跟踪
✅ 简单且语义化的缓存 - 用于更快地服务重复查询和节省成本
✅ 访问控制和入站规则 - 控制哪些IP和地理区域可以连接到您的部署
✅ PII去标识化 - 自动从您的请求中删除敏感数据以防止意外曝光
✅ SOC2、ISO、HIPAA、GDPR合规性 - 遵循最佳安全实践
✅ 专业支持 - 以及功能优先处理
贡献
最简单的贡献方式是选择一个带有good first issue
标签的任务 💪。请阅读贡献指南。
社区
加入我们的全球社区,获取帮助、想法和AI讨论。