BricksLLM简介
BricksLLM是一个用Go语言编写的云原生AI网关，旨在为企业提供生产级别的LLM基础设施。它目前原生支持OpenAI、Anthropic、Azure OpenAI和vLLM等主流LLM服务，可以帮助企业轻松实现以下功能:
- 为不同定价级别的用户设置LLM使用限制
- 按用户和组织跟踪LLM使用情况
- 屏蔽或编辑包含PII的请求
- 通过故障转移、重试和缓存提高LLM的可靠性
- 为内部开发/生产用例分发带有速率限制和成本限制的API密钥
- 为学生分发带有速率限制和成本限制的API密钥
主要特性
BricksLLM提供了以下核心功能:
- PII检测和屏蔽
- 速率限制
- 成本控制
- 成本分析
- 请求分析
- 缓存
- 请求重试
- 故障转移
- 模型访问控制
- 端点访问控制
- 原生支持所有OpenAI端点
- 原生支持Anthropic
- 原生支持Azure OpenAI
- 原生支持vLLM
- 原生支持Deepinfra
- 支持自定义部署
- 集成自定义模型
- Datadog集成
- 隐私控制日志
快速入门
最简单的BricksLLM入门方式是通过BricksLLM-Docker。您可以按照以下步骤快速部署:
- 克隆BricksLLM-Docker仓库
- 切换到BricksLLM-Docker目录
- 使用Docker Compose在本地部署BricksLLM(含PostgreSQL和Redis)
- 创建提供商设置
- 创建Bricks API密钥
完成这些步骤后,您就可以开始使用BricksLLM了。详细的入门指南请参考官方文档。
学习资源
官方文档
- BricksLLM GitHub仓库 - 包含完整的项目介绍、安装指南和API文档
- BricksLLM管理服务器Swagger文档
- BricksLLM代理服务器Swagger文档
教程和示例
社区资源
- BricksLLM Discord社区 - 加入讨论,获取支持
- BricksLLM博客 - 了解BricksLLM的技术细节和最佳实践
更新和维护
要更新到最新版本,请运行:
docker pull luyuanxin1995/bricksllm:latest
要更新到特定版本,请运行:
docker pull luyuanxin1995/bricksllm:<version>
例如:
docker pull luyuanxin1995/bricksllm:1.4.0
结语
BricksLLM为企业级LLM应用提供了强大的基础设施支持。通过本文提供的学习资源,相信您可以快速掌握BricksLLM的使用,并将其应用到您的生产环境中。如果您在学习过程中遇到任何问题,欢迎加入BricksLLM的Discord社区寻求帮助。祝您使用愉快!
