热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#OpenAI Forward
openai-forward - 语言模型转发服务,支持本地及云端语言模型
OpenAI Forward
异步性能
API密钥管理
缓存AI预测
用户流量控制
Github
开源项目
OpenAI-Forward 提供高效的语言模型转发服务,具备用户请求速率控制、Token速率限制、智能预测缓存、日志管理和API密钥管理等功能。依托 uvicorn、aiohttp 和 asyncio 实现卓越的异步性能。支持代理本地语言模型(如 LocalAI)和云端语言模型(如 OpenAI),并通过最新版本的 WebUI 进行配置管理,提升用户体验。
1
1
相关文章
OpenAI-Forward 学习资料汇总 - 高效的大语言模型转发服务
2 个月前
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号