openai-forward
OpenAI-Forward 提供高效的语言模型转发服务,具备用户请求速率控制、Token速率限制、智能预测缓存、日志管理和API密钥管理等功能。依托 uvicorn、aiohttp 和 asyncio 实现卓越的异步性能。支持代理本地语言模型(如 LocalAI)和云端语言模型(如 OpenAI),并通过最新版本的 WebUI 进行配置管理,提升用户体验。