#LiteLLM
相关项目
litellm
使用OpenAI格式调用各大LLM API，如Bedrock、Huggingface、VertexAI等，支持统一输出、重试机制和预算管理。LiteLLM提供易用的代理服务器、企业级服务和丰富的日志功能，确保性能稳定可靠。支持异步和流式响应，适配众多LLM平台，为开发者提供高效便捷的集成方案。
farfalle
Farfalle是一个开源的AI搜索引擎，支持运行本地模型（如llama3、gemma、mistral、phi3）和通过LiteLLM使用自定义模型，还可使用云端模型（如Groq/Llama3、OpenAI/gpt4-o）。该项目集成了多个搜索提供商（如Tavily、Searxng、Serper、Bing），并具备专家搜索和聊天历史功能。用户可通过Docker进行本地部署，也可使用Vercel进行前端部署。项目详细信息和使用指南可在GitHub页面找到。
LiteLLM
LiteLLM是一个代理服务器，为100多种大型语言模型提供统一API接口。它支持负载均衡、故障转移和支出跟踪，采用OpenAI格式。该工具简化了认证、资源分配和成本控制。LiteLLM提供开源和企业级解决方案，适用于不同规模组织。它拥有大量Docker下载量和请求服务量，得到众多贡献者支持。
LiteLLM
LiteLLM是一个统一的API代理平台，集成了100多种大语言模型，提供认证管理、负载均衡和支出跟踪功能。采用OpenAI格式，简化了多个LLM提供商的接入流程。LiteLLM具有开源和企业版本，支持高可用性，拥有活跃的社区。核心功能涵盖模型添加、负载均衡、密钥创建和支出监控，适合需要灵活管理多个LLM资源的开发团队和企业。