#成本优化
crane
Crane是一个专注于Kubernetes集群资源管理和成本优化的开源平台。它提供成本可视化、优化评估、资源推荐、预测式自动扩缩容、负载感知调度和增强QoS的混部功能。作为FinOps基金会认证解决方案,Crane不仅优化云资源成本,还保障应用性能,为企业提供全面的云资源管理方案。
RouteLLM
RouteLLM是一个用于服务和评估大语言模型路由器的开源框架。它根据查询复杂度将请求智能分配至不同语言模型,在保持响应质量的同时降低成本。框架提供预训练路由器,可将成本降低85%,同时保持95%的GPT-4性能。RouteLLM支持新路由器添加和跨基准性能比较,为LLM应用提供灵活高效的解决方案。