热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#Paddler
paddler
Paddler是一个开源、生产就绪的负载均衡和反向代理工具,专为优化llama.cpp服务器设计。它支持动态添加和移除服务器、自动扩展、请求缓冲、AWS集成以及StatsD协议。Paddler通过监控服务器的可用槽位,实现高效的请求分配,适用于需要可配置和可预测内存分配的环境。
相关文章
Paddler: 为llama.cpp定制的有状态负载均衡器
2 个月前
Paddler入门指南 - 专为llama.cpp设计的状态感知负载均衡器
1 个月前
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号