热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#Cake
Cake: 分布式大规模模型推理框架
2 个月前
Cake是一个基于Rust的分布式推理框架,旨在利用消费级硬件组成异构集群来运行大规模AI模型,使AI技术更加普及和民主化。本文详细介绍了Cake的特性、支持平台、使用方法以及未来发展方向。
Cake
分布式推理
大型模型
异构集群
AI民主化
Github
开源项目
2 个月前
相关项目
cake
Cake是基于Candle的Rust框架,通过整合iOS、Android、macOS、Linux和Windows设备为异构集群,实现大型模型(70B+)的分布式推理。该框架将transformer块分片到多设备上,突破单设备GPU内存限制,有效利用闲置硬件资源,降低AI应用门槛。
查看
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号