cake
Cake是基于Candle的Rust框架，通过整合iOS、Android、macOS、Linux和Windows设备为异构集群，实现大型模型(70B+)的分布式推理。该框架将transformer块分片到多设备上，突破单设备GPU内存限制，有效利用闲置硬件资源，降低AI应用门槛。
