#分布式推理
相关项目
petals
Petals项目让用户能够在家中或通过Google Colab运行Llama 3.1、Mixtral、Falcon和BLOOM等大型语言模型。通过分布式网络托管模型层，推理速度可提升至10倍。用户可以微调模型以满足特定任务需求，并且支持隐私保护和私人群组设置。该项目依赖社区共享GPU资源，提供详细的教程和支持，帮助用户快速上手并充分利用其功能。
exo
exo是一个开源项目，用于将日常设备如智能手机、平板和个人电脑整合成家庭AI集群。该项目支持多种模型，包括Llama 3.1，具备动态模型分区和自动设备发现功能。exo采用点对点连接架构，实现设备间平等协作，无需专业GPU即可运行大型AI模型。此外，exo还提供ChatGPT兼容的API接口。
AIE Labs
AIE Labs作为AI娱乐内容平台，整合AI艺术创作、智能聊天机器人和去中心化推理网络。平台支持用户创作、变现和分享AI内容，并规划L2区块链和代币发行。通过提供全面基础设施，AIE Labs致力于推动AI娱乐产业创新发展。
cake
Cake是基于Candle的Rust框架，通过整合iOS、Android、macOS、Linux和Windows设备为异构集群，实现大型模型(70B+)的分布式推理。该框架将transformer块分片到多设备上，突破单设备GPU内存限制，有效利用闲置硬件资源，降低AI应用门槛。