热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#GPU共享
petals
Petals项目让用户能够在家中或通过Google Colab运行Llama 3.1、Mixtral、Falcon和BLOOM等大型语言模型。通过分布式网络托管模型层,推理速度可提升至10倍。用户可以微调模型以满足特定任务需求,并且支持隐私保护和私人群组设置。该项目依赖社区共享GPU资源,提供详细的教程和支持,帮助用户快速上手并充分利用其功能。
nvshare
nvshare是一个开源的GPU共享机制,支持多个进程或Kubernetes容器在同一GPU上安全并发运行。它利用统一内存API和系统RAM作为交换空间,使每个进程都能访问全部GPU内存。通过nvshare-scheduler管理GPU访问时间,有效避免内存抖动。这种方案适用于GPU使用呈突发性的场景,如交互式开发环境中的Jupyter notebooks等。
相关文章
nvshare: 革新GPU共享技术,打破内存限制
23 天前
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号