相关项目
petals
Petals项目让用户能够在家中或通过Google Colab运行Llama 3.1、Mixtral、Falcon和BLOOM等大型语言模型。通过分布式网络托管模型层，推理速度可提升至10倍。用户可以微调模型以满足特定任务需求，并且支持隐私保护和私人群组设置。该项目依赖社区共享GPU资源，提供详细的教程和支持，帮助用户快速上手并充分利用其功能。
nvshare
nvshare是一个开源的GPU共享机制,支持多个进程或Kubernetes容器在同一GPU上安全并发运行。它利用统一内存API和系统RAM作为交换空间,使每个进程都能访问全部GPU内存。通过nvshare-scheduler管理GPU访问时间,有效避免内存抖动。这种方案适用于GPU使用呈突发性的场景,如交互式开发环境中的Jupyter notebooks等。