#LoRA适配器
相关项目
mLoRA
mLoRA 是一个开源框架，旨在高效地对多个大型语言模型 (LLMs) 进行 LoRA 和其变体的微调。其主要功能包括同时微调多个 LoRA 适配器、共享基础模型、优化的流水线并行算法，并支持多种 LoRA 变体和偏好对齐算法。mLoRA 可在普通硬件上高效运行，支持多种模型和算法，有助于节省计算和内存资源。通过参考文档可了解如何快速部署和使用 mLoRA。
S-LoRA
S-LoRA系统针对大规模LoRA适配器服务进行优化。采用统一分页、异构批处理和新型张量并行策略，提高内存管理效率和GPU利用率。相较现有技术，S-LoRA提升吞吐量4倍，显著增加可服务适配器数量。这一突破为大规模定制语言模型部署开辟新途径。