Punica: 高效服务多个LoRA微调大语言模型

punica

Punica:高效服务多个LoRA微调大语言模型

在人工智能和自然语言处理领域,大语言模型(Large Language Models, LLMs)的发展日新月异。然而,如何高效地部署和服务这些庞大的模型一直是一个挑战。Punica项目为此提供了一个创新的解决方案,它能够以运行单个模型的成本高效地服务多个LoRA(Low-Rank Adaptation)微调的大语言模型。

LoRA技术简介

LoRA是一种参数高效的微调方法,可以在不增加太多存储和内存开销的情况下,为预训练的大语言模型添加新知识。相比完整的模型微调,LoRA只需要额外1%左右的存储空间。这种方法在保持模型性能的同时,大大降低了微调和部署的成本。

Punica的创新之处

Punica的核心创新在于它能够同时服务多个LoRA微调模型,而计算成本仅相当于运行一个模型。这是如何实现的呢?

假设预训练模型的权重矩阵为W,形状为[H1, H2]。LoRA会添加两个小矩阵A[H1, r]和B[r, H2]。对于输入x,微调后的模型输出可表示为:

y := x @ (W + A@B) = x@W + x@A@B

当有n个LoRA模型时,会有A1,B1到An,Bn。对于一批输入X := (x1,x2,...,xn),对应每个LoRA模型,输出可表示为:

Y := X@W + (x1@A1@B1, x2@A2@B2, ..., xn@An@Bn)

等式左侧是在预训练模型上计算输入批次,这部分计算非常高效。右侧是LoRA的附加计算,Punica团队为此设计了一个高效的CUDA内核,称为分段聚集矩阵向量乘法(Segmented Gather Matrix-Vector multiplication, SGMV).

性能优势

通过微基准测试,研究人员发现预训练模型展现出强大的批处理效果。朴素实现的LoRA计算较慢,而基于SGMV实现的LoRA既高效又保持了强大的批处理效果。

在文本生成吞吐量方面,Punica与其他系统(如HuggingFace Transformers、DeepSpeed、FasterTransformer和vLLM)进行了比较。测试考虑了不同的LoRA模型流行度设置:

Distinct:每个请求对应不同的LoRA模型
Identical:所有请求对应相同的LoRA模型
Uniform和Skewed:介于上述两种极端情况之间

结果显示,Punica在各种场景下都实现了比最先进系统高12倍的吞吐量。

安装和使用

Punica提供了两种安装方式:从二进制包安装或从源代码构建。

从二进制包安装

这种方式安装快速,无需编译,但可能不完全匹配您的CUDA版本、CUDA架构、PyTorch版本或Python版本。目前预编译版本支持:

CUDA: 11.8, 12.1
Python: 3.10, 3.11
TORCH_CUDA_ARCH_LIST: 8.0 8.6 8.9+PTX

安装命令:

pip install ninja torch
pip install punica -i https://punica-ai.github.io/whl/cu121/ --extra-index-url https://pypi.org/simple
# 注意:将cu121更改为您的CUDA版本

从源代码构建

这种方式更灵活,可以适应不同的环境配置:

# 先安装torch
pip install ninja numpy torch

# 克隆Punica仓库
git clone https://github.com/punica-ai/punica.git
cd punica
git submodule sync
git submodule update --init

# 如果编译时遇到问题,设置TORCH_CUDA_ARCH_LIST为您的CUDA架构
# export TORCH_CUDA_ARCH_LIST="8.0"

# 构建并安装Punica
pip install -v --no-build-isolation .

应用示例

服务多个LoRA模型: 可以参考项目中的演示视频和examples/tui-multi-lora.py脚本。
微调、转换为Punica格式并使用Punica服务: 详细步骤可以查看examples/finetune/目录。

基准测试文本生成: 运行以下命令:

python -m benchmarks.bench_textgen_lora --system punica --batch-size 32

总结

Punica项目为大语言模型的高效部署和服务提供了一个强大的解决方案。通过创新的SGMV技术,它实现了多个LoRA微调模型的高效服务,大幅提升了系统吞吐量。这一技术不仅可以降低模型部署的成本,还能够支持更灵活的应用场景,如个性化服务、多领域模型等。

随着大语言模型在各行各业的广泛应用,Punica这样的技术创新将在推动AI技术的实际落地和规模化应用中发挥重要作用。它为企业和开发者提供了一个强大的工具,使得高效、经济地部署和管理多个专业化大语言模型成为可能。

未来,我们可以期待看到更多基于Punica的应用案例,以及该技术在更广泛领域的应用。同时,这也为大语言模型服务领域的进一步创新和优化指明了方向。研究人员和开发者可以在此基础上,探索更多提升模型服务效率和灵活性的方法,推动大语言模型技术向更高水平发展。