LLM-Adapters:参数高效微调大语言模型的适配器家族

随着大语言模型(LLMs)的快速发展,如何高效地对这些庞大的模型进行微调以适应特定任务,成为了一个重要的研究课题。针对这一挑战,来自新加坡科技设计大学的研究团队开发了LLM-Adapters框架,为大语言模型的参数高效微调提供了一套全面的解决方案。

LLM-Adapters框架简介

LLM-Adapters是一个易用的框架,集成了多种适配器到大语言模型中,可以执行基于适配器的参数高效微调(PEFT)方法,用于不同的下游任务。该框架是对HuggingFace PEFT库的扩展,包含了最先进的开源大语言模型如LLaMA、OPT、BLOOM和GPT-J,以及广泛使用的适配器如Bottleneck适配器、Parallel适配器和LoRA等。

LLM-Adapters Logo

支持的适配器方法

LLM-Adapters框架支持多种适配器方法,主要包括:

LoRA:低秩适应的大语言模型
AdapterH:用于NLP的参数高效迁移学习
AdapterP:用于多任务跨语言迁移的基于适配器的框架
Parallel:参数高效迁移学习的统一视图
Prefix Tuning:用于生成的连续提示优化
P-Tuning:GPT也能理解
Prompt Tuning:参数高效提示调优的规模力量

这些方法代表了当前参数高效微调领域的主流技术,为研究人员和工程师提供了丰富的选择。

框架特点与优势

易用性:LLM-Adapters提供了简洁的API,使得研究人员和工程师可以快速上手,轻松实现复杂的微调任务。
多样性:支持多种主流大语言模型和适配器方法,满足不同场景的需求。
高效性:通过参数高效的微调方法,大幅降低了计算资源的需求,使得在普通硬件上也能实现大语言模型的微调。
灵活性:框架设计灵活,可以方便地扩展新的模型和适配器方法。
性能优越:在多个基准测试中展现出优秀的性能,部分任务甚至接近或超过了GPT-3.5。

实验结果

研究团队在多个数学推理和常识推理数据集上进行了广泛的实验,结果表明LLM-Adapters在多个任务上取得了优秀的表现。

在数学推理任务中,LLaMA-13B与LoRA适配器的组合在GSM8K数据集上达到了47.5%的准确率,已经接近GPT-3.5的56.4%的水平。在常识推理任务中,LLaMA-13B与Parallel适配器的组合在多个数据集上的平均表现甚至超过了ChatGPT,达到了81.5%的准确率。

这些结果充分说明了LLM-Adapters框架的有效性,证明了参数高效微调方法在提升大语言模型性能方面的巨大潜力。

适配器支持矩阵

LLM-Adapters框架对不同模型和适配器方法的支持情况如下:

适配器	LLaMA	BLOOM	GPT-J	OPT	GPT-2	GPT-Neo	GPT-NeoX-20B	ChatGLM
LoRA	✅	✅	✅	✅	✅	✅	✅	✅
AdapterH	✅	✅	✅	✅	🔧	✅	🔧	✅
AdapterP	✅	✅	✅	✅	🔧	✅	🔧	✅
Parallel	✅	✅	✅	✅	🔧	✅	🔧	✅
Prefix Tuning	✅	✅	✅	✅	✅	✅	✅	✅
P-Tuning	✅	✅	✅	✅	✅	✅	✅	✅
Prompt Tuning	✅	✅	✅	✅	✅	✅	✅	✅

(✅表示支持,🔧表示正在开发中)

未来发展

LLM-Adapters项目仍在积极开发中,未来计划包括:

添加更多适配器方法
支持更多大语言模型
实现多适配器组合
支持适配器融合

这些计划将进一步增强框架的功能和灵活性,为大语言模型的微调研究提供更强大的工具支持。

结语

LLM-Adapters为大语言模型的参数高效微调提供了一个全面、易用的解决方案。通过集成多种适配器方法和支持主流大语言模型,该框架大大降低了研究和应用大语言模型的门槛。随着项目的不断发展和完善,LLM-Adapters有望成为推动大语言模型技术进步的重要工具,为自然语言处理领域带来更多创新和突破。

LLM-Adapters GitHub 仓库