访问官网
Github
Huggingface
文档
论文项目介绍：LLM-Pruner
什么是LLM-Pruner？
LLM-Pruner 是一个面向大语言模型（LLM）的结构化剪枝项目。它旨在简化和优化大型语言模型，使其更高效地运行，同时保持其在各种任务中的表现。这个名字中的“Pruner”意指“剪枝”，顾名思义，就是通过削减冗余的模型参数来提高清晰度和效率。
为什么需要LLM-Pruner？
LLM-Pruner应运而生的原因主要包括以下几点：
- 任务无关性压缩：LLM-Pruner在压缩模型的过程中，确保模型在多个任务上的解答能力保持不变。
- 更少的训练语料：与其他方法不同，该项目仅需求50,000个公开样本（例如alpaca数据集）来进行模型的后训练。
- 高效的压缩能力：整个压缩过程包括3分钟的剪枝和3小时的后训练，可以按照需求延长这两个时间。
- 自动化结构剪枝：能够以最小化的人力投入对新大型语言模型自动进行结构化剪枝（尚在开发中）。
支持的语言模型
LLM-Pruner 支持多种知名的语言模型，包括但不限于：
- Llama-3.1
- Llama-3
- Llama-2
- LLaMA
- BLOOM
- Vicuna
- Baichuan
- TinyLlama
项目更新
项目团队不断优化LLM-Pruner，并已经取得了一些成果：
- 2024年7月27日：新增对GQA的支持，现在LLM-Pruner可以用于Llama3和Llama3.1。
- 2023年8月30日：支持BLOOM。
- 2023年8月14日：新的代码和结果发布，改进后的LLaMA-5.4B模型在准确率上接近原始的LLaMA-7B。
- 2023年7月19日：支持Llama-2-7b和Llama-2-13b。
- 2023年7月18日：新增对Baichuan模型的支持，Baichuan是一个双语大型语言模型。
如何使用LLM-Pruner？
LLM-Pruner的使用可以总结为以下几个步骤：
-
安装：通过命令
pip install -r requirement.txt安装所需的依赖包。 -
剪枝：
- 发现阶段：发现模型中的复杂互依关系并找出可移除的最小单位（即“组”）。
- 估计阶段：评估各“组”对模型整体性能的贡献，并确定需要剪枝的部分。
- 恢复阶段：通过快速的后训练来恢复模型性能。
-
后训练：利用有限的数据集如Alpaca或更大规模的数据集进行模型微调。
-
生成：使用Gradio接口来生成使用训练和剪枝后的模型。
-
评估：评估剪枝后模型的性能，通过lm-evaluation-harness进行。
限制
尽管LLM-Pruner在压缩语言模型方面取得了进展，但仍有需要注意的几点限制：
- 训练数据的限制：更多数据能进一步提高模型质量。
- 剪枝后的模型质量问题：生成的内容还可能有重复或逻辑不够的情况。
- 自动化的不足：某些模型仍然需要手动映射索引，完全自动化剪枝尚需改进。
总结
LLM-Pruner 是一款优秀的工具，提供了对大语言模型进行高效剪枝的能力，并不断通过更新新功能以支持更多的模型和优化其使用体验。通过削减不必要的参数，LLM-Pruner 能够在不影响模型表现的前提下，大大提升模型的执行效率。对于希望优化生成模型的研究者和开发者来说，这无疑是一个强大的利器。
