相关项目
LLM-Shearing
本项目通过结构化剪枝显著提升大语言模型的预训练效率。通过剪枝优化LLaMA等大型基础模型，得到更小但同样强大的语言模型。实验结果显示，与从头开始预训练相比，剪枝显著降低了计算成本。项目提供详尽的代码库、评估脚本和剪枝日志，及多种经过指令微调的模型。
Sheared-LLaMA-1.3B
Sheared-LLaMA-1.3B是一个基于LLaMA2-7B模型裁剪并预训练的小型语言模型。该项目仅使用50B token进行训练，却在推理、阅读理解等多项下游任务中展现出优异表现，平均性能超过了同等规模的OPT-1.3B和Pythia-1.4B模型。这一模型保留了LLaMA的词表，在有限计算资源条件下实现高效训练，为大型语言模型的压缩和轻量化研究提供了新的思路。