LASER项目简介
LASER(Layer-Selective Rank Reduction)是由Pratyusha Sharma、Jordan T. Ash和Dipendra Misra在论文《The Truth is in There: Improving Reasoning in Language Models with Layer-Selective Rank Reduction》中提出的一种改进大语言模型推理能力的新方法。该方法通过对模型的特定层和参数进行低秩近似,无需额外训练即可显著提升模型在问答任务上的性能。
项目资源
-
官方GitHub仓库: https://github.com/pratyushasharma/laser
包含了LASER的实现代码和实验复现脚本。
-
项目主页: https://pratyushasharma.github.io/laser/
提供了项目概览、最新进展和实验结果。
-
论文: The Truth is in There: Improving Reasoning in Language Models with Layer-Selective Rank Reduction
详细介绍了LASER的原理和实验结果,将发表于ICLR 2024。
快速上手
- 安装依赖:
pip3 install -r requirements.txt
- 运行示例:
python3 intervention_gptj_fever.py --lname fc_in --rate 9.9 --lnum 26
这将对GPT-J模型在Fever数据集上进行LASER干预。
核心概念
LASER干预包含3个超参数:
- ℓ: 要修改的层数
- τ: 参数类型(如MLP的第一层)
- ρ: 保留的最大秩比例
通过调整这些参数,可以灵活地对模型不同部分进行低秩近似。
进一步学习
- 阅读代码组织部分,了解项目结构
- 查看matrix_utils.py文件,学习低秩近似的具体实现
- 关注项目讨论区,参与最新进展讨论
LASER为改进大语言模型性能提供了一种全新的思路,值得深入研究和实践。欢迎贡献代码或报告新的实验结果!
