#权重激活

wanda

Wanda是一种针对大型语言模型(LLM)的剪枝技术，通过结合权重大小和输入激活范数来选择性移除权重。相比传统的仅基于权重大小的剪枝方法，Wanda展现出更高的效率。该技术支持LLaMA、LLaMA-2等多种模型，可实现非结构化和结构化稀疏。Wanda方法简单实用，在维持模型性能的同时有效降低参数量，为LLM的轻量化和优化开辟了新途径。