热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#权重激活
Wanda:一种简单高效的大语言模型剪枝方法
2 个月前
探索Wanda剪枝技术如何通过权重和激活值优化来有效压缩大语言模型,同时保持模型性能。本文详细介绍了Wanda的工作原理、实现方法及其在各种LLM模型上的优异表现。
Wanda
LLM剪枝
模型压缩
稀疏性
权重激活
Github
开源项目
2 个月前
相关项目
wanda
Wanda是一种针对大型语言模型(LLM)的剪枝技术,通过结合权重大小和输入激活范数来选择性移除权重。相比传统的仅基于权重大小的剪枝方法,Wanda展现出更高的效率。该技术支持LLaMA、LLaMA-2等多种模型,可实现非结构化和结构化稀疏。Wanda方法简单实用,在维持模型性能的同时有效降低参数量,为LLM的轻量化和优化开辟了新途径。
查看
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号