热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#AutoRound
AutoRound:为大型语言模型优化的先进量化算法
2 个月前
AutoRound是一种针对大型语言模型(LLMs)优化的先进量化算法,通过有符号梯度下降来优化权重舍入,实现高效的模型压缩和加速。本文详细介绍了AutoRound的原理、使用方法及其在各种主流LLM上的应用效果。
AutoRound
量化算法
LLM推理
权重量化
低位推理
Github
开源项目
2 个月前
相关项目
auto-round
AutoRound是一种针对大语言模型(LLM)的高效量化算法。通过符号梯度下降优化权重舍入和范围,仅需200步迭代即可达到业界领先水平,且不增加推理开销。该算法支持OPT、BLOOM、GPT-J等多种模型,提供混合精度量化、激活量化等实验功能,并兼容Intel Gaudi2硬件。AutoRound提供简洁的Python接口,方便用户进行模型量化和推理。
查看
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号