热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#AutoAWQ
AutoAWQ: 基于AWQ算法的4位量化推理加速工具
2 个月前
AutoAWQ实现了AWQ算法进行4位量化,在推理过程中可以获得2倍的加速。该工具易于使用,支持多种主流大语言模型,是一个高效的模型压缩和加速解决方案。
AutoAWQ
量化
推理
GPU加速
大语言模型
Github
开源项目
2 个月前
相关项目
AutoAWQ
AutoAWQ是一个专门针对大型语言模型的4位量化框架,通过实现激活感知权重量化算法,可将模型速度提升3倍,同时减少3倍内存需求。该框架支持Mistral、LLaVa、Mixtral等多种模型,具备多GPU支持、CUDA和ROCm兼容性以及PEFT兼容训练等特性。AutoAWQ为提升大型语言模型的推理效率提供了有力工具。
查看
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号