热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#8,4,3,2,1 bits
HQQ量化学习资料汇总 - 快速准确的大模型量化工具
1 个月前
本文汇总了HQQ (Half-Quadratic Quantization) 量化方法的相关学习资源,包括官方文档、代码仓库、使用教程等,帮助读者快速上手这一高效的模型量化技术。
HQQ
模型量化
torch.compile
CUDA
8,4,3,2,1 bits
Github
开源项目
1 个月前
HQQ: 快速高效的大型机器学习模型量化方法
2 个月前
HQQ是一种创新的模型量化技术,无需校准数据即可在几分钟内量化最大的模型,支持1-8比特量化,适用于各种模型类型,并与多种优化内核兼容。
HQQ
模型量化
torch.compile
CUDA
8,4,3,2,1 bits
Github
开源项目
2 个月前
相关项目
hqq
HQQ是一种无需校准数据即可快速精确量化大模型的工具,支持从8bit到1bit的多种量化模式。兼容LLMs和视觉模型,并与多种优化的CUDA和Triton内核兼容,同时支持PEFT训练和Pytorch编译,提升推理和训练速度。详细基准测试和使用指南请访问官方博客。
查看
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号