热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#8,4,3,2,1 bits
hqq
HQQ是一种无需校准数据即可快速精确量化大模型的工具,支持从8bit到1bit的多种量化模式。兼容LLMs和视觉模型,并与多种优化的CUDA和Triton内核兼容,同时支持PEFT训练和Pytorch编译,提升推理和训练速度。详细基准测试和使用指南请访问官方博客。
相关文章
HQQ: 快速高效的大型机器学习模型量化方法
2 个月前
HQQ量化学习资料汇总 - 快速准确的大模型量化工具
1 个月前
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号