热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#高效QAT
OmniQuant入门学习资料-Omnidirectionally Calibrated Quantization for LLMs
1 个月前
OmniQuant是一种针对大语言模型的全方位校准量化技术,本文汇总了OmniQuant项目的相关学习资源,帮助读者快速入门和了解这项技术。
OmniQuant
量化
大语言模型
LLaMA
高效QAT
Github
开源项目
1 个月前
OmniQuant: 大语言模型的全方位校准量化技术
2 个月前
OmniQuant是一种简单而强大的大语言模型量化技术,可以实现高精度的权重量化和权重-激活量化,并支持在移动设备上部署量化后的大型语言模型。
OmniQuant
量化
大语言模型
LLaMA
高效QAT
Github
开源项目
2 个月前
相关项目
OmniQuant
OmniQuant是一种高效的量化技术,支持多种大型语言模型(LLM)的权重和激活量化,包括LLaMa和OPT等。其实现了4位及更低精度的权重量化,并通过MLC-LLM优化在多种硬件设备上的推理性能和内存占用。此外,项目还支持Mixtral和Falcon模型的压缩应用,大幅降低内存需求,提高运行效率。
查看
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号