热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#量化训练
EfficientQAT
EfficientQAT是一种针对大型语言模型的量化训练技术。该技术采用两阶段训练方法,包括分块训练所有参数和端到端训练量化参数,在压缩模型大小的同时保持性能。EfficientQAT支持GPTQ和BitBLAS等多种量化格式,已成功应用于Llama和Mistral等模型系列,有效降低模型存储需求,为大型语言模型的部署提供了实用方案。
TinyNeuralNetwork
TinyNeuralNetwork是一个开源的深度学习模型压缩框架,提供神经架构搜索、剪枝、量化和模型转换等功能。该框架支持计算图捕获、依赖解析、多种剪枝算法、量化感知训练和模型转换,为深度学习模型优化提供全面解决方案。TinyNeuralNetwork已应用于天猫精灵、海尔电视等超过1000万IoT设备,实现AI能力部署。
相关文章
EfficientQAT: 大语言模型高效量化感知训练的革新技术
1 个月前
EfficientQAT: 高效的大型语言模型量化感知训练方法
1 个月前
TinyNeuralNetwork:阿里巴巴开源的高效深度学习模型压缩框架
1 个月前
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号