#量化训练

EfficientQAT是一种针对大型语言模型的量化训练技术。该技术采用两阶段训练方法,包括分块训练所有参数和端到端训练量化参数,在压缩模型大小的同时保持性能。EfficientQAT支持GPTQ和BitBLAS等多种量化格式,已成功应用于Llama和Mistral等模型系列,有效降低模型存储需求,为大型语言模型的部署提供了实用方案。

TinyNeuralNetwork是一个开源的深度学习模型压缩框架，提供神经架构搜索、剪枝、量化和模型转换等功能。该框架支持计算图捕获、依赖解析、多种剪枝算法、量化感知训练和模型转换，为深度学习模型优化提供全面解决方案。TinyNeuralNetwork已应用于天猫精灵、海尔电视等超过1000万IoT设备，实现AI能力部署。