#神经网络量化
相关项目
ppq
PPQ 是一个适用于工业应用的神经网络量化工具。通过将浮点运算转换为定点运算,它显著提升系统功耗效率和执行速度。具备高度扩展性,用户可自定义量化过程,并结合多种硬件和推理库使用。版本 0.6.6 更新了图模式匹配、图融合功能,并新增 FP8 量化规范和 PFL 基础类库。支持 TensorRT, Openvino, Onnxruntime 等推理框架,实现高效的神经网络量化部署。
brevitas
Brevitas是一个开源的神经网络量化PyTorch库,支持PTQ和QAT。它为常见PyTorch层提供量化版本,如QuantConv和QuantLSTM等,允许精细调整量化参数。兼容Python 3.8+和PyTorch 1.9.1-2.1,跨平台支持,推荐GPU加速。作为研究项目,Brevitas在深度学习模型压缩和效率优化方面具有重要应用价值。