#神经网络量化
相关项目
ppq
PPQ 是一个适用于工业应用的神经网络量化工具。通过将浮点运算转换为定点运算，它显著提升系统功耗效率和执行速度。具备高度扩展性，用户可自定义量化过程，并结合多种硬件和推理库使用。版本 0.6.6 更新了图模式匹配、图融合功能，并新增 FP8 量化规范和 PFL 基础类库。支持 TensorRT, Openvino, Onnxruntime 等推理框架，实现高效的神经网络量化部署。
brevitas
Brevitas是一个开源的神经网络量化PyTorch库，支持PTQ和QAT。它为常见PyTorch层提供量化版本，如QuantConv和QuantLSTM等，允许精细调整量化参数。兼容Python 3.8+和PyTorch 1.9.1-2.1，跨平台支持，推荐GPU加速。作为研究项目，Brevitas在深度学习模型压缩和效率优化方面具有重要应用价值。
Llama-3.2-11B-Vision-Instruct-nf4
Llama-3.2-11B-Vision-Instruct-nf4是一个基于meta-llama/Llama-3.2-11B-Vision-Instruct的量化视觉语言模型，采用BitsAndBytes的NF4(4位)量化技术，无需双重量化即可实现高效推理。该模型主要用于图像字幕生成等视觉分析任务，并提供详细的使用示例代码。项目还包含配套的ComfyUI自定义节点，为开发者提供了便捷的视觉分析工具集成方案。