FBGEMM
FBGEMM是一个专注于服务器端推理的高性能低精度矩阵运算库。它提供小批量的高效低精度矩阵乘法,支持行级量化等技术以最小化精度损失,并通过操作融合解决低精度计算的挑战。作为PyTorch在x86平台上量化算子的后端,FBGEMM为深度学习推理提供了关键支持。