torchrec
TorchRec是一个专为大规模推荐系统设计的PyTorch库,提供稀疏性和并行性解决方案。它支持多种嵌入表分片策略,并能自动优化分片计划。通过流水线训练和优化内核,提高模型性能。还支持量化训练和推理,包含多个验证的模型架构和数据集示例,适用于需要高性能和扩展性的推荐系统项目。
FBGEMM
FBGEMM是一个专注于服务器端推理的高性能低精度矩阵运算库。它提供小批量的高效低精度矩阵乘法,支持行级量化等技术以最小化精度损失,并通过操作融合解决低精度计算的挑战。作为PyTorch在x86平台上量化算子的后端,FBGEMM为深度学习推理提供了关键支持。