#高效计算

Punica采用分段聚集矩阵-向量乘法（SGMV）技术，使多个LoRA微调模型在单个预训练模型上高效运行，仅增加1%的存储和内存开销。相比其他系统，Punica在各种LoRA模型请求下的文本生成吞吐量提升至12倍，适用于不同版本的CUDA和Python，支持二进制包和源码构建。

torch-fidelity是一个开源的PyTorch库，提供多种生成模型评估指标的实现。该库支持ISC、FID、KID、PRC和PPL等指标，特点是计算精确、效率高且易于扩展。它通过特征共享和缓存机制优化性能，适用于学术研究和模型训练中的实时评估。torch-fidelity还支持自定义，可适应不同的数据类型和模型结构。

Efficient-Computing项目旨在提高AI模型的计算效率和性能。这个由华为诺亚方舟实验室开发的高效计算方法集合包含多个子项目，涵盖了模型压缩、二值神经网络、知识蒸馏、网络剪枝、模型量化、自监督学习、训练加速、目标检测和低层视觉等领域的技术。该项目为AI研究和开发提供了多样化的工具和资源。