#张量代数

tensorly

TensorLy是一个专注于简化张量学习的Python库，支持张量分解、张量学习和张量代数操作。其后端系统兼容NumPy、PyTorch、JAX、TensorFlow和CuPy，可在CPU或GPU上执行大规模计算。安装方便，仅需使用pip或conda命令，且提供详尽的文档和Jupyter Notebooks示例，方便用户快速入门。这个工具不仅适合学术研究，还为开发者提供了丰富的API，欢迎通过GitHub进行贡献。

mirage

作为一款先进的张量代数超优化器，Mirage在深度神经网络(DNN)性能优化领域展现出独特优势。通过在GPU计算层次结构中实现多层次联合优化，该工具能够自动发现并生成高效的张量程序。Mirage不仅可以识别和验证复杂的优化策略，还能通过搜索等效程序空间来开发出性能卓越的自定义内核。这一技术在各类DNN应用中表现出色，如LLAMA-3-70B模型中的组查询注意力机制和低秩适配器优化，生成的CUDA内核性能显著优于传统手动优化方法。