#CUTLASS

cutlass

CUTLASS是一个高性能CUDA C++模板库，旨在高效实现矩阵乘法(GEMM)及其扩展运算。支持各种精度与多个NVIDIA架构，如Volta、Turing、Ampere和Hopper。该库的模块化设计方便用户构建和优化自定义核心和应用程序。3.5.1版本新增特性以提升性能并增加新架构支持。

cutlass-kernels

CUTLASS Kernels是一个针对大语言模型(LLM)优化的CUDA库，提供了FlashAttention-3的高效实现。该项目支持TF32模式，显著提升性能，主要用于加速LLM的训练和推理过程。开发者可以轻松集成这些核心，为构建高性能AI应用提供强大的基础支持。CUTLASS Kernels需要配合NVIDIA的CUTLASS项目使用，为LLM开发提供了关键的性能优化工具。