#NATTEN

NATTEN是一个开源库，专门用于快速实现Neighborhood Attention。该项目支持1D、2D和3D问题空间，提供naive、GEMM以及新型Fused Neighborhood Attention (FNA)等多种后端实现。FNA引入反向传播支持，显著提高了模型训练效率。NATTEN兼容PyTorch 2.0及更高版本，同时支持CPU和CUDA后端，并实现了因果掩码、可变参数和相对位置偏置等功能。