#Rotary Embeddings

rotary-embedding-torch库为PyTorch中的Transformer模型提供旋转位置编码。它能高效地将旋转信息融入张量的任意轴，适用于固定和学习的位置编码。该库支持轴向相对位置编码、长度外推和序列位置插值等功能，可应用于多种Transformer模型。rotary-embedding-torch以简单的方式实现了先进的位置编码效果，同时保持较低的计算开销。