#位置编码
相关项目
LongRoPE
LongRoPE项目提出了一种将大语言模型（LLM）上下文窗口扩展至超过200万个标记的方法。通过利用位置嵌入中的非均匀性，项目实现了8倍的上下文窗口扩展，无需微调。采用逐步扩展策略从256k微调至2048k上下文，避免了对超长文本的直接微调。LongRoPE还调整了原始窗口长度内的嵌入，确保在各种任务中保持高效表现，适用于对话、问答、长文档摘要及少样本学习。
rotary-embedding-torch
rotary-embedding-torch库为PyTorch中的Transformer模型提供旋转位置编码。它能高效地将旋转信息融入张量的任意轴，适用于固定和学习的位置编码。该库支持轴向相对位置编码、长度外推和序列位置插值等功能，可应用于多种Transformer模型。rotary-embedding-torch以简单的方式实现了先进的位置编码效果，同时保持较低的计算开销。
infini-transformer
Infini-Transformer是一种创新的Transformer模型，专门用于处理无限长度的上下文。该模型采用压缩性记忆机制和混合深度技术，能有效处理超长序列。Infini-Transformer支持文本分类、问答和语言生成等多种任务，并集成RoPE和YaRN等先进位置编码技术。这一模型为长文本处理和大规模语言任务提供了高效解决方案。