热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#Landmark Attention
landmark-attention
Landmark Attention项目提供了一种创新注意力机制的实现,可处理无限长度的上下文。该项目包含语言建模基准测试和LLaMA模型微调代码,以及与Flash Attention结合的Triton实现。通过在输入中添加特殊landmark标记,实现了对超长序列的随机访问,优化了Transformer模型的长文本处理能力,同时显著降低了内存使用并提高了性能。
相关文章
Landmark Attention: 变革性的无限上下文长度Transformer模型
2 个月前
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号