热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#长序列处理
InfLLM
InfLLM是一种新型无训练记忆方法,可有效处理超长序列。通过将远程上下文存储在额外的存储单元中并采用高效机制进行注意力计算,InfLLM在保持长距离依赖捕捉能力的同时,提高了处理效率。即使在序列长度达到1,024K的情况下,InfLLM仍表现优越,无需连续训练即可超越许多基线模型。
KoBigBird
KoBigBird是基于BigBird架构的韩语预训练模型,支持处理长达4096个token的序列。通过稀疏注意力机制,其计算复杂度从O(n²)降至O(n)。在短序列和长序列任务评估中,KoBigBird表现优异。项目包含使用指南、预训练方法和评估结果,为韩语自然语言处理提供支持。
infini-transformer
Infini-Transformer是一种创新的Transformer模型,专门用于处理无限长度的上下文。该模型采用压缩性记忆机制和混合深度技术,能有效处理超长序列。Infini-Transformer支持文本分类、问答和语言生成等多种任务,并集成RoPE和YaRN等先进位置编码技术。这一模型为长文本处理和大规模语言任务提供了高效解决方案。
相关文章
InfLLM: 一种训练无关的长序列处理方法助力大语言模型突破长度限制
2 个月前
KoBigBird: 韩语长序列预训练模型的突破性进展
2 个月前
Infini-Transformer: 突破上下文长度限制的高效Transformer模型
2 个月前
InfLLM学习资料汇总 - 无需训练即可理解超长序列的大语言模型
1 个月前
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号