KoBigBird是基于BigBird架构的韩语预训练模型，支持处理长达4096个token的序列。通过稀疏注意力机制，其计算复杂度从O(n²)降至O(n)。在短序列和长序列任务评估中，KoBigBird表现优异。项目包含使用指南、预训练方法和评估结果，为韩语自然语言处理提供支持。