Github
Huggingface
论文项目概述
BigBird-RoBERTa-base是一个基于稀疏注意力机制的Transformer模型，它成功地扩展了像BERT这样的Transformer模型的序列处理能力。该模型能够处理长度高达4096个token的序列，同时计算成本相比BERT大幅降低。
技术特点
这个模型最显著的特征是采用了块稀疏注意力（block sparse attention）机制，取代了传统的完全注意力机制。通过这种创新的注意力机制设计，模型在处理超长序列时展现出了优异的性能，特别是在长文档摘要和长上下文问答等任务中取得了领先的成果。
预训练数据
模型的预训练使用了四个公开数据集：
- Books（图书语料库）
- CC-News（新闻数据）
- Stories（故事集）
- Wikipedia（维基百科）
值得注意的是，该模型采用了与RoBERTa相同的词表，这个词表最初来源于GPT2模型。
训练过程
在训练过程中，开发团队采用了以下策略：
- 对于长度超过4096的文档进行拆分
- 将较短的文档进行合并处理
- 采用与BERT相似的训练方法，随机遮蔽15%的词元
- 以RoBERTa的检查点作为训练的起点
使用方法
模型的使用非常灵活，用户可以根据需求选择不同的注意力模式：
- 默认使用块稀疏模式，可设置随机块数量和块大小
- 可切换为完全注意力模式
- 支持自定义块大小和随机块数量的调整
应用价值
这个模型在处理长序列文本方面具有显著优势，特别适用于：
- 长文档摘要生成
- 长文本问答系统
- 需要处理大规模文本的自然语言处理任务
技术贡献
BigBird的创新不仅限于实践层面，其开发团队还提供了理论支持，深入分析了稀疏模型所能处理的转换器功能，为预训练语言模型的发展提供了新的研究方向。
