#上下文扩展

CEPE

CEPE是一个扩展语言模型上下文窗口的开源框架,采用并行编码方法处理长文本输入。该项目提供数据预处理、模型训练和基线评估的完整代码,并发布了可通过Hugging Face使用的预训练模型。CEPE在语言建模和开放域问答等任务中表现优异,为处理长文本提供了高效解决方案。