#Funnel Transformer

Funnel Transformer是一款基于自监督学习的预训练英语模型，使用丰富的公共数据集进行训练，类似ELECTRA的目标，通过区分原始与替换标记来学习语言特征。模型不区分大小写字母，适合用于序列分类、标记分类和问答任务。访问模型中心可获取进行特定任务的微调版本。