#语言预训练

ELECTRA是一种自监督语言表示学习方法，采用判别器替代传统生成器架构进行预训练。该模型可在单GPU环境运行，通过区分真实和生成的输入标记进行训练。在SQuAD 2.0等基准测试中取得了显著成果，支持分类、问答和序列标注等下游任务的微调。