#UL2

UL2是一个创新的语言模型框架,采用混合去噪器(MoD)预训练目标,融合多种预训练范式并引入模式切换机制。该模型在C4语料库上进行200亿参数规模的预训练,并在多个数据集上微调后,在50个涵盖语言生成、理解和推理等领域的NLP任务中达到了领先水平。UL2在少样本学习方面表现突出,零样本SuperGLUE任务上超越了更大规模的GPT-3模型。

GPT-JT-6B-v1采用去中心化训练和开放数据集，提升文本分类表现。结合UL2训练目标等先进技术，使其在计算效率上具有优势，优于大多数百亿参数模型。在多样化数据集如自然指令和P3上，GPT-JT利用标记和双向上下文学习，增强推断能力和语言处理功能。