Github
Huggingface
论文项目介绍
deberta-v3-base-tasksource-nli是一个经过多任务学习微调的自然语言处理模型。该项目基于Microsoft的DeBERTa-v3-base模型,在tasksource收集的600多个任务上进行了多任务学习,从而获得了强大的零样本泛化能力。
主要特点
-
多任务学习:在600多个任务上进行联合训练,提高了模型的通用性和迁移能力。
-
零样本分类:可以直接用于未见过的分类任务,无需额外微调。
-
自然语言推理:在各种NLI数据集上表现优异。
-
tasksource适配器:可以快速适配数百个预定义任务。
-
灵活微调:支持在新任务上进行进一步微调。
使用方法
该模型提供了多种使用方式:
-
零样本分类:使用Transformers库的pipeline可以直接进行零样本文本分类。
-
自然语言推理:同样可以通过pipeline实现NLI任务。
-
tasksource适配器:使用tasknet库可以一行代码加载数百个预定义任务。
-
进一步微调:可以使用tasknet库在新任务上快速微调模型。
模型评估
该模型在IBM model recycling评估中,在所有基于deberta-v3-base的模型中排名第一,展现了优异的泛化性能。
技术细节
- 在600个任务上训练了200k步
- 批量大小384,峰值学习率2e-5
- 训练时间15天,使用NVIDIA A30 24GB GPU
- 使用了特殊的多任务共享机制
总结
deberta-v3-base-tasksource-nli项目通过大规模多任务学习,将强大的语言模型与丰富的下游任务知识相结合,为各种NLP应用提供了一个灵活而强大的基础模型。无论是直接应用还是进一步微调,都可以在多种场景中发挥优秀性能。
</SOURCE_TEXT>
