#多任务微调

xmtf

XMTF项目探索了通过多语言多任务微调来增强模型的跨语言泛化能力。研究者基于BLOOM和mT5模型，使用xP3数据集进行微调，开发了BLOOMZ和mT0系列模型。这些模型在46种语言的13个任务上接受训练，展现出显著的跨语言和跨任务迁移学习能力。项目公开了完整的数据处理流程、模型训练方法和评估体系，为自然语言处理领域的跨语言研究提供了重要参考。

MFTCoder

MFTCoder是一个开源的多任务微调框架,致力于提升代码大模型性能。该框架支持多种主流开源大模型,采用LoRA和QLoRA等高效微调方法,实现多任务平衡训练。MFTCoder还开源了多个高性能代码大模型和高质量数据集,在HumanEval等基准测试中表现优异。这一框架旨在促进代码大模型领域的协作与创新。