#UMT5

本项目采用创新的UniMax采样技术，对多语言预训练模型的语言分布进行优化，实现更均衡的主语言处理，同时减少尾语言的过拟合风险。模型基于更新版mC4语料库的预训练，涵盖107种语言，需要在下游任务上进行微调以用于实际应用。