热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#数据混合优化
DoReMi:优化语言模型预训练的数据混合方法
2 个月前
DoReMi是一种创新的算法,旨在优化用于语言模型预训练的数据混合。它通过分布鲁棒优化来调整不同领域数据的混合比例,以提高模型的性能和训练效率。本文将深入探讨DoReMi的工作原理、实施方法以及在大规模语言模型训练中的应用效果。
DoReMi
语言模型
数据混合优化
分布鲁棒优化
代理模型
Github
开源项目
2 个月前
相关项目
doremi
DoReMi是一种优化语言模型数据集混合的算法。它通过分布鲁棒优化调整数据混合,适应不同目标分布。算法训练小型代理模型动态调整各领域数据权重,并利用预训练参考模型避免对高熵领域过于悲观。DoReMi显著提高大型模型训练效率,如280M代理模型可使8B参数模型达到基线性能的速度提高2.6倍。项目提供PyTorch实现,包含快速可恢复的数据加载器和下游评估工具。
查看
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号