热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#低内存优化
LOMO: 突破内存限制的大语言模型全参数微调优化器
2 个月前
LOMO是一种创新的优化器,可在有限计算资源下实现大语言模型的全参数微调。它通过融合梯度计算和参数更新步骤,大幅降低内存消耗,使单张RTX 3090显卡就能微调7B参数模型。
LOMO
AdaLomo
大语言模型
优化器
低内存优化
Github
开源项目
2 个月前
相关项目
LOMO
LOMO和AdaLomo是为大规模语言模型训练设计的低内存优化算法。通过融合梯度计算和参数更新,这些技术显著减少内存使用,使单GPU设备能实现全参数微调。AdaLomo提供自适应学习率和分组更新归一化,在内存效率和性能上与AdamW相当。这些算法已集成至多个主流深度学习框架,为资源受限环境中的大模型训练提供高效方案。
查看
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号