热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#Adan
Adan:一种更快速优化深度模型的自适应Nesterov动量算法
2 个月前
Adan是一种新型优化器,能够更快地训练深度学习模型,在多个计算机视觉和自然语言处理任务上都取得了优异的表现。本文详细介绍了Adan的原理、使用方法以及在各种任务上的实验结果。
Adan
优化器
深度学习
梯度下降
PyTorch
Github
开源项目
2 个月前
相关项目
Adan
Adan是一种新型优化算法,结合适应性学习率和Nesterov动量,旨在加速深度学习模型训练。它在计算机视觉、自然语言处理和大规模语言模型等多个领域表现优异。相比Adam和AdamW,Adan通常能使用更大的学习率,训练速度提升5-10倍,同时保持或提高模型精度。目前,Adan已被NVIDIA NeMo、Meta AI D-Adaptation等多个知名深度学习框架和项目采用。
查看
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号