热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#权重分解
DoRA
DoRA是一种新型大型语言模型微调方法,通过将预训练权重分解为幅度和方向两个部分进行更新。与LoRA相比,DoRA在保持参数效率的同时提升了模型的学习能力和训练稳定性。研究表明,DoRA在常识推理、视觉指令调优和图像/视频-文本理解等多项下游任务中表现优于LoRA。该技术已集成到Hugging Face PEFT和Diffusers库中,可用于多种模型的微调。
相关文章
DoRA: 革新性的低秩适应方法在人工智能领域的应用与发展
2 个月前
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号