DoRA
DoRA是一种新型大型语言模型微调方法，通过将预训练权重分解为幅度和方向两个部分进行更新。与LoRA相比，DoRA在保持参数效率的同时提升了模型的学习能力和训练稳定性。研究表明，DoRA在常识推理、视觉指令调优和图像/视频-文本理解等多项下游任务中表现优于LoRA。该技术已集成到Hugging Face PEFT和Diffusers库中，可用于多种模型的微调。
