dora-from-scratch
该项目提供了LoRA和DoRA技术的从头实现资料，作为相关文章的补充。内容涵盖关键技术细节和应用案例，帮助更好地理解和应用这些技术。
DoRA
DoRA是一种新型大型语言模型微调方法，通过将预训练权重分解为幅度和方向两个部分进行更新。与LoRA相比，DoRA在保持参数效率的同时提升了模型的学习能力和训练稳定性。研究表明，DoRA在常识推理、视觉指令调优和图像/视频-文本理解等多项下游任务中表现优于LoRA。该技术已集成到Hugging Face PEFT和Diffusers库中，可用于多种模型的微调。
