#低秩适应

lorahub

LoraHub框架通过组合多个LoRA模块实现跨任务泛化。该项目仅需少量样例即可适应新任务，无需额外参数或训练。LoraHub提供完整代码和预训练模型，支持pip安装。在BIG-Bench Hard基准测试中，LoraHub性能接近少样本上下文学习，推理速度与零样本学习相当。

Mix-of-Show

Mix-of-Show是一种扩散模型多概念定制技术,通过去中心化低秩适应实现单概念和多概念融合。它可生成高质量动漫和真实人物图像,无需正则化数据集,支持区域可控的多概念采样。该项目开源了训练和推理代码,为扩散模型个性化提供新方案。

DoRA

DoRA是一种新型大型语言模型微调方法，通过将预训练权重分解为幅度和方向两个部分进行更新。与LoRA相比，DoRA在保持参数效率的同时提升了模型的学习能力和训练稳定性。研究表明，DoRA在常识推理、视觉指令调优和图像/视频-文本理解等多项下游任务中表现优于LoRA。该技术已集成到Hugging Face PEFT和Diffusers库中，可用于多种模型的微调。

PiSSA

PiSSA是一种创新的参数高效微调方法，通过优化关键奇异值和向量来增强大语言模型性能。相较于LoRA，PiSSA展现出更快的收敛速度和更优的效果。在多个基准测试中，PiSSA的表现全面超越LoRA。这种方法不仅保留了LoRA的参数效率和量化兼容性优势，还大幅降低了4位量化误差。PiSSA初始化迅速，易于从LoRA转换。在多种模型和任务中，PiSSA均表现出色，为大语言模型的高效微调提供了新的可能性。

loraplus

LoRA+是一种创新的低秩适应技术，专注于提高大型模型的微调效率。该技术引入新的超参数优化训练过程，尤其适合处理复杂的下游任务。项目提供完整代码实现，兼容Hugging Face Trainer和自定义训练流程，并附带GLUE基准测试和图像分类示例。LoRA+在多种任务中表现出色，为研究人员和开发者提供了改进大型模型微调效果的有力工具。

SiLLM

SiLLM是专为Apple Silicon设计的大语言模型工具包，基于MLX框架优化LLM训练和运行流程。支持多种模型架构，提供Web应用和API服务，实现LoRA和DPO等先进训练技术。该项目还引入控制向量和特征消融等实验性功能，便于探索LLM内部机制，旨在让更广泛的Apple Silicon用户群体能够使用最新的LLM技术。

Platypus2-7B

Platypus2-7B是采用LLaMA2架构的指令微调模型，由Cole Hunter和Ariel Lee开发。该模型通过STEM和逻辑数据集优化语言理解，并在ARC、HellaSwag、MMLU和TruthfulQA任务中经过广泛评估。为确保最佳性能，建议在HF训练中将fp16设置为False，bf16为True。在应用该技术时需注意安全性，以避免潜在风险。有关更多信息，请访问其项目网页。该模型在多个任务中展示出色性能，并提醒用户在应用前进行详细的安全性测试。通过其创新的指令微调方法，Platypus2-7B在语言模型领域引入了新的思路。