#低秩适应
lorahub
LoraHub框架通过组合多个LoRA模块实现跨任务泛化。该项目仅需少量样例即可适应新任务,无需额外参数或训练。LoraHub提供完整代码和预训练模型,支持pip安装。在BIG-Bench Hard基准测试中,LoraHub性能接近少样本上下文学习,推理速度与零样本学习相当。
loraplus
LoRA+是一种创新的低秩适应技术,专注于提高大型模型的微调效率。该技术引入新的超参数优化训练过程,尤其适合处理复杂的下游任务。项目提供完整代码实现,兼容Hugging Face Trainer和自定义训练流程,并附带GLUE基准测试和图像分类示例。LoRA+在多种任务中表现出色,为研究人员和开发者提供了改进大型模型微调效果的有力工具。