热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#LLaMA-Adapter
LLaMA-Adapter:高效微调大语言模型的创新方法
2 个月前
LLaMA-Adapter是一种轻量级的适配方法,可以高效地将LLaMA等大型语言模型微调成指令跟随模型。该方法只需要1.2M的可学习参数,在1小时内即可完成微调,且生成的指令跟随效果可与全参数微调的模型相媲美。
LLaMA-Adapter
微调
大语言模型
指令跟随
多模态
Github
开源项目
2 个月前
相关项目
LLaMA-Adapter
LLaMA-Adapter是一种高效的大语言模型微调方法。通过在LLaMA模型中插入适配器,仅引入120万个可学习参数,1小时内即可将LLaMA转化为指令跟随模型。该方法提出零初始化注意力机制,稳定早期训练。LLaMA-Adapter支持多模态输入,拓展应用场景。与全量微调相比,在参数量和训练时间上具显著优势,同时保持相当性能。
查看
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号