热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#NEFTune
NEFTune: 噪声嵌入提升语言模型指令微调效果
2 个月前
NEFTune是一种简单而有效的语言模型指令微调技术,通过在训练过程中向嵌入向量添加随机噪声,显著提升了模型在对话任务上的表现。本文详细介绍了NEFTune的原理、实现方法及其在多个数据集上的出色表现。
NEFTune
LLM微调
嵌入向量
噪声增强
性能提升
Github
开源项目
2 个月前
相关项目
NEFTune
NEFTune是一种创新的语言模型指令微调技术,通过向嵌入向量添加随机噪声来提升模型性能。这种方法无需额外计算资源或数据,却能显著改善对话质量。在AlpacaEval评估中,NEFTune将LLaMA-2-7B模型的性能从29.8%提升至64.7%。作为一种高效的LLM微调方案,NEFTune为模型优化提供了低成本、高收益的解决方案。
查看
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号