NEFTune
NEFTune是一种创新的语言模型指令微调技术，通过向嵌入向量添加随机噪声来提升模型性能。这种方法无需额外计算资源或数据，却能显著改善对话质量。在AlpacaEval评估中，NEFTune将LLaMA-2-7B模型的性能从29.8%提升至64.7%。作为一种高效的LLM微调方案，NEFTune为模型优化提供了低成本、高收益的解决方案。
