#Spectrum Fine-Tuning

SauerkrautLM-Nemo-12b-Instruct项目演示了通过Spectrum微调技术实现大语言模型资源高效微调的可能性。采用精心构建的德英Sauerkraut Mix v2数据集，只需微调模型25%层数，即可优化12亿参数的性能，显著提升德语与英语能力，并有助于多语言技能的整体提升。模型在Hugging Face排行榜表现卓越，验证了跨语言增强能力的重要价值，同时保留大部分既有知识。