#合并技术

本页面介绍了Depth-Up-Scaling方法如何提升大规模语言模型（LLM）的性能，通过合并Mistral 7B模型权重与持续预训练，SOLAR-10.7B模型在多项自然语言处理任务中表现优异，超越某些30B参数模型。本文比较了不同模型性能，展示了SOLAR-10.7B在多样化调优场景中的适应性和鲁棒性。