访问官网
Github
Huggingface
论文项目介绍：Llama-3-8B-Magpie-Align-SFT-v0.3
项目背景
Llama-3-8B-Magpie-Align-SFT-v0.3 是基于 Meta 的 Llama-3-8B 模型进行微调的版本。该项目使用了多个数据集，包括 Magpie-Align 提供的 150K 推理数据集、300K 专业多任务数据集以及 200K 的中文指导数据。这一增强特别是融入了大量中文指令数据，使其在多语言处理能力方面有了显著提升。
项目亮点
相比于早期版本 v0.2，Llama-3-8B-Magpie-Align-SFT-v0.3 通过新的中文数据集提升了模型的多语言能力，尤其是在中文任务上的表现可与官方的 Llama-3-8B-Instruct 模型媲美，仅使用监督微调(SFT)即取得如此成效。模型在多项基准测试中表现出色：
- MT-Bench：首次回合得分 8.050，二次回合 7.350，平均得分 7.700。
- Alpaca Eval 2 使用 GPT-4-Turbo-1106 的评测：LC（分类）得分 26.37，WR（书面表达）得分 26.42。
- Alpaca Eval 2 使用 Llama-3-8B-Instruct 模型的评测：LC 得分 54.53，WR 得分 55.26。
- Arena Hard：得分 20.6。
数据集与训练过程
该模型的构建依托于 Axolotl 工具生成的数据，具有丰富多样的数据集，确保了模型在各种语言和任务上的适应性。训练采用了多 GPU 分布式环境，使用 Adam 优化器，并设置了一些关键的超参数以确保训练的稳定和有效，包括：
- 学习率：2e-05
- 批量大小：训练批次为 128，评估批次为 4
- 总共训练轮数：2次
使用指南
根据 Meta Llama 3 社区许可证进行使用。为了得到最佳的对话效果，建议使用 Llama 3 的官方聊天模板。详细使用指导可参考官方的使用说明，只需将model_id替换为Magpie-Align/Llama-3-8B-Magpie-Align-SFT-v0.3即可。
引用与联系
如果对于该模型、数据或代码有任何疑问，用户可以联系张晨Zhangchen。如果在研究中采用了该模型，请引用我们的论文：
@article{xu2024magpie,
title={Magpie: Alignment Data Synthesis from Scratch by Prompting Aligned LLMs with Nothing},
author={Zhangchen Xu and Fengqing Jiang and Luyao Niu and Yuntian Deng and Radha Poovendran and Yejin Choi and Bill Yuchen Lin},
year={2024},
eprint={2406.08464},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
结语
Llama-3-8B-Magpie-Align-SFT-v0.3 在多语言任务中展现出了卓越的性能，其背后的技术创新和数据集建设也为语言模型的民主化提供了优秀的范例。通过 Magpie 数据集的加入，该模型在对齐任务上引领了新的潮流，为进一步的研究和应用铺平了道路。
