Magpie项目简介
Magpie是一个用于生成高质量对齐数据的开源项目,由华盛顿大学的研究团队开发。它的核心思想是利用已对齐的大语言模型(如Llama 3)的提示模板,直接生成用户查询和模型回复,从而获得大规模的高质量指令数据。
主要特点
- 无需种子问题或复杂的提示工程
- 可生成多轮对话数据
- 支持多种主流大语言模型,如Llama 3、Qwen2、Phi 3等
- 提供了数据过滤和标注的工具
- 开源了生成的数据集和微调后的模型
相关资源
-
项目主页: GitHub仓库
-
技术报告: arXiv论文
-
模型与数据集: Hugging Face仓库
-
在线演示:
-
项目网站: magpie-align.github.io
快速上手
- 安装依赖:
git clone https://github.com/magpie-align/magpie.git
cd magpie
conda create -n magpie python=3.10 -y
conda activate magpie
pip install -r requirements.txt
- 生成数据:
cd scripts
bash magpie.sh
- 数据过滤与标注:
bash unitag.sh ***_ins_res.json all
- 微调模型: 参考recipes目录下的说明和配置文件。
最新进展
- 发布了基于Llama 3.1、Gemma2、Qwen2等模型生成的数据集
- 开源了Llama-3-8B-Magpie-Align系列模型,在多个基准测试中表现优异
Magpie项目为研究人员和开发者提供了一种高效生成高质量对齐数据的新方法,有望推动大语言模型对齐技术的发展与开放。欢迎大家关注并参与到这个创新项目中来!