Aurora - 通过指令调优激活 Mixtral-8x7B 稀疏专家混合体的中文聊天功能

Aurora 项目介绍

项目概述

Aurora 项目旨在通过指令微调技术，激活 Mixtral-8x7B 稀疏专家模型（Sparse Mixture-of-Experts）的中文对话能力。研究人员系统地调查、预处理并整合了三个中文指令数据集，旨在提升这种混合专家模型的中文会话能力。通过对精心处理的数据集进行指令微调，成功构建了名为“Aurora”的 Mixtral-8x7B 稀疏专家模型。为了评估 Aurora 的性能，研究团队采用了三个公认的基准测试：C-Eval、MMLU 和 CMMLU。实验验证了指令微调应用于稀疏专家混合模型的有效性，这标志着在提升这种模型架构能力方面的重大突破。

性能评估

Aurora 的性能通过多个基准测试进行评估。以下是 Aurora 在不同测试中的表现：

C-Eval、MMLU 和 CMMLU 测试
- Aurora 在这些测试中的表现优于 LLaMA 品牌的多个型号，成功证明其增强的理解和生成能力。
BLEU 和 ROUGE 分数
- 通过对比不同的检查点，Aurora 在 BLEU 和 ROUGE 评估中展现出了渐进提升，这显示了模型微调的效果。
医学领域测试
- 在 CMB 康生医学基准测试中，Aurora 的平均得分为 29.87，高于其他同类模型，尤其在多个医学子类别中表现出众。

快速使用指南

Aurora 项目为用户提供了多种快速使用模型的方式：

Web 界面：通过简单的命令启动 Web 界面，允许用户通过浏览器与模型进行交互。
命令行界面 (CLI)：用户能够通过命令行直接与模型进行交互。
API：提供适用于专业应用程序集成的 API 接口。

以上使用方式都支持在单个 GPU 上进行，并支持 4-bit 的量化处理以适应有限的硬件资源。

模型训练与评估

Aurora 项目不仅提供了使用预训练模型的方式，也开放了训练自己的 Mixtral-8x7B 模型的能力：

训练：如果拥有单个 GPU 和足够的内存，用户可以按照项目提供的训练脚本来自行微调模型。
评估：Aurora 提供了详细评估模型性能的脚本，支持在不同任务和语言上的表现测评。

项目背景与鸣谢

Aurora 项目主要由澳门理工大学应用科学学院完成，AWS 服务器提供了计算资源支持。微调框架选择了 LLaMA-Factory，感谢 Mistral AI 对技术的贡献和推动。

引用信息

如果您在研究中使用了 Aurora 项目，请按照如下 BibTeX 格式引用：

@misc{wang2023auroraactivating,
      title={Aurora:Activating Chinese chat capability for Mixtral-8x7B sparse Mixture-of-Experts through Instruction-Tuning}, 
      author={Rongsheng Wang and Haoming Chen and Ruizhe Zhou and Yaofei Duan and Kunyan Cai and Han Ma and Jiaxi Cui and Jian Li and Patrick Cheong-Iao Pang and Yapeng Wang and Tao Tan},
      year={2023},
      eprint={2312.14557},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

许可证信息

Aurora 项目的使用请遵循 Apache 2.0 License。