Github
Huggingface
论文项目概述
orca_mini_3b是一个基于OpenLLaMa-3B模型训练的开源语言模型。这个项目通过解释调优的方法,融合了WizardLM、Alpaca和Dolly-V2等多个数据集,并应用了Orca研究论文的数据构建方法,创建了一个功能强大的语言模型。
核心特点
- 采用开源的OpenLLaMa-3B作为基础模型
- 融合了约13.7万条高质量训练数据
- 支持文本生成和对话交互
- 训练过程采用DeepSpeed技术,实现高效分布式训练
- 提供完整的代码实现和使用示例
数据来源
该项目的训练数据来自三个主要来源:
- WizardLM数据集(约7万条)
- Alpaca数据集(约5.2万条)
- Dolly-V2数据集(约1.5万条)
特别之处在于项目采用了Orca论文中提出的15种系统指令来生成定制数据集,这种方法帮助模型更好地学习思维过程。
训练细节
模型训练在8张A100(80G)GPU上进行,总耗时约4小时。主要训练参数包括:
- 批次大小:64
- 学习率:2e-5
- 最大序列长度:1024
- 训练轮次:3
- 优化器:AdamW
模型评测
在Open LLM排行榜上的主要评测结果:
- ARC(25-shot):41.55分
- HellaSwag(10-shot):61.52分
- MMLU(5-shot):26.79分
- TruthfulQA(0-shot):42.42分
- Winogrande(5-shot):61.8分
使用方式
该模型支持通过Hugging Face transformers库直接调用,同时也提供了Google Colab免费使用环境。用户可以通过简单的Python代码实现文本生成等功能。
局限性说明
- 可能产生事实性错误的输出
- 训练数据来自公开数据集,可能存在偏见
- 不应完全依赖该模型产生准确信息
- 商业使用需要咨询相关法律意见
未来计划
- 扩充训练数据,引入FLAN-v2等数据集
- 提供更多文本生成界面选项
- 提供4bit量化版本模型
