访问官网
Github
Huggingface
文档Qwen2-1.5B项目介绍
项目概述
Qwen2-1.5B是Qwen2大语言模型系列中的一员。Qwen2是阿里巴巴发布的新一代大语言模型系列,包含从5亿到720亿参数不等的多个基础语言模型和指令微调模型。Qwen2-1.5B是其中参数量为15亿的基础语言模型版本。
与之前发布的Qwen1.5以及其他开源语言模型相比,Qwen2系列在多个基准测试中展现出了卓越的性能,在语言理解、生成、多语言能力、编程、数学、推理等多个方面均超越了大多数开源模型,并与一些专有模型相媲美。
模型特点
Qwen2-1.5B基于Transformer架构,采用了SwiGLU激活函数、注意力QKV偏置、分组查询注意力等技术。此外,该模型还使用了改进的分词器,能够更好地适应多种自然语言和代码。
作为基础语言模型,Qwen2-1.5B主要用于进一步的后续训练,如指令微调(SFT)、人类反馈强化学习(RLHF)、持续预训练等,而不建议直接用于文本生成任务。
性能表现
Qwen2-1.5B在多个评估数据集上展现出了优异的性能:
- 在MMLU(5-shot)测试中得分56.5,明显优于同等规模的其他模型
- 在编程任务如HumanEval和MBPP上表现不俗,分别达到31.1和37.4的准确率
- 在数学推理任务GSM8K上得分58.5,与规模更大的Phi-2相当
- 在中文评测C-Eval和CMMLU上分别达到70.6和70.3的高分,大幅领先其他同级别模型
这些结果表明,尽管Qwen2-1.5B的参数量相对较小,但在多个领域都展现出了强大的能力,特别是在综合知识、推理、数学和编程等方面。
使用说明
使用Qwen2-1.5B需要安装transformers 4.37.0或更高版本。由于这是一个基础语言模型,建议用户在此基础上进行进一步的训练和优化,以适应特定的应用场景。
总结
Qwen2-1.5B作为Qwen2系列中的一员,展示了小型模型也能在多个复杂任务中取得优秀表现的潜力。它为研究人员和开发者提供了一个高效、多功能的基础模型,可以在此基础上进行进一步的优化和应用开发。
