访问官网
Github
Huggingface
文档
论文Qwen2.5-1.5B项目介绍
项目概述
Qwen2.5-1.5B是Qwen2.5系列大语言模型中的一员。Qwen2.5是Qwen大语言模型的最新系列，相比前代产品Qwen2有了显著的改进和提升。这个项目提供了一个基础语言模型，参数规模为15亿。
主要特点
Qwen2.5-1.5B模型具有以下特点：
- 模型类型：因果语言模型
- 训练阶段：预训练
- 架构：使用RoPE、SwiGLU、RMSNorm、带偏置的注意力QKV以及共享词嵌入的Transformer架构
- 参数规模：总参数15.4亿，非嵌入层参数13.1亿
- 网络层数：28层
- 注意力头数：12个Q头和2个KV头（使用分组查询注意力机制）
- 上下文长度：支持全32,768个token
性能提升
作为Qwen2.5系列的一部分，该模型在以下方面有显著改进：
- 知识储备更加丰富，特别是在编程和数学领域的能力大幅提升。
- 显著提高了指令遵循能力、长文本生成能力（超过8K个token）、结构化数据理解能力以及结构化输出（尤其是JSON）生成能力。
- 对系统提示的多样性更加适应，增强了角色扮演和聊天机器人条件设置的实现。
- 支持长达128K个token的长文本处理，可以生成最多8K个token的文本。
- 多语言支持能力强，可以处理超过29种语言。
使用建议
需要注意的是，开发团队不建议直接将这个基础语言模型用于对话任务。相反，用户可以在此模型基础上进行进一步的训练，如监督微调(SFT)、基于人类反馈的强化学习(RLHF)或继续预训练等。
技术要求
使用Qwen2.5-1.5B模型需要最新版本的Hugging Face transformers库。如果使用的transformers版本低于4.37.0，可能会遇到"KeyError: 'qwen2'"的错误。
评估与性能
关于模型的详细评估结果，开发团队在其博客中进行了全面报告。此外，有关GPU内存需求和相应吞吐量的信息，用户可以在项目文档中找到相关基准测试结果。
结语
Qwen2.5-1.5B是一个功能强大的基础语言模型，为开发者和研究人员提供了丰富的可能性。通过适当的后续训练和调整，它可以在各种自然语言处理任务中发挥重要作用。
