#转换器架构

Qwen1.5-4B是一款多语言Transformer模型，具有8种模型规模，支持32K上下文长度且无需信任远程代码。其设计基于SwiGLU激活和多重注意力机制，并通过改进型分词器实现高效多样的文本生成。