#线性注意力机制

TransNormerLLM是一种高效的大规模语言模型，使用线性注意力机制，优于传统的软注意力模型。该模型训练于高质量语料库，包含1.4万亿个词元，支持中文、英语和多语言基准测试，在多领域表现出色。提供385M、1B和7B参数版本，开放给学术研究，商用需申请许可。