#LLaMA-MoE

LLaMA-MoE是基于LLaMA和SlimPajama的开源专家混合模型。通过将LLaMA的FFN划分为稀疏专家并加入top-K门控，模型在优化的数据采样权重下进行持续预训练。特点包括轻量化、多种专家构建方法、多种门控策略和快速预训练，适合部署和研究。提供详细的安装指南和技术文档，帮助用户快速使用并评估模型性能。