热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#SlimPajama
LLaMA-MoE学习资料汇总 - 基于LLaMA的轻量级混合专家模型
1 个月前
本文汇总了LLaMA-MoE项目的相关学习资料,包括项目介绍、安装指南、快速入门、模型性能等,帮助读者快速了解和上手这个轻量级的混合专家模型。
LLaMA-MoE
LLaMA
MoE
SlimPajama
Sheared LLaMA
Github
开源项目
1 个月前
LLaMA-MoE: 基于LLaMA的混合专家模型及其持续预训练
2 个月前
本文介绍了一种新型的大规模语言模型LLaMA-MoE,它基于LLaMA模型构建了混合专家(Mixture-of-Experts)架构,通过持续预训练进一步提升了模型性能,在保持较小参数量的同时实现了优秀的语言理解和生成能力。
LLaMA-MoE
LLaMA
MoE
SlimPajama
Sheared LLaMA
Github
开源项目
2 个月前
相关项目
llama-moe
LLaMA-MoE是基于LLaMA和SlimPajama的开源专家混合模型。通过将LLaMA的FFN划分为稀疏专家并加入top-K门控,模型在优化的数据采样权重下进行持续预训练。特点包括轻量化、多种专家构建方法、多种门控策略和快速预训练,适合部署和研究。提供详细的安装指南和技术文档,帮助用户快速使用并评估模型性能。
查看
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号