热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#性能表现
MoE-LLaVA: 使用专家混合模型提升大型视觉语言模型性能
2 个月前
MoE-LLaVA是一种基于专家混合(Mixture of Experts)的稀疏大型视觉语言模型架构,通过可学习的路由器只激活部分专家,实现了在保持较少激活参数的同时达到甚至超越更大规模密集模型的性能。
MoE-LLaVA
大视觉语言模型
多模态学习
稀疏激活
性能表现
Github
开源项目
2 个月前
相关项目
MoE-LLaVA
MoE-LLaVA项目采用混合专家技术,实现了高效的大规模视觉语言模型。该模型仅使用3B稀疏激活参数就达到了与7B参数模型相当的性能,在多项视觉理解任务中表现优异。项目提供简单的基线方法,通过稀疏路径学习多模态交互,可在8张A100 GPU上1天内完成训练。MoE-LLaVA为构建高性能、低参数量的视觉语言模型探索了新的方向。
查看
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号