MoE-LLaVA项目采用混合专家技术,实现了高效的大规模视觉语言模型。该模型仅使用3B稀疏激活参数就达到了与7B参数模型相当的性能,在多项视觉理解任务中表现优异。项目提供简单的基线方法,通过稀疏路径学习多模态交互,可在8张A100 GPU上1天内完成训练。MoE-LLaVA为构建高性能、低参数量的视觉语言模型探索了新的方向。

ModuleFormer是一种新型MoE架构，结合棒断注意力头和前馈专家两种专家类型。通过稀疏激活，实现高效性、可扩展性和专业化。基于此架构的MoLM语言模型系列，参数规模40亿到80亿不等，在提高吞吐量的同时保持性能，易于扩展新知识和针对特定任务优化。MoLM在多项基准测试中展现出优秀的效率和性能。