#混合专家系统

MoE-LLaVA是一个采用专家混合架构的视觉语言模型。该模型使用3B稀疏激活参数，性能与LLaVA-1.5-7B相当，在部分任务上超越LLaVA-1.5-13B。MoE-LLaVA可在8张V100 GPU上2天内完成训练，并在多项视觉理解基准测试中表现优异。这一创新为多模态AI领域提供了新的研究方向。