Github
Huggingface
文档
论文MoE-LLaVA-Phi2-2.7B-4e项目介绍
MoE-LLaVA-Phi2-2.7B-4e是一个创新的多模态学习模型,它结合了混合专家(Mixture of Experts, MoE)技术和大型视觉语言模型。该项目由北京大学袁路教授团队开发,旨在提高多模态学习的效率和性能。
项目亮点
- 高性能,低参数量:
- 尽管只有3B的稀疏激活参数,MoE-LLaVA-Phi2-2.7B-4e在多项视觉理解数据集上的表现可与LLaVA-1.5-7B相媲美,甚至在物体幻觉基准测试中超越了LLaVA-1.5-13B。
- 简单基线,稀疏路径学习:
- 通过添加一个简单的MoE调优阶段,研究人员能够在8个V100 GPU上在2天内完成MoE-LLaVA的训练。
模型特点
- 基于Phi2 2.7B语言模型
- 采用4个专家的MoE结构
- 使用Top-2激活策略
性能表现
MoE-LLaVA-Phi2-2.7B-4e在多个视觉问答和多模态理解任务上展现出优异的性能:
- VQAv2: 77.1分
- GQA: 61.1分
- VizWiz: 43.4分
- SQA: 68.7分
- T-VQA: 50.2分
- POPE: 85.0分
- MM-Bench: 65.5分
- LLaVA-Bench-Wild: 93.2分
- MM-Vet: 31.1分
平均得分达到63.9分,显示出强大的多模态理解能力。
使用方法
研究人员可以通过以下方式使用MoE-LLaVA-Phi2-2.7B-4e模型:
-
在线演示:可以在Hugging Face Spaces上体验在线演示。
-
本地部署:
- 使用Gradio Web UI进行交互式体验
- 使用命令行界面进行推理
-
API调用:提供了Python代码示例,方便开发者在自己的项目中集成该模型。
项目意义
MoE-LLaVA-Phi2-2.7B-4e项目为多模态学习领域提供了一个高效且性能优异的新基准。它展示了如何通过MoE技术来提高大型视觉语言模型的效率,为未来更加智能和高效的人工智能系统铺平了道路。
该项目的开源性质也为研究社区提供了宝贵的资源,促进了该领域的进一步发展和创新。
