VITA
VITA是一款开源全模态语言模型,实现了视频、图像、文本和音频的综合处理。其特点包括全模态理解、无唤醒交互和音频中断交互,显著提高了用户体验。通过创新的状态令牌和双工方案,VITA提升了多模态交互体验。在多项基准测试中,VITA展现出优秀性能,为多模态AI研究和应用开辟了新途径,有望推动相关技术的发展。