基于大语言模型的视频理解技术研究进展

Ray

基于大语言模型的视频理解技术研究进展

近年来,随着大语言模型(Large Language Models, LLMs)在自然语言处理领域取得突破性进展,研究人员开始探索将LLMs的强大能力扩展到视频理解任务中。本文综述了基于大语言模型的视频理解(Video Understanding with Large Language Models, Vid-LLMs)的最新研究进展。

为什么需要Vid-LLMs?

传统的视频理解方法主要关注短时间尺度的分析,如单帧的动作识别、物体检测等。然而,现实世界中的视频往往包含长时间、复杂的事件和交互。Vid-LLMs的出现为解决这些挑战提供了新的可能:

LLMs具有强大的语言理解和生成能力,可以更好地捕捉视频中的语义信息。
LLMs的大规模预训练使其具有丰富的世界知识,有助于理解视频中的高级语义概念。
LLMs的推理能力可以帮助分析视频中的因果关系和时序依赖。

Vid-LLMs模型分类

根据模型架构和训练策略,Vid-LLMs可以分为以下几类:

LLM-based Video Agents: 利用现有LLMs作为推理引擎,结合视频特征提取器进行视频理解。代表工作有Socratic Models、Video ChatCaptioner等。
Vid-LLM Pretraining: 从头预训练视频-语言模型。如LaViLa、Vid2Seq等。
Vid-LLM Instruction Tuning: 在预训练LLMs基础上进行指令微调。根据视觉特征融合方式可分为:
- Connective Adapters: 如Video-LLaMA、VALLEY等
- Insertive Adapters: 如Otter、VideoLLM等
- Hybrid Adapters: 如VTimeLLM、GPT4Video等
Hybrid Methods: 结合多种技术的混合方法,如VideoChat、PG-Video-LLaVA等。