[ECCV 2024接收]Goldfish：任意长度视频的视觉-语言理解

[CVPR2024W]MiniGPT4-Video：通过交错的视觉-文本标记推进多模态LLM的视频理解

本仓库包含用于短视频理解的MiniGPT4-video和长视频理解的Goldfish的代码。

在线演示

项目主页 📝 arXiv论文 🤗 TVQA-Long数据集

🎞️ 项目主页 📝 arXiv论文

概述

目前大多数基于LLM的视频理解模型可以处理几分钟内的视频，但在处理长视频时面临"噪声和冗余挑战"以及"内存和计算"挑战。在本文中，我们提出了Goldfish，一种专门用于理解任意长度视频的方法。我们还引入了TVQA-long基准，专门用于评估模型在理解长视频中视觉和文本内容问题的能力。Goldfish通过一种高效的检索机制来应对这些挑战，该机制首先收集与指令相关的前k个视频片段，然后再提供所需的响应。这种检索机制的设计使Goldfish能够高效处理任意长度的视频序列，方便其在电影或电视剧等场景中的应用。为了促进检索过程，我们开发了MiniGPT4-Video，用于为视频片段生成详细描述。为解决长视频评估基准的稀缺问题，我们通过汇总整个剧集的问题，将TVQA短视频基准调整为扩展内容分析，从而将评估从部分理解转变为完整剧集理解。我们在TVQA-long基准上达到了41.78%的准确率，比之前的方法高出14.94%。我们的MiniGPT4-Video在短视频理解方面也表现出色，在MSVD、MSRVTT、TGIF和TVQA短视频基准上分别超过现有最先进方法3.23%、2.03%、16.5%和23.59%。这些结果表明，我们的模型在长视频和短视频理解方面都有显著改进。

Goldfish框架（长视频）

MiniGPT4-Video（短视频）

:rocket: 演示

1. 克隆仓库

git clone https://github.com/Vision-CAIR/MiniGPT4-video.git
cd MiniGPT4-video

2. 设置环境

conda env create -f environment.yml

3. 下载检查点

4. 运行演示 金鱼演示

# 为获得推荐性能，在下面的命令中添加参数 --use_openai_embedding True，并在环境变量 OPENAI_API_KEY 中设置 API 密钥，否则模型将使用默认嵌入。
export OPENAI_API_KEY="你的_openai_密钥"
# Llama2
python goldfish_demo.py --ckpt 视频检查点路径 --cfg-path test_configs/llama2_test_config.yaml
# Mistral
python goldfish_demo.py --ckpt 视频检查点路径 --cfg-path test_configs/mistral_test_config.yaml

MiniGPT4-Video 演示

# Llama2
python minigpt4_video_demo.py --ckpt 视频检查点路径 --cfg-path test_configs/llama2_test_config.yaml
# Mistral
python minigpt4_video_demo.py --ckpt 视频检查点路径 --cfg-path test_configs/mistral_test_config.yaml

推理

执行之前的步骤，并用此步骤替换步骤 4 金鱼推理

# 为获得推荐性能，在下面的命令中添加参数 --use_openai_embedding True，并在环境变量 OPENAI_API_KEY 中设置 API 密钥，否则模型将使用默认嵌入。
export OPENAI_API_KEY="你的_openai_密钥"
# Llama2
python goldfish_inference.py --ckpt llama2检查点路径 --cfg-path test_configs/llama2_test_config.yaml --video_path 视频路径 --question "你的问题"
# Mistral
python goldfish_inference.py --ckpt mistral检查点路径 --cfg-path test_configs/mistral_test_config.yaml --video_path 视频路径 --question "你的问题"

MiniGPT4-Video 推理

# Llama2
python minigpt4_video_inference.py --ckpt llama2检查点路径 --cfg-path test_configs/llama2_test_config.yaml --video_path 视频路径 --question "你的问题"
# Mistral
python minigpt4_video_inference.py --ckpt mistral检查点路径 --cfg-path test_configs/mistral_test_config.yaml --video_path 视频路径 --question "你的问题"

:fire: 训练

对于金鱼和 MiniGPT4-Video，唯一的训练部分是 MiniGPT4-Video 模型。

为您自己的视频-文本数据集自定义 MiniGPT4-Video

您可以在 Custom_training.md 中找到为您自己的视频-文本数据集自定义 MiniGPT4-Video 的步骤。

训练数据集

下载以下数据集后，您应该前往数据集配置文件夹 minigpt4/configs/datasets，在那里为每个数据集设置路径。

图像文本训练 您可以在 MiniGPT4 中找到下载数据集的步骤

• LAION
• Conceptual Captions
• SBU

视频文本训练：

• CMD
• Webvid
• Video Instructional Dataset 100K

您可以在这里找到视频文本数据集的注释文件 下载

模型训练：

您可以在下面的每个 script.sh 中编辑 GPU 数量

阶段 1（图像文本预训练）

您可以直接下载与 Llama2 对齐的预训练 MiniGPT4 检查点。

或者自行训练：

# 预训练
# Llama2
torchrun --nproc-per-node GPU数量 train.py --cfg-path train_configs/224_minigpt4_llama2_image.yaml
# Mistral
torchrun --nproc-per-node GPU数量 train.py --cfg-path train_configs/224_minigpt4_mistral_image.yaml

# 对齐
# 要启动第二阶段对齐，首先指定预训练阶段训练的检查点文件路径。
# Llama2
torchrun --nproc-per-node GPU数量 train.py --cfg-path train_configs/224_minigpt4_llama2_image_align.yaml
# Mistral
torchrun --nproc-per-node GPU数量 train.py --cfg-path train_configs/224_minigpt4_mistral_image_align.yaml

您可以从这里下载我们为此阶段训练的权重 Llama2 Mistral

阶段 2（视频字幕预训练）

对于 Llama2 在脚本中将 cfg-path 设置为 train_configs/224_v2_llama2_video_stage_2.yaml 在这里将模型名称设置为 llama2：minigpt4/configs/datasets/cmd_video/default.yaml 和 minigpt4/configs/datasets/webvid/default.yaml

对于 Mistral 在脚本中将 cfg-path 设置为 train_configs/224_v2_mistral_video_stage_2.yaml 在这里将模型名称设置为 mistral：minigpt4/configs/datasets/cmd_video/default.yaml 和 minigpt4/configs/datasets/webvid/default.yaml

bash training_scripts/stage_2.sh

您可以从这里下载我们为此阶段训练的权重 Llama2 Mistral

阶段 3（视频指令微调）

对于 Llama2 在脚本中将 cfg-path 设置为 train_configs/224_v2_llama2_video_stage_3.yaml 在这里将模型名称设置为 llama2：minigpt4/configs/datasets/video_chatgpt/default.yaml

对于 Mistral 在脚本中将 cfg-path 设置为 train_configs/224_v2_mistral_video_stage_3.yaml 在这里将模型名称设置为 mistral：minigpt4/configs/datasets/video_chatgpt/default.yaml

bash training_scripts/stage_3.sh

您可以从这里下载我们为此阶段训练的权重 Llama2 Mistral

:zap: MiniGPT4-Video 评估

要重现结果，请使用每个模型的最佳检查点 Llama2 Mistral 我们使用与 Video-ChatGPT 相同的评估方法

下载评估数据集

• MSVD
  
• MSRVTT
  
• TGIF
  
• ActivityNet
  
• TVQA
  
• Video-ChatGPT 基准
  

您可以在此处找到评估数据集注释文件 下载

MSR-VTT 和 ActivityNet 的字幕可在此处获取 下载 注意：这些字幕是使用 whisper 模型 生成的
TVQA 字幕可以从这里下载

运行评估脚本

在脚本中设置每个评估脚本的参数

NAME="" # 实验名称
BATCH_SIZE=8 # 批次大小 
CKPT_PATH="" # 检查点路径
DATASET="msvd" # 数据集名称，可用数据集：tvqa, msrvtt, msvd, activitynet, tgif, video_chatgpt_generic, video_chatgpt_temporal, video_chatgpt_consistency
# 设置数据集文件的路径
videos_path="" # 视频文件路径
subtitles_path="" # 如果数据集是 msrvtt、activitynet 或 tvqa，则为字幕文件路径，否则设置为 ""
ann_path="" # 注释文件路径
cfg_path="" # 配置文件路径

bash evaluation/minigpt4_video_eval/minigpt4_video_evalualtion.sh

然后使用 GPT3.5 turbo 将预测结果与真实值进行比较，并生成准确率和得分
在 evaluate_benchmark.sh 和 evaluate_zeroshot.sh 中设置这些变量

PRED="预测结果路径"
OUTPUT_DIR="输出目录路径"
API_KEY="openAI_密钥"
NUM_TASKS=128

然后要评估 [Video-ChatGPT 基准]，运行以下脚本

bash GPT_evaluation/evaluate_benchmark.sh

要评估开放式问题，运行以下脚本

bash GPT_evaluation/evaluate_zeroshot.py

:zap: 金鱼评估

四个基准测试的长视频基准测试结果：LLama-Vid、MovieChat、Movie QA 和我们提出的 TVQA-Long。"V"模态表示仅使用视频帧，而"V+T"表示同时使用视频帧和字幕

要复现结果，请使用 checkpoints/video_llama_checkpoint_last.pth 并使用 OpenAI 嵌入 --use_openai_embedding=True

下载评估数据集

对于 Llama-vid 和 MovieQA 从这里下载原始 MovieNet 数据，包括电影和注释 这将是 Llama-vid 和 MovieQA 的源视频

与论文中所述相同的经过筛选的注释，用于评估

Llama-vid MovieQA 对于 Moviechat，在实现此工作时唯一可用的视频是训练数据的 10%，这就是我们用于评估的内容，可以在这里找到 完整数据集可以在这里找到 对于 TVQA-Long 如果你想将 TVQA-Long 用于另一个模型（llama-vid），视频和注释都可以在这里找到 TVQA-Long。 对于 Goldfish 评估，我们将使用来自原始 TVQA 数据集的分离片段

运行评估脚本

# Llama-vid 评估
# 在脚本中设置这些参数
videos_path="视频路径"
subtitle_path="字幕路径"
video_clips_saving_path="保存视频片段的路径"
annotation_file="注释文件路径"
movienet_annotations_dir="movienet 注释目录路径"
NEIGHBOURS=3
use_openai_embedding="是否使用 openai 嵌入"
# 然后运行脚本
bash evaluation/Goldfish_eval/movies/eval_model_summary_llama_vid.sh

# MovieQA 评估
# 与上面相同，但在脚本中设置参数为 MovieQA 路径
bash evaluation/Goldfish_eval/movies/eval_model_summary_movie_qa.sh

# MovieChat 评估
# 在脚本中设置这些参数
dataset_path="电影文件夹路径"
annotation_json_folder="json 文件夹路径"
# 然后运行脚本
bash evaluation/Goldfish_eval/movies/eval_model_summary_movie_chat.sh

TVQA-Long

对于 Goldfish 评估，我们可以使用来自原始 TVQA 数据集的原始分离片段 从这里下载原始 TVQA 视频和短视频的片段字幕 tvqa_long_annotation 在这里 tvqa_json_subtitles 在这里

# 在脚本中设置这些参数
tvqa_json_subtitles="tvqa json 字幕文件路径"
tvqa_clips_subtitles="tvqa 片段字幕路径"
videos_frames="视频帧路径"
tvqa_long_annotation="TVQA-Long 注释文件路径"
NEIGHBOURS=3
use_openai_embedding="是否使用 openai 嵌入"
# 然后运行脚本
bash evaluation/Goldfish_eval/tvqa_eval/eval_model_summary.sh

然后使用 GPT3.5 turbo 将预测与真实值进行比较，并生成准确度和分数 在 evaluate_zeroshot.sh 中设置这些变量

PRED="预测路径"
OUTPUT_DIR="输出目录路径"
API_KEY="openAI_密钥"
NUM_TASKS=128

要评估开放式问题，请运行以下脚本

bash GPT_evaluation/evaluate_zeroshot.sh

引用

如果您在研究或应用中使用 MiniGPT4-Video 或 Goldfish，请使用以下 BibTeX 进行引用：

@misc{ataallah2024goldfishvisionlanguageunderstandingarbitrarily,
      title={Goldfish: Vision-Language Understanding of Arbitrarily Long Videos}, 
      author={Kirolos Ataallah and Xiaoqian Shen and Eslam Abdelrahman and Essam Sleiman and Mingchen Zhuge and Jian Ding and Deyao Zhu and Jürgen Schmidhuber and Mohamed Elhoseiny},
      year={2024},
      eprint={2407.12679},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2407.12679}, 
}
@article{ataallah2024minigpt4,
  title={MiniGPT4-Video: Advancing Multimodal LLMs for Video Understanding with Interleaved Visual-Textual Tokens},
  author={Ataallah, Kirolos and Shen, Xiaoqian and Abdelrahman, Eslam and Sleiman, Essam and Zhu, Deyao and Ding, Jian and Elhoseiny, Mohamed},
  journal={arXiv preprint arXiv:2404.03413},
  year={2024}
}

致谢

MiniGPT4 Video-ChatGPT

许可

本仓库使用 BSD 3-Clause License。 许多代码基于 MiniGPT4。