大型多模态模型评估套件

PyPI - Downloads GitHub contributors

使用lmms-eval加速大型多模态模型(LMMs)的开发

🏠 LMMs-Lab主页 | 🎉 博客 | 📚 文档 | 🤗 Huggingface数据集 | discord/lmms-eval

公告

[2024年8月] 🎉🎉 我们欢迎新模型LLaVA-OneVision、Mantis，新任务MVBench、LongVideoBench、MMStar。我们为llava-onevision模型提供了SGlang运行时API的新功能，请参考文档以加速推理
[2024年7月] 🎉🎉 我们已发布技术报告和LiveBench！
[2024年7月] 👨‍💻👨‍💻 lmms-eval/v0.2.1已升级，支持更多模型，包括LongVA、InterVL-2、VILA，以及更多评估任务，如Details Captions、MLVU、WildVision-Bench、VITATECS和LLaVA-Interleave-Bench。
[2024年6月] 🎬🎬 lmms-eval/v0.2.0已升级，支持对LLaVA-NeXT Video和Gemini 1.5 Pro等视频模型进行视频评估，涵盖EgoSchema、PerceptionTest、VideoMME等任务。详情请参阅博客
[2024年3月] 📝📝 我们已发布lmms-eval的第一个版本，详情请参阅博客

为什么选择`lmms-eval`？

在当今世界，我们正在经历一段激动人心的旅程，朝着创造人工通用智能（AGI）的目标迈进，这种热情与1960年代登月计划相似。这一旅程由先进的大型语言模型（LLMs）和大型多模态模型（LMMs）驱动，这些复杂的系统能够理解、学习并执行各种人类任务。

为了衡量这些模型的先进程度，我们使用各种评估基准。这些基准是帮助我们理解模型能力的工具，展示我们离实现AGI还有多远。

然而，找到并使用这些基准是一个巨大的挑战。必要的基准和数据集分散在各处，隐藏在Google Drive、Dropbox以及不同学校和研究实验室的网站中。这感觉就像我们在进行一场寻宝游戏，但地图却散落各处。在语言模型领域，lm-evaluation-harness的工作树立了宝贵的先例。他们提供了集成的数据和模型接口，使语言模型的快速评估成为可能，并作为open-llm-leaderboard的后端支持框架，逐渐成为基础模型时代的底层生态系统。

我们谦虚地吸收了lm-evaluation-harness精巧高效的设计，并推出了lmms-eval，这是一个为LMM提供一致高效评估而精心打造的评估框架。

安装

对于正式使用，你可以通过运行以下命令从PyPI安装该包：

pip install lmms-eval

对于开发目的，你可以通过克隆仓库并运行以下命令来安装该包：

git clone https://github.com/EvolvingLMMs-Lab/lmms-eval
cd lmms-eval
pip install -e .

如果你想测试LLaVA，你需要从LLaVA克隆他们的仓库并执行：

# 对于llava 1.5
# git clone https://github.com/haotian-liu/LLaVA
# cd LLaVA
# pip install -e .

# 对于llava-next (1.6)
git clone https://github.com/LLaVA-VL/LLaVA-NeXT
cd LLaVA-NeXT
pip install -e .

重现LLaVA-1.5论文结果

你可以查看环境安装脚本和torch环境信息来重现LLaVA-1.5的论文结果。我们发现torch/cuda版本的差异会导致结果有小幅波动，我们提供了不同环境下的结果检查。

如果你想测试诸如coco、refcoco和nocaps等字幕数据集，你需要安装java==1.8.0以使pycocoeval API正常工作。如果你没有安装，可以使用conda安装：

conda install openjdk=8

然后你可以通过java -version检查你的Java版本。

LLaVA系列模型的综合评估结果

如下面详细的表格所示，我们旨在为读者提供详细信息，以了解lmms-eval中包含的数据集以及这些数据集的一些具体细节（我们对读者在评估过程中可能提出的任何更正表示感谢）。

我们提供了一个Google表格，其中包含LLaVA系列模型在不同数据集上的详细结果。你可以在这里访问该表格。这是一个实时更新的表格，我们会不断用新结果更新它。

我们还提供了从Weights & Biases导出的原始数据，包含LLaVA系列模型在不同数据集上的详细结果。你可以在这里访问原始数据。

如果你想测试VILA，你应该安装以下依赖：

pip install s2wrapper@git+https://github.com/bfshi/scaling_on_scales

我们的开发将继续在main分支上进行，我们鼓励你就所需功能和如何进一步改进库提供反馈，或在GitHub上的问题或PR中提出问题。

多种用法

在MME上评估LLaVA

python3 -m accelerate.commands.launch \
    --num_processes=8 \
    -m lmms_eval \
    --model llava \
    --model_args pretrained="liuhaotian/llava-v1.5-7b" \
    --tasks mme \
    --batch_size 1 \
    --log_samples \
    --log_samples_suffix llava_v1.5_mme \
    --output_path ./logs/

在多个数据集上评估LLaVA

python3 -m accelerate.commands.launch \
    --num_processes=8 \
    -m lmms_eval \
    --model llava \
    --model_args pretrained="liuhaotian/llava-v1.5-7b" \
    --tasks mme,mmbench_en \
    --batch_size 1 \
    --log_samples \
    --log_samples_suffix llava_v1.5_mme_mmbenchen \
    --output_path ./logs/

对于其他llava变体，请在model_args中更改conv_template

conv_template是lmms_eval/models/llava.py中llava初始化函数的一个参数，你可以在LLaVA的代码中找到对应的值，可能在llava/conversations.py中的一个名为conv_templates的字典变量中。

python3 -m accelerate.commands.launch \
    --num_processes=8 \
    -m lmms_eval \
    --model llava \
    --model_args pretrained="liuhaotian/llava-v1.6-mistral-7b,conv_template=mistral_instruct" \
    --tasks mme,mmbench_en \
    --batch_size 1 \
    --log_samples \
    --log_samples_suffix llava_v1.5_mme_mmbenchen \
    --output_path ./logs/

评估更大的lmms模型（llava-v1.6-34b）

python3 -m accelerate.commands.launch \
    --num_processes=8 \
    -m lmms_eval \
    --model llava \
    --model_args pretrained="liuhaotian/llava-v1.6-34b,conv_template=mistral_direct" \
    --tasks mme,mmbench_en \
    --batch_size 1 \
    --log_samples \
    --log_samples_suffix llava_v1.5_mme_mmbenchen \
    --output_path ./logs/

使用一组配置进行评估，支持评估多个模型和数据集

python3 -m accelerate.commands.launch --num_processes=8 -m lmms_eval --config ./miscs/example_eval.yaml

评估视频模型（llava-next-video-32B）

accelerate launch --num_processes 8 --main_process_port 12345 -m lmms_eval \
    --model llavavid \
    --model_args pretrained=lmms-lab/LLaVA-NeXT-Video-32B-Qwen,conv_template=qwen_1_5,video_decode_backend=decord,max_frames_num=32，mm_spatial_pool_mode=average,mm_newline_position=grid,mm_resampler_location=after \
    --tasks videomme \
    --batch_size 1 \
    --log_samples \
    --log_samples_suffix llava_vid_32B \
    --output_path ./logs/

使用简单的模型分片评估更大的模型（llava-next-72b）

python3 -m lmms_eval \
    --model=llava \
    --model_args=pretrained=lmms-lab/llava-next-72b,conv_template=qwen_1_5,device_map=auto,model_name=llava_qwen \
    --tasks=pope,vizwiz_vqa_val,scienceqa_img \
    --batch_size=1 \
    --log_samples \
    --log_samples_suffix=llava_qwen \
    --output_path="./logs/" \
    --wandb_args=project=lmms-eval,job_type=eval,entity=llava-vl

使用SGLang评估更大的模型（llava-next-72b）

python3 -m lmms_eval \
	--model=llava_sglang \
	--model_args=pretrained=lmms-lab/llava-next-72b,tokenizer=lmms-lab/llavanext-qwen-tokenizer,conv_template=chatml-llava,tp_size=8,parallel=8 \
	--tasks=mme \
	--batch_size=1 \
	--log_samples \
	--log_samples_suffix=llava_qwen \
	--output_path=./logs/ \
	--verbosity=INFO

支持的模型

请查看支持的模型以获取更多详细信息。

支持的任务

请查看支持的任务以获取更多详细信息。

添加自定义模型和数据集

请参考我们的文档。

致谢

lmms_eval 是 lm-eval-harness 的一个分支。我们建议您阅读 lm-eval-harness 的文档以获取相关信息。

以下是我们对原始API所做的更改：

构建上下文现在只在处理图像和文档的模型响应阶段传入idx。这是因为数据集现在包含大量图像，我们无法像原始 lm-eval-harness 那样将它们存储在文档中，否则CPU内存会爆炸。
Instance.args（lmms_eval/api/instance.py）现在包含要输入到lmms的图像列表。
lm-eval-harness 将所有 HF 语言模型作为单一模型类支持。目前这对 lmms 来说是不可能的，因为 HF 中 lmms 的输入/输出格式尚未统一。因此，我们必须为每个 lmms 模型创建一个新类。这并不理想，我们将努力在未来统一它们。

在我们项目的初始阶段，我们感谢：

Xiang Yue、Jingkang Yang、Dong Guo 和 Sheng Shen 的早期讨论和测试。

在 v0.1 到 v0.2 期间，我们感谢来自拉取请求（PR）的社区支持：

详细信息请参见 lmms-eval/v0.2.0 发布说明

数据集：

VCR：视觉字幕恢复（官方来自作者，MILA）
ConBench（官方来自作者，北大/字节跳动）
MathVerse（官方来自作者，香港中文大学）
MM-UPD（官方来自作者，东京大学）
WebSRC（来自Hunter Heiden）
ScreeSpot（来自Hunter Heiden）
RealworldQA（来自Fanyi Pu，南洋理工大学）
多语言LLaVA-W（来自Gagan Bhatia，不列颠哥伦比亚大学）

模型：

LLaVA-HF（官方来自 Huggingface）
Idefics-2（来自 lmms-lab 团队）
microsoft/Phi-3-Vision（官方来自作者，微软）
LLaVA-SGlang（来自 lmms-lab 团队）

引用

@misc{lmms_eval2024,
    title={LMMs-Eval: 加速大型多模态模型的开发},
    url={https://github.com/EvolvingLMMs-Lab/lmms-eval},
    author={李博*, 张沛源*, 张凯辰*, 蒲凡毅*, 杜鑫润, 董宇昊, 刘浩天, 张元涵, 张格, 李春远 和 刘子为},
    publisher    = {Zenodo},
    version      = {v0.1.0},
    month={三月},
    year={2024}
}

lmms-eval