Qwen2-VL-72B-Instruct-GPTQ-Int4

项目介绍：Qwen2-VL-72B-Instruct-GPTQ-Int4

概述

Qwen2-VL-72B-Instruct-GPTQ-Int4是Qwen-VL模型的最新迭代版本，代表了将近一年的创新成果。这个项目旨在提升多模态理解能力，可以在图像和视频的基础上进行高质量的问答、对话以及内容创作。

项目亮点

关键增强功能

1. 最新的多分辨率图像理解能力：Qwen2-VL在视觉理解基准测试如MathVista、DocVQA、RealWorldQA和MTVQA等上表现出色。

2. 对长视频的理解力：该模型能够理解超过20分钟的视频，这使得基于视频的问答、对话和内容创作成为可能。

3. 设备操作能力：Qwen2-VL具备复杂的推理和决策能力，可与移动设备、机器人等结合，实现基于视觉环境和文本指令的自动操作。

4. 多语言支持：支持不同语言的文本理解，包括大多数欧洲语言、日语、韩语、阿拉伯语、越南语等。

模型架构更新

1. 动态分辨率处理：该模型处理不同分辨率的图像，将其映射到动态数量的视觉标记上，提供更人性化的视觉处理体验。

2. 多模态旋转位置嵌入（M-ROPE）：将位置嵌入分解为捕获一维文本、二维视觉和三维视频位置信息的组件，增强多模态处理能力。

Qwen2-VL系列具有2亿、8亿和72亿参数的模型。本项目包含经过量化的72B Qwen2-VL模型，如需了解更多信息，请访问我们的博客和GitHub。

基准测试

量化模型性能

报告了Qwen2-VL系列量化模型（包括GPTQ和AWQ）的生成性能，测试结果显示不同模型在各种基准测试中的准确率。

性能速度基准测试

在不同上下文长度条件下，报告了模型推理速度（tokens/s）和显存占用（GB）。

快速上手

提供了一套工具，帮助处理各种类型的视觉输入，如base64、URL，以及交错的图像和视频。可以使用以下命令安装：

pip install qwen-vl-utils

使用该工具包，可以方便地加载模型、处理输入并生成输出。

限制

尽管Qwen2-VL在许多视觉任务上表现出色，但仍然存在一些局限性：

1. 不支持音频：目前不支持视频中的音频信息。
2. 数据时效性问题：图像数据集更新至2023年6月，之后的信息可能未被覆盖。
3. 识别特定个人或知识产权的能力有限。
4. 对复杂指令的处理能力不足。
5. 物体计数的准确性不高。
6. 空间推理能力不足，特别是在三维空间中。

这些限制为模型优化提供了明确的方向，我们将不断改善模型性能及其应用范围。

引用

如果觉得我们的工作对您有帮助，请随意引用我们的文章：

@article{Qwen2VL,
  title={Qwen2-VL: Enhancing Vision-Language Model's Perception of the World at Any Resolution},
  author={Wang, Peng and Bai, Shuai, Tan, Sinan, Wang, Shijie, Fan, Zhihao, Bai, Jinze, Chen, Keqin, Liu, Xuejing, Wang, Jialin, Ge, Wenbin, Fan, Yang, Dang, Kai, Du, Mengfei, Ren, Xuancheng, Men, Rui, Liu, Dayiheng, Zhou, Chang, Zhou, Jingren, Lin, Junyang},
  journal={arXiv preprint arXiv:2409.12191},
}