MiniCPM-Llama3-V-2_5 - 手机端多模态大语言模型突破性进展：8B参数达GPT-4V水平

MiniCPM-Llama3-V-2_5项目介绍

MiniCPM-Llama3-V-2_5是一个先进的多模态大语言模型(MLLM)项目,它在移动设备上实现了接近GPT-4V水平的性能。这个项目由OpenBMB团队开发,具有以下几个突出特点:

领先的性能

尽管只有8B参数,MiniCPM-Llama3-V-2_5在OpenCompass综合评测中的11个流行基准测试上取得了65.1的平均分,超过了许多知名的专有模型,如GPT-4V-1106、Gemini Pro和Claude 3等。它在性能上大大超越了其他基于Llama 3的多模态大语言模型。

强大的OCR能力

该模型可以处理任意宽高比和高达180万像素(如1344x1344)的图像。它在OCRBench上获得了700多分的高分,超过了GPT-4V等专有模型。根据用户反馈,MiniCPM-Llama3-V-2_5在全文OCR提取、表格转Markdown等高实用性能力上有了进一步提升,同时增强了指令遵循和复杂推理能力。

可信的行为

利用最新的RLAIF-V方法,MiniCPM-Llama3-V-2_5展现出更可信的行为。在Object HalBench上,它的幻觉率仅为10.3%,低于GPT-4V-1106的13.6%,达到了开源社区的最佳水平。

多语言支持

得益于Llama 3强大的多语言能力和VisCPM的跨语言泛化技术,MiniCPM-Llama3-V-2_5将其双语(中英文)多模态能力扩展到了30多种语言,包括德语、法语、西班牙语、意大利语、韩语和日语等。

高效部署

该项目系统地采用了模型量化、CPU优化、NPU优化和编译优化,实现了在边缘设备上的高效部署。对于搭载高通芯片的手机,该项目首次将NPU加速框架QNN集成到llama.cpp中。经过系统优化,MiniCPM-Llama3-V-2_5在多模态大模型端侧图像编码上实现了150倍的加速,语言解码速度提高了3倍。

易于使用

MiniCPM-Llama3-V-2_5提供了多种便捷的使用方式,包括:

支持llama.cpp和ollama,用于本地设备上的高效CPU推理
16种尺寸的GGUF格式量化模型
仅需2张V100 GPU的高效LoRA微调
流式输出
使用Gradio和Streamlit快速搭建本地WebUI演示
在HuggingFace Spaces上的交互式演示

评估结果

在多项基准测试中,MiniCPM-Llama3-V-2_5展现出优异的性能,包括TextVQA、DocVQA、OCRBench、OpenCompass MultiModal等。在多语言LLaVA Bench评测中,该模型也表现出色。

部署与使用

MiniCPM-Llama3-V-2_5可以部署在移动设备上,项目提供了在小米14 Pro上的原始屏幕录制演示视频。用户可以通过Hugging Face Transformers在NVIDIA GPU上进行推理,也可以使用llama.cpp进行CPU推理。此外,还提供了int4量化版本,以支持在较低GPU内存(8GB)环境下使用。

总的来说,MiniCPM-Llama3-V-2_5项目为用户提供了一个强大、高效且易用的多模态大语言模型,可以在各种设备上实现接近GPT-4V水平的性能,具有广泛的应用前景。

</SOURCE_TEXT>