#图像文本生成

IDEFICS是基于开源数据开发的多模态文本生成模型，处理图像和文本输入并生成文字。模型可描述视觉内容、回答图像相关问题，性能接近于原闭源模型Flamingo。IDEFICS有80亿和9亿参数版本，通过微调增强在对话中的表现，建议优先使用增强版。

LLaVA-NeXT是基于LLaVA-1.5的改进版多模态AI模型。通过增加输入图像分辨率和优化视觉指令调优数据集，该模型显著提升了OCR和常识推理能力。它结合了预训练的大型语言模型和视觉编码器，适用于图像描述、视觉问答和多模态聊天机器人等任务。LLaVA-NeXT支持动态高分辨率处理，并采用多样化、高质量的数据混合方法，从而提供更精确和全面的图像理解。

PaliGemma是一个轻量级视觉语言模型,基于SigLIP视觉模型和Gemma语言模型构建。该模型可处理图像和文本输入并生成文本输出,支持多语言。PaliGemma在图像描述、视觉问答、文本识别等多种视觉语言任务中表现优异。经过大规模数据预训练后,可通过微调应用于特定视觉语言场景。

PaliGemma-3b-pt-448是一款结合SigLIP视觉模型和Gemma语言模型的多语言视觉语言模型。该模型支持图像和文本输入,生成文本输出,适用于图像描述、视觉问答和文本阅读等任务。在多项基准测试中表现优异,尤其擅长处理高分辨率图像。研究人员和开发者可将其作为预训练模型,用于微调各类视觉语言应用。

NVLM-D-72B模型NF4量化转换项目利用BitsAndBytes技术实现双重量化，旨在优化性能。目前纯文本处理表现出色，但图像处理功能仍需完善。项目优化了modeling_intern_vit.py文件，提高了量化模块兼容性。模型运行需48GB以上显存，遵循CC BY-NC 4.0许可。该项目为探索大型多模态模型量化提供了宝贵经验。