VisCPM: 基于CPM的中英双语多模态大模型

VisCPM是由清华大学自然语言处理实验室、面壁智能和知乎联合开发的一个开源多模态大模型系列。该系列模型支持中英双语的多模态对话能力(VisCPM-Chat模型)和文到图生成能力(VisCPM-Paint模型),在中文多模态开源模型中达到了最佳水平。

模型特点

VisCPM具有以下几个主要特点:

开源使用:VisCPM可以自由用于个人和研究用途,推动了多模态大模型开源社区和相关研究的发展。
涵盖图文双向生成:VisCPM模型系列较为全面地支持了图文多模态能力,包括多模态对话(图到文生成)和文到图生成。
中英双语性能优异:得益于语言模型基座CPM-Bee优秀的双语能力,VisCPM在中英双语的多模态对话和文到图生成均取得了亮眼的效果。

模型架构

VisCPM基于百亿参数量语言大模型CPM-Bee(10B)训练而成,融合了视觉编码器Muffin和视觉解码器Diffusion-UNet,以支持视觉信号的输入和输出。得益于CPM-Bee基座优秀的双语能力,VisCPM可以仅通过英文多模态数据预训练,就能泛化实现优秀的中文多模态能力。

VisCPM模型架构

VisCPM-Chat

VisCPM-Chat支持面向图像进行中英双语多模态对话。该模型使用Muffin视觉编码架构,使用CPM-Bee(10B)作为语言基座模型,并通过语言建模训练目标融合视觉和语言模型。模型训练包括预训练和指令精调两个阶段:

预训练:使用约100M高质量英文图文对数据进行预训练,包括CC3M、CC12M、COCO、Visual Genome、Laion等数据集。在此阶段,语言模型参数保持固定,仅更新视觉编码器的参数,以支持大规模视觉-语言表示的高效对齐。
指令精调:采用LLaVA-150K英文指令精调数据,并混合相应翻译后的中文数据对模型进行指令精调,以对齐模型多模态基础能力和用户使用意图。在此阶段更新全部模型参数,以提升指令精调数据的利用效率。

有趣的是,研究人员发现即使仅采用英文指令数据进行指令精调,模型也可以理解中文问题,但仅能用英文回答。这表明模型的多语言多模态能力已经得到良好的泛化。在指令精调阶段进一步加入少量中文翻译数据,可以将模型回复语言和用户问题语言对齐。

VisCPM-Chat在LLaVA标准英文测试集和翻译的中文测试集上进行了评测,该评测基准考察模型在开放域对话、图像细节描述、复杂推理方面的表现,并使用GPT-4进行打分。评测结果显示,VisCPM-Chat在中文多模态能力方面取得了最佳的平均性能,在通用域对话和复杂推理表现出色,同时也表现出了不错的英文多模态能力。

目前提供了两个模型版本:

VisCPM-Chat-balance:中英文能力较为平衡的多模态对话模型
VisCPM-Chat-zhplus:中文能力突出的多模态对话模型

两个模型在指令精调阶段使用的数据相同,VisCPM-Chat-zhplus在预训练阶段额外加入了20M清洗后的原生中文图文对数据和120M翻译到中文的图文对数据。

此外,还发布了VisCPM-Chat-v1.1版本,在指令精调阶段额外加入了UniMM-Chat多模态指令精调数据集,进一步强化了细节理解和复杂推理能力。

下面是VisCPM-Chat的一个使用示例:

VisCPM-Chat示例

from VisCPM import VisCPMChat
from PIL import Image

model_path = '/path/to/checkpoint'
viscpm_chat = VisCPMChat(model_path, image_safety_checker=True)
# 默认开启对输入图片的安全检查
image_path = 'figures/vlu_case1.png'
image = Image.open(image_path).convert("RGB")

question = '如果用一句中国唐代的著名诗人"李白"的古诗来描述这幅图像,你能想到什么？'
answer, _, _ = viscpm_chat.chat(image, question)

print(answer)

输出结果:

"黄河之水天上来，奔流到海不复回。" 李白的这句诗可以用来形容这幅图片中汹涌澎湃、波涛汹涌的景象：一条湍急的河流从山上奔腾而下,形成了一幅令人叹为观止的画面,展示出大自然的力量和雄伟壮丽。

VisCPM-Paint

VisCPM-Paint支持中英双语的文到图生成。该模型使用CPM-Bee(10B)作为文本编码器,使用UNet作为图像解码器,并通过扩散模型训练目标融合语言和视觉模型。在训练过程中,语言模型参数始终保持固定。研究人员使用Stable Diffusion 2.1的UNet参数初始化视觉解码器,并通过逐步解冻其中关键的桥接参数将其与语言模型融合。该模型在LAION 2B英文图文对数据上进行了训练。

与VisCPM-Chat类似,得益于CPM-Bee的双语能力,VisCPM-Paint可以仅通过英文图文对训练,就能泛化实现良好的中文文到图生成能力,达到中文开源模型的最佳效果。通过进一步加入20M清洗后的原生中文图文对数据,以及120M翻译到中文的图文对数据,模型的中文文到图生成能力可以获得进一步提升。

研究人员在标准图像生成测试集MSCOCO上采样了3万张图片,计算了常用评估图像生成指标FID (Fréchet Inception Distance)评估生成图片的质量。评测结果显示,VisCPM-Paint在中文文到图生成任务上达到了最佳效果。

同样提供了两个模型版本:

VisCPM-Paint-balance:中英文能力较为平衡的文生图模型
VisCPM-Paint-zhplus:中文能力突出的文生图模型

VisCPM-Paint-balance只使用了英文图文对进行训练,VisCPM-Paint-zhplus在VisCPM-Paint-balance基础上增加了20M原生中文图文对数据和120M翻译到中文的图文对数据进行训练。

下面是VisCPM-Paint的一个使用示例:

VisCPM-Paint示例

from VisCPM import VisCPMPaint

painter = VisCPMPaint('/path/to/checkpoint', image_safety_checker=True, prompt_safety_checker=True, add_ranker=True) 
# 默认对输入的文本和输出的图片进行安全检查,默认开启重排序
image = painter.generate('人闲桂花落,月静春山空') # 对应上图第一行第二张图片
image.save('/data/test.png')

安装与使用

git clone https://github.com/OpenBMB/VisCPM.git
cd VisCPM

创建conda环境:

conda create -n viscpm python=3.10 -y
conda activate viscpm

安装依赖:

pip install torch>=1.10
pip install -r requirements.txt

下载模型权重并使用

VisCPM需要单卡40GB以上的GPU运行。为了支持更加高效的低资源推理场景,研究人员借助BMInf工具支持更低的显存需求。首先安装BMInf依赖pip install bminf,然后在命令行中指定export CUDA_MEMORY_CPMBEE_MAX=1g(具体数值可以根据个人需求设定),然后按照上述步骤进行推理,VisCPM-Chat最低显存占用可以降至5G,VisCPM-Paint最低显存占用可以降至17G。

此外,研究人员还提供了简易的基于gradio的网页版Demo,可以通过以下命令部署:

pip install gradio
git clone https://github.com/OpenBMB/VisCPM.git
cd VisCPM
python demo_chat.py # viscpm_chat demo, or
python demo_paint.py # viscpm_paint demo

模型微调

为适应特定场景下的需求,研究人员提供了VisCPM-Chat模型的微调代码,用户可以在私有数据上进行微调。微调代码位于./finetune/ft_viscpm_chat目录下,具体的微调代码使用方法如下:

# 获取数据集
bash ./finetune/ft_viscpm_chat/get_llava150k_zh.sh
# 模型微调, 注意修改其中的数据集与模型checkpoint路径
bash ./finetune/ft_viscpm_chat/run_viscpm_chat_ft.sh
# node: 8
# batch_size: 8 * 1
# 其他配置可参考'./finetune/ft_viscpm_chat/config/viscpm_chat_ft.json'与'./finetune/ft_viscpm_chat/run_viscpm_chat_ft.sh'