VisualGLM-6B: 开源多模态对话语言模型的新突破

VisualGLM-6B:开启多模态AI对话新纪元

在人工智能快速发展的今天,多模态对话模型正成为研究的热点。近日,清华大学知识工程实验室(THUDM)推出了一款名为VisualGLM-6B的开源多模态对话语言模型,引起了广泛关注。本文将深入介绍VisualGLM-6B的特点、使用方法、局限性等内容,帮助读者全面了解这一创新模型。

模型概述

VisualGLM-6B是一个开源的、支持图像、中文和英文的多模态对话语言模型。该模型的语言部分基于ChatGLM-6B,拥有62亿参数;图像部分则通过训练BLIP2-Qformer构建了视觉模型与语言模型之间的桥梁,整体模型共有78亿参数。

VisualGLM-6B示例图

VisualGLM-6B在训练过程中使用了来自CogView数据集的3000万高质量中文图文对,以及3亿经过筛选的英文图文对,中英文权重相同。这种训练方式很好地将视觉信息对齐到了ChatGLM的语义空间。在后续的微调阶段,模型还在长视觉问答数据上进行了训练,以生成更符合人类偏好的答案。

主要特点

多模态支持:VisualGLM-6B不仅支持文本输入,还能处理图像信息,实现图文结合的对话交互。
双语能力:模型同时支持中文和英文,满足不同语言背景用户的需求。
开源可用:项目代码和模型权重均已开源,方便研究者和开发者使用和改进。
轻量级部署:通过模型量化技术,用户可以在消费级显卡上进行本地部署,最低只需6.3G显存。
灵活性强:模型基于SwissArmyTransformer库训练,支持Lora、P-tuning等参数高效微调方法。

使用方法

VisualGLM-6B提供了多种使用方式,包括命令行demo、网页版demo和API部署等。以下是使用Hugging Face transformers库调用模型的示例代码:

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("THUDM/visualglm-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/visualglm-6b", trust_remote_code=True).half().cuda()

image_path = "your image path"
response, history = model.chat(tokenizer, image_path, "描述这张图片。", history=[])  
print(response)

除了基本的使用外,VisualGLM-6B还支持模型量化和微调。用户可以根据自己的硬件条件选择不同的量化级别,也可以通过提供的微调脚本对模型进行定制化训练。