Github
Huggingface
论文VisualGLM-6B 项目介绍
项目背景
VisualGLM-6B 项目由智谱AI开发，是一个开源的多模态对话语言模型，可以同时支持图像处理和中文、英文对话。多模态技术的应用使其不仅能够理解和生成语言信息，还能够结合图像信息进行更为复杂的任务处理。
模型特点
VisualGLM-6B 模型总共有 78 亿参数，其中语言模型部分继承自 ChatGLM-6B，拥有 62 亿参数。通过训练 BLIP2-Qformer，这一模型架构能够有效地在视觉模型与语言模型之间架起桥梁，其视觉模块与语言模块共享 78 亿参数。这种设计使得 VisualGLM-6B 能够高效地处理图像文本混合的输入。
数据与训练
该模型利用了来自CogView的数据集，包含 3000 万条高质量中文图文对和 3 亿经过筛选的英文图文对进行预训练，确保中英文文本和视觉信息在语义空间上的良好对齐。通过微调，模型在视觉问答数据上进行了额外训练，以期生成符合人类偏好的回答。
技术应用
VisualGLM-6B 在训练时使用 SwissArmyTransformer 库（简称 sat），这是一种支持 transformer 灵活修改和训练的工具库。它支持多种参数高效微调方法（如 LoRA 和 P-tuning），并提供与 Huggingface 兼容的接口，让用户可在消费级显卡上进行本地部署。
部署方式
用户可以通过多种方式部署 VisualGLM-6B 模型。对于本地环境，用户可以利用量化技术在显存较低的显卡上执行模型推理。项目还提供了基于 Gradio 的网页 Demo 和 FastAPI 的 API 部署范例，方便在线版本的快速应用。
局限性与未来发展
虽然 VisualGLM-6B 在许多领域展现了潜力，但它仍有改进空间。目前版本在图像描述的准确性和中文 OCR 等方面存在一定的局限性。模型受概率随机性因素影响，可能出现不准确的输出，以及在多物体情况下的属性错配问题。
开源协议
VisualGLM-6B 项目以多元化的方式促进了社区的技术进步。虽以 Apache-2.0 协议开源，其模型权重的使用则需要遵循模型特定的授权协议。项目开发者希望用户在遵循开源协议的前提下使用，避免任何可能对社会或国家带来不良影响的用途。
总结
作为一个支持图像及双语对话的开源多模态对话模型，VisualGLM-6B 结合了顶级的技术框架和丰富的训练数据，在推动多模态人工智能应用的道路上迈出了积极的一步。在未来的版本中，该项目将持续优化，以克服现有局限性并带来更为完美的用户体验。
