#ColPali

ColPali是一个基于视觉语言模型的文档检索系统。该项目整合了ColBERT检索器模型、大型语言模型和图像语言模型，实现高效的文档搜索功能。ColPali支持自定义训练，安装和使用简便，适用于多种文档检索场景。系统能同时处理文本和图像信息，提供准确全面的检索结果。

ColPali是一个基于PaliGemma-3B的文档检索模型，结合了ColBERT策略生成文本和图像的多向量表示。该模型将SigLIP的图像块嵌入输入到语言模型中，实现文本与图像的深度交互，从而提升检索效果。尽管主要在英语数据集上训练，ColPali展现出对其他语言的零样本泛化能力。这一创新设计为多模态文档检索领域带来了新的技术方案。