#视觉语言预训练

该项目汇总了多模态模型、参数高效微调、视觉语言预训练和图像-文本匹配领域的研究进展。内容涵盖大语言模型、视频多模态模型等多个方向，定期更新最新论文和资源。项目为相关领域的研究人员和开发者提供了系统的学习参考。

AdvancedLiterateMachinery是一个致力于构建高级智能系统的开源项目，旨在赋予机器阅读、思考和创造能力。项目由阿里巴巴集团同义实验室的读光OCR团队维护，涵盖文本识别、文档理解和信息提取等领域。目前，项目专注于开发从图像和文档中读取信息的技术，包含OmniParser、GEM和DocXChain等创新模型，推动人工智能技术的发展。

blip-image-captioning-large是基于BLIP框架的图像描述模型,采用ViT大型骨干网络和COCO数据集预训练。它支持条件和无条件图像描述,在图像-文本检索、图像描述和视觉问答等任务中表现卓越。该模型具有出色的泛化能力,支持CPU和GPU(含半精度)推理,为图像理解和生成研究提供了有力工具。

blip-image-captioning-base是基于BLIP框架的图像描述生成模型，在COCO数据集上预训练。模型适用于条件和无条件图像描述任务，在图像-文本检索、图像描述和视觉问答等视觉语言任务中表现优异。它具有出色的泛化能力，可零样本迁移至视频语言任务。支持CPU和GPU运行，包括半精度模式，为开发者提供高效的图像描述生成工具。

BLIP是一种创新的视觉语言预训练框架，兼顾视觉语言理解和生成任务。它采用引导式方法处理网络噪声数据，在图像文本检索、图像描述和视觉问答等领域取得了领先成果。此外，BLIP具有优秀的泛化能力，可直接应用于视频语言任务。该模型为视觉语言的统一理解和生成奠定了坚实基础，推动了相关技术的发展。

BLIP是一个新型视觉-语言预训练框架，可同时应用于理解和生成任务。它通过引导式标注技术高效利用网络数据，在图像-文本检索、图像描述和视觉问答等任务中达到了领先水平。该模型还能零样本迁移到视频-语言任务，展现出强大的泛化能力。项目开源了代码、模型和数据集，为视觉-语言研究提供了宝贵资源。

TinyCLIP是一种创新的跨模态蒸馏方法，专门用于压缩大规模语言-图像预训练模型。该方法通过亲和力模仿和权重继承两项核心技术，有效利用大规模模型和预训练数据的优势。TinyCLIP在保持comparable零样本性能的同时，显著减少了模型参数，实现了速度和精度的最佳平衡。这一技术为高效部署CLIP模型提供了实用解决方案，在计算资源受限的场景下尤其有价值。

BLIP是一个创新的视觉语言预训练框架，通过引导式方法有效利用网络数据。该模型在图像-文本检索、图像描述和视觉问答等任务上表现出色，并能零样本迁移到视频-语言任务。BLIP不仅提高了视觉语言理解和生成的性能，还为这一领域的统一应用开创了新的可能性。