Project Icon

seemore

PyTorch实现的开源视觉语言模型项目

seemore是一个基于PyTorch的开源视觉语言模型(VLM)项目。它包括图像编码器、视觉-语言投影器和解码器三个核心组件,参考了CLIP和LLaVA等前沿VLM架构。项目提供完整代码实现和详细教程,有助于开发者理解VLM原理。seemore在Databricks平台开发,支持GPU加速,并集成MLFlow用于实验管理。

seemore


使用 Databricks 开发,充满❤️

使用 Pytorch 从零开始构建视觉语言模型

更新:

介绍如何创建基于稀疏混合专家的视觉语言模型的博客:https://huggingface.co/blog/AviSoori1x/seemoe 你可以将其视为一个简化版的 Grok 1.5/GPT-4 Vision,从零开始,仅使用一个 PyTorch 文件实现。整合后的实现在 seeMoE.py 中。笔记本文件是 seeMoE_from_scratch.ipynb

-----------

详细介绍这个项目的博客:https://avisoori1x.github.io/2024/04/22/seemore-_Implement_a_Vision_Language_Model_from_Scratch.html

https://huggingface.co/blog/AviSoori1x/seemore-vision-language-model

在这个简单的视觉语言模型(VLM)实现中,有3个主要组成部分。

  1. 图像编码器,用于从图像中提取视觉特征。在这个案例中,我使用了从零开始实现的原始 CLIP 中的视觉 Transformer。这实际上是许多现代 VLM 中的常见选择。一个值得注意的例外是 Adept 的 Fuyu 系列模型,它直接将分块的图像传递给投影层。

  2. 视觉-语言投影器 - 图像嵌入的形状与解码器使用的文本嵌入不同。因此,我们需要"投影",即改变图像编码器提取的图像特征的维度,以匹配文本嵌入空间中观察到的维度。这样,图像特征就变成了解码器的"视觉令牌"。这可以是单层或多层感知器(MLP)。我使用了 MLP,因为它值得展示。

  3. 仅解码器的语言模型。这是最终生成文本的组件。在我的实现中,我稍微偏离了你在 LLaVA 等模型中看到的做法,将投影模块整合到了解码器中。通常不会这样做,而是保持解码器的架构(通常是一个已经预训练的模型)不变。

缩放点积自注意力的实现借鉴了 Andrej Kapathy 的 makemore(https://github.com/karpathy/makemore)。此外,解码器是一个自回归的字符级语言模型,就像 makemore 一样。现在你明白'seemore'这个名字的由来了 :)

所有内容都是使用 PyTorch 从头开始编写的。这包括注意力机制(视觉编码器和语言解码器都有)、视觉 Transformer 的图像分块创建以及其他所有内容。希望这对任何浏览这个仓库和/或相关博客的人有所帮助。

这个实现主要参考的出版物:

seemore.py 是整个实现的单个 PyTorch 文件。

seemore_from_Scratch.ipynb 详细介绍了整个模型架构的直观理解以及各部分如何组合在一起。我建议从这里开始。

seemore_Concise.ipynb 是整合后的可修改实现,我鼓励你修改、理解、改进并使之成为你自己的版本。

input.txt 包含 tinyshakespear 的内容,base64 编码的字符串表示及其对应的描述在 images 目录下的 inputs.csv 文件中。

modules 子目录包含每个组件的单独 .py 文件,方便使用(如果你选择单独修改部分内容或将其用于自己的项目等)。

这段代码完全是在 Databricks 上使用单个 A100 GPU 开发的。如果你在 Databricks 上运行此代码,你可以在你选择的云提供商上,使用任意大小的 GPU 集群轻松扩展,而不会出现任何问题。

我选择使用 MLFlow(Databricks 预装的工具,它是完全开源的,你可以在其他地方轻松使用 pip 安装),因为我发现它对跟踪和记录所有必要的指标很有帮助。这是完全可选的,但建议使用。

请注意,这个实现强调的是可读性和可修改性,而不是性能,所以有很多方法可以改进它。请尝试并告诉我你的想法!

希望你觉得这个项目有用。祝编码愉快!!

项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能,包括文生视频、动态画面和形象生成等,帮助用户快速上手,创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台,用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品,帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型,为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能,满足事务性工作的高频需求,帮助撰稿人节省精力,提高效率,优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号