pix2struct

基于截图解析的视觉语言预训练模型

Pix2Struct 视觉语言理解预训练模型数据预处理实验运行 Github 开源项目

Pix2Struct是一个基于截图解析的视觉语言预训练模型。该模型可处理图像描述、图表问答和界面元素理解等多种任务。项目提供预训练的Base和Large模型检查点,以及9个下游任务的微调代码。Pix2Struct在多个视觉语言任务中表现优异,为相关研究提供了有力支持。

Github

论文

介绍相关项目

PixelLM - 像素级推理与理解的大型多模态模型

GithubMUSE数据集PixelLM像素级推理图像分割多模态大模型开源项目

PixelLM是一种创新的大型多模态模型，专注于像素级推理和理解。它能处理开放集目标和复杂推理任务，同时保持LMM的基本结构。通过轻量级像素解码器和分割码本，PixelLM实现高效mask生成。项目同时推出MUSE数据集，为多目标推理分割研究提供高质量基准。在多个基准测试中，PixelLM展现出优越性能。

pix2pix3D - 基于2D标签图的3D感知条件图像生成模型

3D生成模型Githubpix2pix3D开源项目条件图像合成神经辐射场语义标签

pix2pix3D是一个3D感知条件生成模型，可以根据2D标签图(如分割图或边缘图)生成逼真的3D对象图像。该模型结合神经辐射场技术，能从多个视角渲染图像。通过同步生成图像和对应的标签图，pix2pix3D实现了交互式3D编辑功能，为可控的3D感知图像合成开辟了新途径。

InstructCV - 自然语言指令引导的多任务计算机视觉模型

GithubInstructCV开源项目文本到图像生成深度学习生成扩散模型计算机视觉

InstructCV 项目通过指令调优的文本到图像扩散模型，简化了计算机视觉任务的执行方式。该项目将多个计算机视觉任务转化为文本描述的图像生成问题，并使用涵盖分割、物体检测、深度估计和分类等任务的数据集进行训练。利用大型语言模型生成任务提示，该模型从生成模型转变为指令引导的多任务视觉学习者。项目实现了多种环境配置，包括在Huggingface Spaces的Gradio演示和Google Colab的运行示例，并支持PyTorch 1.5+。

PixArt-XL-2-512x512 - 快速生成高分辨率图像的高效能模型

GithubHuggingfacePixart-α开源项目扩散模型文本到图像模型深度学习生成模型

PixArt-α是一个基于Transformer架构的文本到图像生成框架，能够从文本提示生成高分辨率图像，最高可达1024像素。相比于Stable Diffusion v1.5，其训练时间仅为10.8%，大幅降低成本与碳排放。用户偏好评估显示，PixArt-α在实现效率与图像质量方面表现卓越，适用于艺术创作、教育用途及生成模型研究。但需要注意的是，其在图像还原现实性和复杂任务的执行上尚有局限。查看其GitHub或arXiv以了解更多细节。

unstructured-inference - 非结构化数据布局解析工具支持多种检测模型

AI模型Githubunstructured布局解析开源工具开源项目文档处理

unstructured-inference 是一个专注于文档布局分析的开源项目。它能够从各种文件中提取文档结构和文本内容，适用于需要高效文档处理的场景。该项目提供多种检测模型，如 Detectron2 和 YOLOX，可通过 API 与 unstructured 包集成。它支持自定义模型，为开发者提供了灵活的布局解析解决方案。

RapidStructure - 全面文档图像处理与结构化解析工具集

GithubRapidStructure开源项目文档分析版面分析版面还原表格识别

RapidStructure是一个开源的文档图像处理工具集,提供文档方向分类、版面分析和表格识别等功能。该项目实现了从文档图像到结构化数据的完整处理流程,包括新增的版面还原功能。RapidStructure可与RapidOCR配合使用,支持Linux、Windows和Mac平台,兼容Python 3.6及以上版本。

sdxl-instructpix2pix-768 - 基于SDXL的指令式图像编辑模型

GithubHuggingfaceSDXL人工智能图像生成图像编辑开源项目模型深度学习

该项目将InstructPix2Pix方法应用于Stable Diffusion XL (SDXL)模型,开发了一个能够根据文本指令精确编辑图像的AI系统。它可以执行多种图像编辑任务,如改变天空景象、转换绘画风格和调整人物年龄等。项目通过diffusers库提供简便的使用接口。作为一个实验性模型,该项目仍有优化空间,开发者欢迎用户反馈和讨论。

blip-itm-large-flickr - 多任务视觉-语言理解与生成模型

BLIPGithubHuggingface图像-文本匹配图像描述开源项目机器学习模型语言-图像理解

BLIP是一个视觉-语言预训练框架，利用Flickr30k数据集提升图像-文本匹配性能。通过合成标题的生成与过滤机制，减少噪声数据对结果的影响。BLIP在多项任务上表现出色，包括图像-文本检索、图像标题生成和视觉问答，此外，还具备视频语言任务的泛化能力。该模型支持条件与无条件的图像标题生成，应用灵活多样。

Phi-3-vision-128k-instruct - 突破性视觉语言模型 128K上下文、多模态理解能力

GithubHuggingfacePhi-3-Vision-128K-Instruct图像理解多模态模型开源项目微软模型自然语言处理

Phi-3-vision-128k-instruct是一个开放式多模态模型,支持128K token的上下文处理。该模型通过文本和视觉数据集训练,在图像理解、OCR和图表分析等任务中表现优异。经过监督微调和偏好优化,模型具备精确的指令执行能力和安全性。作为Phi-3系列的成员,它适用于资源受限环境下的通用图像理解任务,为AI系统和应用提供支持。

XPretrain - 涵盖视频语言和图像语言模型的多模态学习与预训练研究

GithubXPretrain图像与语言多模态学习开源项目视频与语言预训练

Microsoft Research MSM组在多模态学习和预训练方法上的最新研究成果，包含用于视频语言的HD-VILA-100M数据集，以及HD-VILA、LF-VILA、CLIP-ViP等预训练模型，和用于图像语言的Pixel-BERT、SOHO、VisualParsing模型。这些研究发表在CVPR、NeurIPS和ICLR等顶级会议，代码和数据集已公开，社区成员可以贡献和提出建议。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com