Project Icon

pytorch_mgie

多模态大语言模型驱动的图像编辑指导系统

pytorch_mgie是一个基于多模态大语言模型的图像编辑指导系统,采用Apple开源的ml-mgie技术。该项目通过自然语言指令实现图像编辑,并提供Gradio演示界面展示LLaVA-7B模型在图像编辑任务中的应用。项目包含预训练模型和环境配置指南,为研究和开发提供了实验平台。

sige - 提升图像编辑效率的空间增量生成引擎
GithubSIGE卷积优化图像编辑开源项目深度学习生成模型
SIGE是一种空间增量生成引擎,通过在编辑区域选择性执行计算来提高图像编辑效率。这种方法显著减少了条件生成对抗网络和扩散模型的计算量和延迟,同时保持了图像质量。SIGE对DDPM、Stable Diffusion和GauGAN等模型的性能提升明显,在NeurIPS 2022发表,并开源了代码和基准数据集。
MGM - 多模态视觉语言模型的潜力挖掘与创新
AI绘图GithubMini-Gemini图像理解多模态视觉语言模型大语言模型开源项目
Mini-Gemini项目探索多模态视觉语言模型的新可能。该项目支持2B至34B规模的大语言模型,实现图像理解、推理和生成功能。基于LLaVA构建的Mini-Gemini提供完整资源,包括预训练权重、数据集和评估基准。通过双视觉编码器和patch信息挖掘等技术创新,Mini-Gemini实现了文本与图像的深度融合。
instruct-pix2pix - 基于文本指令的智能图像编辑深度学习模型
AI绘图GithubHuggingfaceInstructPix2PixStable Diffusion图像编辑开源项目模型深度学习
InstructPix2Pix是一个基于Stable Diffusion技术的深度学习模型,能够根据文本指令编辑图像。该模型可以理解并执行多种复杂的图像编辑任务,用户只需提供原始图片和文字编辑指令,即可生成符合要求的新图像。这项技术简化了复杂图像处理流程,为图像编辑和创意设计领域提供了新的可能性。
multimodal-maestro - 多模态AI模型控制与高效提示策略框架
AI提示GithubMultimodal-MaestroPython图像处理大型多模态模型开源项目
multimodal-maestro是一个开源框架,旨在增强对大型多模态AI模型的控制能力。该项目提供先进的提示策略,使模型能够执行复杂的视觉理解任务。支持图像标注、掩码生成等功能,并具有简洁的API设计。multimodal-maestro能够充分发挥GPT-4V等多模态模型的潜力,实现更精准的视觉分析和处理。
GLIGEN - 开放式条件引导的文本到图像生成模型
GLIGENGithub人工智能开源项目文本到图像生成深度学习计算机视觉
GLIGEN是一个创新的开放式条件引导文本到图像生成模型。它扩展了冻结文本到图像模型的功能,支持框、关键点和图像等多种引导条件。在COCO和LVIS数据集的零样本测试中,GLIGEN大幅超越了现有的有监督布局到图像生成基线。这项技术在开放世界场景下的应用前景广阔,同时也需关注其局限性和伦理影响。
MG-LLaVA - 融合多粒度视觉特征的大语言模型
GithubMG-LLaVA多模态大语言模型多粒度视觉指令调优开源项目性能提升视觉处理
MG-LLaVA是一种创新的多模态大语言模型,通过整合低分辨率、高分辨率和物体中心特征,显著提升了视觉处理能力。模型引入高分辨率视觉编码器捕捉细节,并利用Conv-Gate网络融合视觉特征。同时集成离线检测器的物体级特征,增强了物体识别能力。仅基于公开多模态数据进行指令微调,MG-LLaVA在多项基准测试中展现出优异的感知表现。
Lumina-mGPT-7B-768 - 自回归多模态模型在图像生成和语言任务中的应用
GithubHuggingfaceLumina-mGPT图像生成多模态开源项目文本描述模型自动回归模型
Lumina-mGPT是一组多模态自回归模型,专注于视觉和语言任务,尤其在从文本描述生成逼真的图像方面表现出色。GitHub上的实现和示例代码让用户可以轻松探索和应用其能力。
DesignEdit - 基于多层潜在表示的统一精准图像编辑框架
DesignEditGithubStable Diffusion人工智能图像编辑多层潜在分解开源项目
DesignEdit是一个创新图像编辑项目,采用多层潜在表示技术实现统一精准的编辑功能。支持对象移除、缩放、平移、移动、调整大小和翻转等操作,还可进行跨图像合成和排版重设。基于Stable Diffusion XL 1.0实现,无需额外训练即可使用。项目提供Gradio交互界面,简化了复杂的图像编辑过程。这个开源项目展示了AI在图像编辑领域的应用前景。
PortraitGen-code - 肖像视频编辑技术,结合多模态生成模型
3D重建GithubPortraitGen多模态生成开源项目视频编辑风格迁移
这个项目实现了一种创新的肖像视频编辑方法,采用多模态生成模型来实现统一且高表达力的风格转换,能够处理单目RGB视频中的文本和图像驱动的高质量编辑以及光照调整,从而提高面部结构呈现的质量。
Lumina-mGPT - 多模态AI模型实现文本到图像的灵活生成
GithubLumina-mGPT人工智能图像生成多模态开源项目自回归模型
Lumina-mGPT是一个多模态自回归模型系列,适用于多种视觉和语言任务。这个开源项目特别擅长将文本描述转化为逼真图像,提供7B和34B两种参数规模的模型,以及多种图像分辨率选项。除图像生成外,Lumina-mGPT还支持图像理解和全能型任务,为AI研究和应用开发提供了灵活的工具。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号