Project Icon

evf-sam2-multitask

创新视觉语言融合技术提升文本引导图像分割效果

EVF-SAM项目引入了早期视觉语言融合技术,旨在优化文本引导的图像分割任务。通过有效结合视觉与语言信息,该技术显著提升了分割的精确度和效率。项目提供了模型检查点,使用者可通过源代码中的'inference.py'文件了解具体应用方法。值得注意的是,当前版本需要从源代码直接导入模型脚本,尚不支持'AutoModel.from_pretrained(...)'功能。

LViT - 结合语言和视觉Transformer的医学图像分割技术
GithubLViTVision Transformer医学图像分割开源项目数据集深度学习
LViT是一种创新的医学图像分割方法,融合了语言信息和视觉Transformer。该技术在QaTa-COV19、MosMedData+和MoNuSeg等多个数据集上展现出优异性能,大幅提升了分割精度。项目包含完整代码实现、数据准备指南、训练评估流程及详细实验结果。除常规任务外,LViT在结肠息肉和食管CT等特定领域分割中也表现出色。
comfyui_segment_anything - 基于 GroundingDino 和 SAM,使用语义字符串来分割图像中的任何元素
ComfyUIGithubPython依赖segment下载开源项目模型
ComfyUI Segment Anything项目在ComfyUI框架下实现了核心功能,并提供详细的Python依赖安装指南和模型下载方式,确保与sd-webui-segment-anything一致。用户可以通过pip命令快速安装所需依赖,并自动或手动下载BERT、GroundingDino和SAM模型。如下载速度较慢,可设置代理加速。项目欢迎社区贡献,用户可以通过fork和pull request参与代码改进。
oneformer_ade20k_swin_tiny - 通过单一模型实现多任务图像分割的统一框架
GithubHuggingfaceOneFormer图像分割实例分割开源项目模型深度学习语义分割
OneFormer通过单一架构实现语义、实例和全景分割的统一处理。基于ADE20k数据集训练并采用Swin主干网络,这个紧凑型模型仅需一次训练即可完成多种图像分割任务。其独特的任务令牌机制实现了训练引导和推理动态化,为图像分割领域提供了高效的解决方案。
ELLA - 大语言模型辅助扩散模型实现增强语义对齐
ELLAEMMAGithub多模态技术开源项目文本生成图像语义对齐
ELLA项目将大语言模型与扩散模型结合,提高了图像生成的语义对齐能力。通过LLM注释的合成标题训练,ELLA实现了更准确的文本到图像转换。项目提供DPG-Bench评估基准和ComfyUI插件,并开发了支持多模态输入的EMMA模型。这些创新为图像生成领域开辟了新途径,展现了语言模型与扩散模型融合的应用前景。
oneformer_ade20k_dinat_large - OneFormer单一模型在多任务图像分割中实现卓越表现
ADE20kGithubHuggingfaceOneFormer图像分割实例分割开源项目模型语义分割
OneFormer模型借助单一架构和模块在ADE20k数据集上进行训练,适用于语义、实例和全景分割。通过使用任务令牌,该模型能够动态调整以满足不同任务要求,不仅显著优化了分割效果,还具备替代专门化模型的潜力。
Open-MAGVIT2 - 自回归视觉生成新突破 大幅提升图像分词性能
GithubOpen-MAGVIT2图像分词器大规模词表开源项目自回归模型视觉生成
Open-MAGVIT2是一个创新的自回归视觉生成项目,采用无查找技术和262144大小的码本,克服了VQGAN的局限性。该项目用PyTorch重新实现MAGVIT2分词器,在图像分词方面取得显著进展,8倍下采样时rFID达到0.39。项目致力于推动自回归视觉生成领域发展,目前处于积极开发阶段,未来计划拓展至视频生成领域。
CogVLM - 开源视觉语言模型,提升图像理解与跨模态对话功能
CogAgentCogVLMGithub图像理解多回合对话开源项目跨模态基准测试
CogVLM和CogAgent是领先的开源视觉语言模型,专注于图像理解和跨模态任务。CogVLM-17B拥有100亿视觉参数和70亿语言参数,并在NoCaps、Flicker30k等十个经典跨模态基准测试上表现出色。CogAgent在CogVLM的基础上改进,增添了GUI图像代理能力,支持1120*1120分辨率的图像理解,并在VQAv2、TextVQA等九个基准测试中表现优秀。该项目提供详细的技术文档、示例代码和Web演示,用户可以方便地进行模型推理和微调。了解更多信息,请访问项目主页。
cogvlm-chat-hf - 开源视觉语言模型CogVLM在多项跨模态基准测试中超越PaLI-X 55B
CogVLMGithubHuggingface图像识别多模态开源开源项目模型视觉语言模型
CogVLM是一款开源视觉语言模型,具有100亿视觉参数和70亿语言参数。在NoCaps、Flicker30k等10个经典跨模态基准测试中,CogVLM实现了最先进的性能,部分超越PaLI-X 55B。其架构包括视觉变换器编码器、MLP适配器、预训练语言模型和视觉专家模块。CogVLM能进行多模态对话,适用于图像描述和视觉问答等任务。该模型对学术研究开放,经登记后可免费用于商业用途。
LISA - 通过大型语言模型进行推理分割的技术
GithubLISA分割掩码多模态大语言模型开源项目推理分割
LISA凭借其多模态大型语言模型,开创推理分割任务,能够将复杂文本问题转化为精准的图像分割结果。该项目不仅包含超千个图像指令对、综合推理及世界知识评估,还展示出在无需推理的数据集训练下的强大零样本能力。推理训练图片指令对的引入进一步强化了其性能。详情请参阅相关论文。
XMem2 - 少量标注实现高精度视频分割的开源工具
GithubXMem++交互式标注人工智能开源项目视频分割计算机视觉
XMem2是一个开源的交互式视频分割工具,通过永久记忆模块和创新帧选择算法,只需少量标注即可实现高质量分割。它能以30+ FPS的速度处理物体部件、流体、可变形物体等复杂场景。XMem2提供改进的GUI和Python接口,适用于电影制作等领域。项目还包含PUMaVOS数据集,涵盖23个具挑战性的视频分割场景。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号