Logo

SAM-HQ: 高质量分割一切的新时代

SAMHQ-SAM零样本分割高质量分割prompt分割Github开源项目

SAM-HQ简介

SAM-HQ(Segment Anything in High Quality)是由ETH Zurich和HKUST的研究人员在2023年提出的一个高质量零样本分割模型。它在原有SAM模型的基础上进行了改进,旨在解决SAM在处理复杂结构物体时分割质量不佳的问题。

SAM-HQ的主要创新点包括:

  1. 引入了可学习的高质量输出令牌(High-Quality Output Token),注入到SAM的mask解码器中。
  2. 将mask解码器特征与早期和最终的ViT特征进行融合,以获得更精细的mask细节。
  3. 仅使用44K张精细标注的mask进行训练,耗时4小时即可完成。
  4. 保持了SAM的原有优势,如灵活的提示方式、高效率和零样本泛化能力。

通过这些改进,SAM-HQ能够更准确地分割任何物体,尤其是在处理具有复杂结构的对象时表现出色。

SAM-HQ的技术原理

1. 高质量输出令牌

SAM-HQ的核心创新是引入了一个可学习的高质量输出令牌。这个令牌被注入到SAM的mask解码器中,负责预测高质量的mask。与直接在mask解码器特征上应用不同,SAM-HQ首先将这些特征与早期和最终的ViT特征进行融合,从而获得更丰富的mask细节。

2. 特征融合

SAM-HQ采用了一种巧妙的特征融合策略。它不仅利用了mask解码器的特征,还融合了来自视觉transformer(ViT)的早期和最终特征。这种多层次的特征融合使得模型能够捕捉到更多的细节信息,从而生成更精确的分割mask。

3. 轻量级设计

尽管引入了新的组件,SAM-HQ的设计仍然保持了轻量级。它复用并保留了SAM的预训练模型权重,只引入了少量的额外参数和计算。这种设计使得SAM-HQ能够在保持高效性的同时,显著提升分割质量。

4. 高效训练策略

SAM-HQ的训练数据集由来自多个来源的44K张精细标注的mask组成。尽管数据量相对较小,但通过精心设计的训练策略,SAM-HQ仅需4小时在8个GPU上即可完成训练。这种高效的训练方式大大降低了模型的开发和部署成本。

SAM-HQ框架图

SAM-HQ与SAM的性能对比

为了直观地展示SAM-HQ的优势,研究人员进行了详细的性能对比实验。以下是SAM-HQ与原始SAM在多个数据集和任务上的表现对比:

1. COCO数据集上的表现

在COCO数据集上,SAM-HQ在各种ViT backbone下都显著优于SAM:

  • ViT-B: SAM-HQ的AP达到38.9,比SAM提高了1.4个点。
  • ViT-L: SAM-HQ的AP达到44.3,比SAM提高了1.7个点。
  • ViT-H: SAM-HQ的AP达到46.3,比SAM提高了1.6个点。

这些结果表明,无论是在小型还是大型模型上,SAM-HQ都能带来显著的性能提升。

2. 视频分割任务

在YTVIS和HQ-YTVIS视频分割数据集上,SAM-HQ同样表现出色:

  • YTVIS: SAM-HQ的AP达到44.6,比SAM高2.0个点。
  • HQ-YTVIS: SAM-HQ的AP达到44.7,比SAM高2.3个点。

这说明SAM-HQ在处理视频序列时也具有优势,能够生成更连贯和精确的分割结果。

3. DAVIS数据集

在DAVIS数据集上,SAM-HQ在多个指标上都优于SAM:

  • J&F Mean: SAM-HQ达到78.8,比SAM高1.8个点。
  • J Mean: SAM-HQ达到76.1,比SAM高1.7个点。
  • F Mean: SAM-HQ达到81.5,比SAM高1.9个点。

这些结果进一步证明了SAM-HQ在处理复杂场景和动态物体时的优越性。

SAM vs SAM-HQ视觉对比

SAM-HQ的应用前景

SAM-HQ的出色性能为许多计算机视觉任务带来了新的可能性:

  1. 自动驾驶: SAM-HQ可以更精确地分割道路、行人和其他车辆,提高自动驾驶系统的安全性。

  2. 医疗图像分析: 在医疗领域,SAM-HQ可以帮助更准确地分割器官、肿瘤等复杂结构,辅助医生进行诊断。

  3. 增强现实(AR): SAM-HQ可以为AR应用提供更精确的物体分割,实现更自然的虚拟物体插入。

  4. 视频编辑: 在视频后期制作中,SAM-HQ可以帮助实现更精细的物体追踪和分割,提高特效质量。

  5. 遥感图像分析: SAM-HQ在处理复杂地形和建筑时表现出色,可以应用于卫星图像分析和城市规划。

  6. 工业检测: 在制造业中,SAM-HQ可以用于精确检测产品缺陷,提高质量控制的效率。

SAM-HQ的使用方法

SAM-HQ的使用非常简便,与原始SAM模型类似。以下是使用SAM-HQ的基本步骤:

  1. 安装SAM-HQ:
pip install segment-anything-hq
  1. 加载模型:
from segment_anything_hq import sam_model_registry
model_type = "vit_h"  # 可选 vit_l, vit_b, vit_h, vit_tiny
sam_checkpoint = "path/to/sam_hq_vit_h.pth"
sam = sam_model_registry[model_type](checkpoint=sam_checkpoint)
  1. 使用模型进行预测:
from segment_anything import SamPredictor
predictor = SamPredictor(sam)
predictor.set_image(your_image)
masks, _, _ = predictor.predict(input_prompts)

SAM-HQ支持多种提示方式,包括点、框和文本提示,使用灵活方便。

SAM-HQ的未来发展

尽管SAM-HQ已经取得了显著的进展,但研究人员仍在不断探索其潜力和改进方向:

  1. 更高效的backbone: 研究人员正在开发更轻量级的backbone,如Light HQ-SAM,以实现更快的推理速度。

  2. 多模态集成: 未来可能会探索将SAM-HQ与语言模型、3D模型等结合,实现更智能的场景理解。

  3. 领域特定优化: 针对医疗、遥感等特定领域,可能会开发专门优化的SAM-HQ版本。

  4. 实时应用: 进一步优化SAM-HQ的推理速度,使其能够在实时应用中发挥作用。

  5. 自监督学习: 探索使用更大规模的无标注数据来进一步提升SAM-HQ的性能。

结论

SAM-HQ代表了计算机视觉领域零样本分割任务的最新进展。通过巧妙的设计和高效的训练策略,SAM-HQ在保持SAM原有优势的同时,显著提升了分割质量。这一突破为众多应用领域带来了新的可能性,也为未来的研究指明了方向。随着技术的不断发展,我们有理由相信,SAM-HQ将在计算机视觉领域发挥越来越重要的作用,推动人工智能技术在更多领域的应用和创新。

相关项目

Project Cover
EdgeSAM
EdgeSAM通过优化的Prompt-In-the-Loop蒸馏方法，为边缘设备提供高效的分割模型。相较于原始SAM，EdgeSAM在速度上提升了40倍，并在iPhone 14上实现了超过30帧每秒的性能。此外，EdgeSAM在COCO和LVIS数据集上的mIoUs分别提升了2.3和3.2，性能优于MobileSAM。该项目支持ONNX和CoreML平台，并已经集成到多个开源工具中。用户还可以通过iOS App方便地使用EdgeSAM。
Project Cover
RADIO
AM-RADIO是一个将多个大型视觉基础模型蒸馏为单一模型的框架。其核心产物RADIO作为新一代视觉基础模型,在多个视觉任务中表现优异,可作为通用视觉骨干网络使用。RADIO通过蒸馏整合了CLIP、DINOv2和SAM等模型,保留了文本定位和分割对应等特性。在ImageNet零样本分类、kNN和线性探测分割等任务上,RADIO超越了教师模型,同时提升了视觉语言模型的性能。此外,RADIO支持任意分辨率和非方形图像输入,并提供了名为E-RADIO的高效变体。
Project Cover
sam-hq
SAM-HQ是对原始SAM模型的改进版本，专注于提高零样本图像分割的质量。该模型保留了SAM的灵活提示和泛化能力，同时通过引入可学习的高质量输出标记和特征融合策略，显著提升了分割效果，特别是对于复杂结构的物体。SAM-HQ仅增加少量参数就实现了性能的大幅提升。在9个不同领域的数据集测试中，SAM-HQ在各类下游任务中均表现优于原始SAM模型。
Project Cover
sam
SAM-js是1982年Commodore C64平台上SAM (Software Automatic Mouth)文本转语音软件的JavaScript移植版。该项目保留了原版低内存占用和小文件体积的特点，提供文本到音素转换和语音输出功能。通过简单API，开发者可实现语音播放、波形文件下载和音频缓冲区生成，为现代Web应用轻松添加复古风格的语音合成能力。SAM-js项目基于C语言版本改编，使用纯JavaScript实现，避免了Emscripten转换，实现了更小的文件体积。它适用于需要复古语音效果的Web游戏、教育应用或交互式网站，为开发者提供了一个独特的、低资源消耗的语音合成解决方案。
Project Cover
SAM4MIS
SAM4MIS项目综述了Segment Anything Model (SAM)和SAM2在医学图像分割领域的应用进展。该项目涵盖了从经验评估到方法改进的全面研究成果,为医学图像分割提供了最新见解。通过持续跟踪和汇总SAM相关研究,SAM4MIS为医学图像分析研究提供了重要参考,促进了该领域技术的创新。
Project Cover
pytorch-dnc
这个PyTorch库实现了差分神经计算机(DNC)、稀疏访问存储器(SAM)和稀疏差分神经计算机(SDNC)等模型。它提供灵活API用于构建和训练这些神经网络,支持多层控制器、共享内存等配置。库中还包含复制和加法等基准任务,以及内存可视化功能,有助于开发和评估基于外部存储的神经网络模型。
Project Cover
SegmentAnythingin3D
SA3D是一个创新的三维目标分割框架，基于神经辐射场(NeRF)模型。它允许用户通过单一视图的手动提示，快速获取目标对象的3D分割结果。SA3D支持点提示和文本提示输入，处理时间约为2分钟。该框架在建筑、室内场景和复杂物体等多种应用场景中展现了良好的适应性，为3D场景感知和虚拟现实内容创作提供了新的可能。项目还包含直观的图形界面，便于研究人员和开发者进行快速实验和应用开发。
Project Cover
segment-lidar
segment-lidar是一个用于航空LiDAR数据无监督实例分割的Python工具包。它集成了Meta AI的Segment-Anything Model (SAM)和segment-geospatial包，实现3D点云数据的自动化分割。工具包具备地面滤波、自定义相机视图和交互式可视化等功能，安装简便，文档完善。适合处理大规模LiDAR数据的研究和开发需求。
Project Cover
panoptic-segment-anything
panoptic-segment-anything项目提出了一种创新的零样本全景分割方法。该方法巧妙结合Segment Anything Model (SAM)、Grounding DINO和CLIPSeg三个模型，克服了SAM在文本感知和语义分割方面的局限性。项目提供Colab notebook和Hugging Face Spaces上的Gradio演示，方便用户体验这一pipeline。此外，预测结果可上传至Segments.ai进行微调，为计算机视觉研究开辟了新的可能性。

相关文章

Article Cover
EdgeSAM: 边缘设备上的高效分割模型
2 个月前
Article Cover
SAM: 复古语音合成的现代复兴
2 个月前
Article Cover
AM-RADIO: 革命性的多领域图像生成技术
2 个月前
Article Cover
SAM4MIS：医学影像分割的革新利器
2 个月前
Article Cover
PyTorch实现的可微分神经计算机(DNC)及其变体
2 个月前
Article Cover
Segment Anything in 3D: 革命性的三维场景分割技术
2 个月前
Article Cover
segment-lidar: 革命性的航空LiDAR数据无监督实例分割方案
2 个月前
Article Cover
零镜头全景分割新突破:探索Segment Anything模型的革命性应用
2 个月前

最新项目

Project Cover
豆包MarsCode
豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。
Project Cover
AI写歌
Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。
Project Cover
商汤小浣熊
小浣熊家族Raccoon，您的AI智能助手，致力于通过先进的人工智能技术，为用户提供高效、便捷的智能服务。无论是日常咨询还是专业问题解答，小浣熊都能以快速、准确的响应满足您的需求，让您的生活更加智能便捷。
Project Cover
有言AI
有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。
Project Cover
Kimi
Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。
Project Cover
吐司
探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。
Project Cover
SubCat字幕猫
SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。
Project Cover
AIWritePaper论文写作
AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。
Project Cover
稿定AI
稿定设计 是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。
使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号