#SAM
EdgeSAM
EdgeSAM通过优化的Prompt-In-the-Loop蒸馏方法,为边缘设备提供高效的分割模型。相较于原始SAM,EdgeSAM在速度上提升了40倍,并在iPhone 14上实现了超过30帧每秒的性能。此外,EdgeSAM在COCO和LVIS数据集上的mIoUs分别提升了2.3和3.2,性能优于MobileSAM。该项目支持ONNX和CoreML平台,并已经集成到多个开源工具中。用户还可以通过iOS App方便地使用EdgeSAM。
RADIO
AM-RADIO是一个将多个大型视觉基础模型蒸馏为单一模型的框架。其核心产物RADIO作为新一代视觉基础模型,在多个视觉任务中表现优异,可作为通用视觉骨干网络使用。RADIO通过蒸馏整合了CLIP、DINOv2和SAM等模型,保留了文本定位和分割对应等特性。在ImageNet零样本分类、kNN和线性探测分割等任务上,RADIO超越了教师模型,同时提升了视觉语言模型的性能。此外,RADIO支持任意分辨率和非方形图像输入,并提供了名为E-RADIO的高效变体。
sam-hq
SAM-HQ是对原始SAM模型的改进版本,专注于提高零样本图像分割的质量。该模型保留了SAM的灵活提示和泛化能力,同时通过引入可学习的高质量输出标记和特征融合策略,显著提升了分割效果,特别是对于复杂结构的物体。SAM-HQ仅增加少量参数就实现了性能的大幅提升。在9个不同领域的数据集测试中,SAM-HQ在各类下游任务中均表现优于原始SAM模型。
sam
SAM-js是1982年Commodore C64平台上SAM (Software Automatic Mouth)文本转语音软件的JavaScript移植版。该项目保留了原版低内存占用和小文件体积的特点,提供文本到音素转换和语音输出功能。通过简单API,开发者可实现语音播放、波形文件下载和音频缓冲区生成,为现代Web应用轻松添加复古风格的语音合成能力。SAM-js项目基于C语言版本改编,使用纯JavaScript实现,避免了Emscripten转换,实现了更小的文件体积。它适用于需要复古语音效果的Web游戏、教育应用或交互式网站,为开发者提供了一个独特的、低资源消耗的语音合成解决方案。
SAM4MIS
SAM4MIS项目综述了Segment Anything Model (SAM)和SAM2在医学图像分割领域的应用进展。该项目涵盖了从经验评估到方法改进的全面研究成果,为医学图像分割提供了最新见解。通过持续跟踪和汇总SAM相关研究,SAM4MIS为医学图像分析研究提供了重要参考,促进了该领域技术的创新。
pytorch-dnc
这个PyTorch库实现了差分神经计算机(DNC)、稀疏访问存储器(SAM)和稀疏差分神经计算机(SDNC)等模型。它提供灵活API用于构建和训练这些神经网络,支持多层控制器、共享内存等配置。库中还包含复制和加法等基准任务,以及内存可视化功能,有助于开发和评估基于外部存储的神经网络模型。
SegmentAnythingin3D
SA3D是一个创新的三维目标分割框架,基于神经辐射场(NeRF)模型。它允许用户通过单一视图的手动提示,快速获取目标对象的3D分割结果。SA3D支持点提示和文本提示输入,处理时间约为2分钟。该框架在建筑、室内场景和复杂物体等多种应用场景中展现了良好的适应性,为3D场景感知和虚拟现实内容创作提供了新的可能。项目还包含直观的图形界面,便于研究人员和开发者进行快速实验和应用开发。
segment-lidar
segment-lidar是一个用于航空LiDAR数据无监督实例分割的Python工具包。它集成了Meta AI的Segment-Anything Model (SAM)和segment-geospatial包,实现3D点云数据的自动化分割。工具包具备地面滤波、自定义相机视图和交互式可视化等功能,安装简便,文档完善。适合处理大规模LiDAR数据的研究和开发需求。
panoptic-segment-anything
panoptic-segment-anything项目提出了一种创新的零样本全景分割方法。该方法巧妙结合Segment Anything Model (SAM)、Grounding DINO和CLIPSeg三个模型,克服了SAM在文本感知和语义分割方面的局限性。项目提供Colab notebook和Hugging Face Spaces上的Gradio演示,方便用户体验这一pipeline。此外,预测结果可上传至Segments.ai进行微调,为计算机视觉研究开辟了新的可能性。