#视频对象分割

MiVOS - 交互式视频对象分割方法与差异感知融合
MiVOS视频对象分割交互式分割DAVISPyTorchGithub开源项目
该项目介绍了一种模块化的交互视频对象分割方法,通过交互生成对象掩码并采用差异感知的融合模块进行处理。该方法在DAVIS和YouTube等基准测试中表现出色,并支持用户交互的GUI工具,简化了视频对象标注过程。项目还集成了多个预训练模型,并提供了快速下载和数据生成脚本,为研究人员和开发者提供了便捷高效的解决方案。
XMem - 长时视频对象分割的解决方案,基于人类多尺度记忆模型
XMem视频对象分割Atkinson-Shiffrin记忆模型GPU内存优化ECCVGithub开源项目
XMem项目采用Atkinson-Shiffrin记忆模型,提供了一种全新的视频对象分割(VOS)方法。通过结合不同时间尺度的记忆单元,有效避免在处理长时视频时出现的计算和GPU内存问题。XMem可处理超过10000帧的视频,在有限GPU资源下仍保持高效,处理速度达每秒20帧,并附带简化版GUI。项目中还提供了详细的训练和推理指南,适用于实验和实际应用。
UniRef - 跨空间时间的统一视觉对象分割模型
UniRef++目标分割参考对象分割视频对象分割深度学习Github开源项目
UniRef++是一个统一的视觉模型,可同时处理指代图像分割、少样本分割、指代视频对象分割和视频对象分割四种任务。其核心UniFusion模块能高效注入多种参考信息,不仅性能优异,还可作为SAM等基础模型的插件组件使用。该模型在多个benchmark上展现出色表现,体现了其在对象分割领域的通用性和扩展性。