SAM 2是Meta AI研发的图像和视频分割基础模型,扩展了SAM的功能。它采用transformer架构和流式内存,实现实时视频处理。通过模型循环数据引擎,研究团队构建了大规模视频分割数据集SA-V。SAM 2在多种视觉任务中展现出卓越性能,为计算机视觉领域带来新的可能。

MeViS是一个专注于运动表达引导目标分割的大规模视频数据集。它包含2,006个视频和28,570个描述性句子,为开发利用运动表达进行复杂视频场景分割的算法提供了平台。该数据集突出了运动在语言引导视频目标分割中的重要性,为相关研究提供了新的基准。

Segment-and-Track-Anything是一个专注于视频中任意对象分割和追踪的开源项目。该系统集成了SAM模型的关键帧分割能力和DeAOT模型的多目标追踪功能。它支持自动检测新对象、交互式修改、文本提示等多种操作模式，适用于街景分析、增强现实、细胞追踪等领域。项目提供了直观的WebUI界面和灵活的参数设置，使用户能够轻松实现复杂的视频对象分割和追踪任务。

XMem2是一个开源的交互式视频分割工具,通过永久记忆模块和创新帧选择算法,只需少量标注即可实现高质量分割。它能以30+ FPS的速度处理物体部件、流体、可变形物体等复杂场景。XMem2提供改进的GUI和Python接口,适用于电影制作等领域。项目还包含PUMaVOS数据集,涵盖23个具挑战性的视频分割场景。