Project Icon

XMem

长时视频对象分割的解决方案,基于人类多尺度记忆模型

XMem项目采用Atkinson-Shiffrin记忆模型,提供了一种全新的视频对象分割(VOS)方法。通过结合不同时间尺度的记忆单元,有效避免在处理长时视频时出现的计算和GPU内存问题。XMem可处理超过10000帧的视频,在有限GPU资源下仍保持高效,处理速度达每秒20帧,并附带简化版GUI。项目中还提供了详细的训练和推理指南,适用于实验和实际应用。

XMem2 - 少量标注实现高精度视频分割的开源工具
GithubXMem++交互式标注人工智能开源项目视频分割计算机视觉
XMem2是一个开源的交互式视频分割工具,通过永久记忆模块和创新帧选择算法,只需少量标注即可实现高质量分割。它能以30+ FPS的速度处理物体部件、流体、可变形物体等复杂场景。XMem2提供改进的GUI和Python接口,适用于电影制作等领域。项目还包含PUMaVOS数据集,涵盖23个具挑战性的视频分割场景。
MiVOS - 交互式视频对象分割方法与差异感知融合
DAVISGithubMiVOSPyTorch交互式分割开源项目视频对象分割
该项目介绍了一种模块化的交互视频对象分割方法,通过交互生成对象掩码并采用差异感知的融合模块进行处理。该方法在DAVIS和YouTube等基准测试中表现出色,并支持用户交互的GUI工具,简化了视频对象标注过程。项目还集成了多个预训练模型,并提供了快速下载和数据生成脚本,为研究人员和开发者提供了便捷高效的解决方案。
STCN - 改进内存覆盖的高效视频对象分割框架
GithubNeurIPSSTCN开源项目神经网络空间时间对应视频目标分割
STCN是一个创新的视频对象分割框架,通过改进内存覆盖重新构建时空网络。该方法在多个基准测试中达到了最先进水平,同时保持20+ FPS的高效运行。STCN采用简洁的网络结构,建立图像间亲和力,并使用L2相似度替代点积,显著提升内存利用率。这种方法在准确性和效率间实现了理想平衡,为视频对象分割研究带来新思路。
VideoMamba - 突破性的视频理解状态空间模型
GithubVideoMamba多模态兼容性开源项目状态空间模型视频理解长期视频建模
VideoMamba是一种创新的视频理解模型,克服了现有技术的局限性。它能高效处理长视频和高分辨率内容,展现出可扩展性、短期动作识别敏感性、长期视频理解优势和多模态兼容性四大核心特点。VideoMamba为全面的视频理解任务提供了高效解决方案,推动了该领域的发展。
EVF-SAM - 基于早期视觉语言融合的文本引导图像分割模型
EVF-SAMGithubSAM模型图像分割开源项目视觉语言融合语义分割
EVF-SAM项目通过早期视觉语言融合技术扩展了SAM模型的能力,实现高精度的文本引导图像分割。该模型在T4 GPU上可在几秒内完成推理,计算效率高。最新版本基于SAM-2支持视频分割,展现了零样本文本引导视频分割能力。EVF-SAM在多个数据集上表现出色,为计算机视觉领域提供了新的解决方案。
mem0 - 为大型语言模型 (LLM) 提供智能、自适应的内存层
GithubMem0个性化AI体验多级记忆大型语言模型开发者友好API开源项目热门
Mem0 通过为大型语言模型(LLMs)提供智能、适应性的内存层,不断利用上下文信息,增强个性化AI体验。这种增强的内存能力对于从客户支持到健康诊断等广泛应用至关重要,使AI能够记住用户偏好、适应个别需求,并持续改进。
Segment-and-Track-Anything - 视频中任意对象的自动分割与追踪系统
AI视觉GithubSAM-Track交互式分割开源项目目标跟踪视频分割
Segment-and-Track-Anything是一个专注于视频中任意对象分割和追踪的开源项目。该系统集成了SAM模型的关键帧分割能力和DeAOT模型的多目标追踪功能。它支持自动检测新对象、交互式修改、文本提示等多种操作模式,适用于街景分析、增强现实、细胞追踪等领域。项目提供了直观的WebUI界面和灵活的参数设置,使用户能够轻松实现复杂的视频对象分割和追踪任务。
V-Express - 渐进式训练提升肖像视频生成质量
GithubV-Express开源项目控制信号平衡条件性丢弃渐进式训练肖像视频生成
V-Express项目提出条件性丢弃新方法,实现肖像视频生成的渐进式训练。该方法平衡不同控制信号强度,增强音频等弱信号作用,同时考虑姿态、图像和音频,生成高质量肖像视频。项目优化内存使用,支持长视频生成,提供多种重定向策略,适用不同场景。开源代码和模型可供学术及商业用途,但使用时需遵守相关法规。
LongMem - 为语言模型赋予长期记忆能力
GithubLongMem开源项目评估语言模型长期记忆预训练
LongMem项目通过创新的长期记忆机制提升了语言模型的性能。该项目实现了记忆库、检索机制和联合注意力等核心技术,使模型在内容学习任务中表现优异。项目开源了完整代码,包括环境配置、模型结构和评估方法,为研究者提供了便利的复现和探索工具。LongMem为自然语言处理领域开辟了新的研究方向。
MeMOTR - 基于长期记忆的Transformer多目标跟踪方法
GithubMeMOTRTransformer多目标跟踪开源项目计算机视觉长期记忆
MeMOTR提出了一种基于Transformer的端到端多目标跟踪方法,通过长期记忆注入和定制记忆注意力层提升目标关联性能。该方法在DanceTrack和SportsMOT等数据集上展现出优秀的跟踪效果,为复杂场景的多目标跟踪提供了新思路。项目开源了代码、预训练模型和使用说明,便于研究者复现和改进。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号