Logo
Project Icon

XMem2

少量标注实现高精度视频分割的开源工具

XMem++视频分割人工智能计算机视觉交互式标注Github开源项目

XMem2是一个开源的交互式视频分割工具,通过永久记忆模块和创新帧选择算法,只需少量标注即可实现高质量分割。它能以30+ FPS的速度处理物体部件、流体、可变形物体等复杂场景。XMem2提供改进的GUI和Python接口,适用于电影制作等领域。项目还包含PUMaVOS数据集,涵盖23个具挑战性的视频分割场景。

GithubGithub文档文档论文论文
介绍相关项目
SlowFast - 开源视频理解框架 提供多种先进模型架构
GithubPySlowFast开源项目深度学习神经网络模型视频理解计算机视觉
PySlowFast是FAIR开发的开源视频理解代码库，提供高效训练的先进视频分类模型。支持SlowFast、Non-local Neural Networks、X3D和Multiscale Vision Transformers等多种架构。该框架便于快速实现和评估视频研究创新，涵盖分类、检测等任务。PySlowFast兼具高性能和轻量级特点，适用于广泛的视频理解研究。
Chenyme-AAVT - AI多语言视频翻译和字幕生成工具
AAVTAI辅助Github多语言支持字幕识别开源项目视频翻译
Chenyme-AAVT是一款功能全面的AI视频翻译工具，支持多语言和多种文件格式。该工具集成OpenAI API和Faster-Whisper识别引擎，具备GPU加速和VAD辅助功能。通过ChatGPT、KIMI等翻译引擎，实现字幕生成、视频预览和内容总结。此外，Chenyme-AAVT还提供字幕微调和图文博客生成等功能，为视频处理提供全方位解决方案。
evf-sam2-multitask - 创新视觉语言融合技术提升文本引导图像分割效果
EVF-SAMGithubHuggingface人工智能图像分割开源项目模型深度学习视觉语言融合
EVF-SAM项目引入了早期视觉语言融合技术，旨在优化文本引导的图像分割任务。通过有效结合视觉与语言信息，该技术显著提升了分割的精确度和效率。项目提供了模型检查点，使用者可通过源代码中的'inference.py'文件了解具体应用方法。值得注意的是，当前版本需要从源代码直接导入模型脚本，尚不支持'AutoModel.from_pretrained(...)'功能。
VideoPipe - 跨平台的视频分析和结构化解决方案
GithubVideoPipe开源项目深度学习行为分析视频分析视频结构化
VideoPipe 是一个用 C++ 编写的开源视频分析和结构化框架，依赖少且易于上手。适用于视频结构化、图片搜索、人脸识别、交通和安防领域的行为分析。支持多种视频流协议和解码方式，集成深度学习和传统图像算法，具备目标检测、图像分类、特征提取等功能。插件化设计允许根据需求灵活组合，适用于多种平台，性能优良，广泛适用于各类应用场景。
LLaMA-VID - 支持长视频处理的多模态大语言模型
GithubLLaMA-VID多模态大语言模型开源项目视觉语言模型视频理解
LLaMA-VID是一个新型多模态大语言模型,可处理长达数小时的视频。它通过增加上下文令牌扩展了现有框架的能力,采用编码器-解码器结构和定制令牌生成策略,实现对图像和视频的高效理解。该项目开源了完整的模型、数据集和代码,为视觉语言模型研究提供了有力工具。
Segment-Everything-Everywhere-All-At-Once - 基于多模态提示的图像分割模型
GithubSEEM交互式分割图像处理多模态开源项目
SEEM是一种新型图像分割模型,支持多种交互方式如点击、框选、涂鸦、文本和音频提示。该模型可接受任意组合的提示输入,精确分割图像中的目标对象并赋予语义标签。SEEM采用统一架构,具备多模态交互、语义理解和泛化能力,为图像分割任务提供了灵活通用的解决方案。
MimicMotion - 基于AI的高质量人体动作视频生成框架
AIGithubMimicMotion人体动作开源项目深度学习视频生成
MimicMotion是一个创新的视频生成框架，可基于任意动作指导生成高质量的长视频。该项目采用置信度感知的姿态引导技术，提高了时间平滑性和模型鲁棒性。通过区域损失放大和渐进式潜在融合策略，MimicMotion有效解决了图像失真问题，并能以较低的资源消耗生成长视频。这一技术在视频质量、控制性和生成长度等方面显著优于现有方法，为人体运动视频生成领域开辟了新的可能性。
Motion-X - 丰富表现力的3D全身人体动作数据集
GithubMotion-XSMPL-X人体动作数据集多模态开源项目表情动作
Motion-X是一个大规模的3D全身人体动作数据集，包含15.6M个全身姿势和81.1K个动作片段的SMPL-X参数注释。数据集提供动作标签、文本标签及RGB视频、音频等多模态信息。Motion-X支持文本驱动的3D人体动作生成、全身网格恢复等多种任务。通过整合现有数据集并添加在线视频数据，Motion-X为人体动作研究提供了丰富的资源。
VideoSwap - 通过语义点对应技术实现自定义主体替换的新型视频编辑框架
GithubVideoSwap开源项目扩散模型自定义概念视频主体替换语义点对应
VideoSwap是一种新型视频编辑框架，通过语义点对应技术实现自定义主体替换，同时保持背景不变。该方法支持用户交互，可对齐主体运动轨迹并修改形状。相比现有技术，VideoSwap在真实视频中展现出优越的主体替换效果，为视频编辑开辟新方向。
UltimateLabeling - 集成先进检测和跟踪技术的多功能视频标注工具
GithubOpenPifPafPyQt5UltimateLabelingYOLO开源项目视频标注
UltimateLabeling是一个基于Python的多功能视频标注工具，使用PyQt5开发，集成了前沿的对象检测和跟踪技术。主要功能包括通过SSH连接远程GPU服务器、使用YOLO和OpenPifPaf进行对象和姿态检测、采用匈牙利算法进行轨迹分配、进行SiamMask视觉对象追踪，以及视频缩放、可调节边框和骨架等。适用于多种对象和姿态检测与标注场景。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号