VNext

高级视频实例分割框架，支持在线和离线模式

VNext 视频实例分割 InstMove IDOL SeqFormer Github 开源项目

VNext是一个基于Detectron2的视频实例识别框架，提供先进的在线和离线实例分割算法及对象中心的视频分割运动模型。用户可参考官方教程进行安装、训练和评估。最新算法InstMove、IDOL和SeqFormer在国际会议上获得认可并取得优异成绩。

VideoGPT-plus - 双编码器融合提升视频理解能力

GithubVideoGPT+人工智能多模态模型开源项目视频对话视频理解

VideoGPT+是一个创新的视频对话模型，通过集成图像和视频编码器，实现了更精细的空间理解和全局时间上下文分析。模型采用自适应池化技术处理双编码器特征，大幅提升了视频基准测试性能。项目同时推出VCG+ 112K数据集和VCGBench-Diverse基准，为视频对话任务提供全面评估。VideoGPT+在空间理解、推理和视频问答等多项任务中表现优异。

SOLO - 无框的实例分割算法，可直接输出实例掩码和类别概率，并具备高质量掩码预测和顶级性能

GithubResNet-101SOLOSOLOv2开源项目目标分割高质量遮罩预测

SOLO项目实现了SOLO和SOLOv2两种完全无框的实例分割算法，可直接输出实例掩码和类别概率，并具备高质量掩码预测和顶级性能。该项目基于mmdetection，支持多GPU和单GPU训练，并提供多种预训练模型下载，包括轻量级模型。对于研究人员来说，这些工具显著提高了分割精度和训练速度，适用于各种应用场景。

convnext-tiny-224 - 高效图像分类 ConvNeXT卷积神经网络的新突破

ConvNeXTGithubHuggingfaceImageNetResNetVision Transformers图像分类开源项目模型

ConvNeXT是一款卷积模型，具有优于Vision Transformers的表现。设计灵感源于Swin Transformer，并对ResNet进行了现代化调整，专注于图像分类。ConvNeXT-tiny-224在ImageNet-1k数据集训练后，提供高效的分类能力。模型集线器提供适用不同任务的微调版本。

Grounded-SAM-2 - 多模态视频目标检测与分割框架

GithubGrounding DINOSAM 2图像分割开源项目目标检测视频追踪

Grounded-SAM-2是一个开源项目，结合Grounding DINO和SAM 2技术，实现图像和视频中的目标检测、分割和跟踪。该项目支持自定义视频输入和多种提示类型，适用于广泛的视觉任务。通过简化代码实现和提供详细文档，Grounded-SAM-2提高了易用性。项目展示了开放世界模型在处理复杂视觉任务中的潜力，为研究人员和开发者提供了强大的工具。

Segment-and-Track-Anything - 视频中任意对象的自动分割与追踪系统

AI视觉GithubSAM-Track交互式分割开源项目目标跟踪视频分割

Segment-and-Track-Anything是一个专注于视频中任意对象分割和追踪的开源项目。该系统集成了SAM模型的关键帧分割能力和DeAOT模型的多目标追踪功能。它支持自动检测新对象、交互式修改、文本提示等多种操作模式，适用于街景分析、增强现实、细胞追踪等领域。项目提供了直观的WebUI界面和灵活的参数设置，使用户能够轻松实现复杂的视频对象分割和追踪任务。

VideoProcessingFramework - GPU加速视频处理框架提供编解码和格式转换功能

GPU加速GithubNVIDIAPyNvVideoCodecVideoProcessingFramework开源项目视频处理

VideoProcessingFramework是一个开源的视频处理框架，由C++库和Python绑定组成。它利用GPU硬件加速实现高效的视频解码、编码、转码以及色彩空间和像素格式转换。该框架支持将GPU内存中的视频帧直接导出为PyTorch张量，避免了额外的数据传输。适用于Linux和Windows平台，依赖NVIDIA驱动、CUDA和FFMPEG。目前正逐步被功能类似但API更简洁的PyNvVideoCodec库取代。

nxtp - 基于下一标记预测的创新物体识别技术

AI视觉GithubObject Recognition开源项目深度学习自然语言处理计算机视觉

nxtp项目开发了一种创新的物体识别方法，将任务转化为下一标记预测。该技术利用语言模型嵌入扩展预测空间，实现开放式标签生成。通过自回归处理和高效采样，nxtp可进行大规模标签预测，如生成前100个最可能的标签。这一方法无需预定义标签集，为计算机视觉领域的物体识别提供了更灵活的解决方案。

NextLevel - iOS高级相机开发框架支持多样化媒体捕捉和处理

GithubNextLevelSwiftiOS相机系统图像处理开源项目视频录制

NextLevel是一款基于Swift的iOS相机开发框架，具备媒体捕捉和图像处理能力。该框架支持视频剪辑录制编辑、照片捕捉、ARKit集成、多镜头支持、帧率调节和深度数据捕捉等功能。NextLevel提供可扩展API，便于开发者实现图像处理和计算机视觉应用，适合构建各类高级相机应用程序。

VoxFormer - 基于稀疏体素变换器的相机驱动3D语义场景补全方法

3D语义场景补全CVPRGithubVoxFormer开源项目计算机视觉语义分割

VoxFormer是一种基于Transformer的创新框架，仅通过2D图像即可生成完整的3D语义体素。它采用两阶段设计：先从深度估计生成可见占据体素查询，再通过密集化阶段生成完整3D体素。在SemanticKITTI数据集上，VoxFormer在几何和语义方面分别提升了20.0%和18.1%，同时将训练所需GPU内存减少约45%。这为相机驱动的3D语义场景补全任务提供了一个强有力的基线。

FAST-VQA-and-FasterVQA - 开源高效视频质量评估框架

FAST-VQAFasterVQAGithub开源项目机器学习深度学习视频质量评估

FAST-VQA和FasterVQA是端到端视频质量评估的开源工具箱,提供高效的评估模型。FasterVQA作为FAST-VQA的改进版,在保持相似性能的同时速度提升4倍。这些模型在多个数据集上达到最先进水平。项目采用模块化架构,支持灵活的空间和时间采样方法及多种网络结构。研究者可进行模型训练、测试,并在小型数据集上微调。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能，包括文生视频、动态画面和形象生成等，帮助用户快速上手，创造专业级内容。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台，用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品，帮助用户探索创意灵感。

讯飞文书

讯飞文书依托讯飞星火大模型，为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能，满足事务性工作的高频需求，帮助撰稿人节省精力，提高效率，优化工作与生活。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com