Project Icon

CogVideoX-5b-I2V

开源图像到视频生成模型支持多种精度和量化推理

CogVideoX-5b-I2V是一个开源的图像到视频生成模型,参数规模为5B。该模型可生成6秒长、8帧/秒、720x480分辨率的视频,支持多种精度和量化推理。通过diffusers库可快速部署,单GPU运行时内存占用较低。模型提供量化推理功能,适用于小内存GPU,并可通过torch.compile加速。

V-Express - V-Express项目中的多媒体智能转换技术
GithubHuggingfaceV-Express开源项目模型稳定扩散视频生成面部分析音频编码器
V-Express项目通过diffusers库,实现从音频到视频的生成,整合了稳定扩散和文本到图像转换技术。项目中包含wav2vec2-base-960h音频编码器和insightface面部分析模型,支持多媒体内容的高效生成与分析。
Qwen2-VL-7B-Instruct-GPTQ-Int4 - 量化模型支持多分辨率视觉理解
GithubHuggingfaceQwen2-VL图像理解多模态开源项目模型视觉语言模型视频理解
Qwen2-VL-7B-Instruct-GPTQ-Int4是一款量化视觉语言模型,支持多分辨率图像和20分钟以上视频理解。模型具备复杂推理能力,可应用于移动设备和机器人操作。支持多语言理解,包括欧洲语言、日语和韩语等。采用动态分辨率和多模态旋转位置嵌入技术,在视觉理解基准测试中表现出色。
MiniGPT4-video - 提升视频理解的创新多模态语言模型
GithubGoldfishMiniGPT4-Video多模态开源项目视频理解长视频
MiniGPT4-Video项目采用交错视觉-文本标记技术,大幅提升了多模态大语言模型的视频理解能力。该模型在短视频理解方面表现优异,多项基准测试中均优于现有方法。项目还开发了Goldfish框架,专门应对任意长度视频的处理难题,有效解决了长视频理解中的噪声、冗余和计算挑战。这些创新成果为视频分析和理解领域开辟了新的可能性。
cogvlm-chat-hf - 开源视觉语言模型CogVLM在多项跨模态基准测试中超越PaLI-X 55B
CogVLMGithubHuggingface图像识别多模态开源开源项目模型视觉语言模型
CogVLM是一款开源视觉语言模型,具有100亿视觉参数和70亿语言参数。在NoCaps、Flicker30k等10个经典跨模态基准测试中,CogVLM实现了最先进的性能,部分超越PaLI-X 55B。其架构包括视觉变换器编码器、MLP适配器、预训练语言模型和视觉专家模块。CogVLM能进行多模态对话,适用于图像描述和视觉问答等任务。该模型对学术研究开放,经登记后可免费用于商业用途。
llava-onevision-qwen2-72b-ov-sft - 基于Qwen2的多模态AI模型 支持图像和视频交互
GithubHuggingfaceLLaVA-OneVisionQwen2图像识别多模态模型开源项目模型视频处理
LLaVA-OneVision是基于Qwen2的多模态AI模型,支持图像、多图和视频交互。模型在专用数据集上训练,具有32K tokens上下文窗口,提供0.5B、7B和72B三种规模。支持英语和中文,可处理单图、多图和视频输入。项目开源了代码、在线演示和论文,为AI研究和开发提供了实用工具。
VideoTuna - 多模型集成的AI生成解决方案
AI视频生成GithubVideoTuna图像到视频开源项目文本到视频视频自动化
VideoTuna项目集成多种AI视频生成模型,支持从文本到视频、图像到视频及文本到图像的生成任务。该项目提供全方位的视频生成流程,涵盖预训练、持续训练、后续对齐和微调操作。平台包含U-Net与DiT结构的生成模型,并推出3D视频VAE和可控人脸视频生成模型,为开发者提供提升视频生成自动化和效果的工具。
awesome-video-generation - 全面汇集视频生成研究的前沿资源库
AI视频Github图像到视频开源项目扩散模型文本到视频视频生成
资源库系统整理视频生成领域的前沿研究论文和资源,包括文本生成视频、图像生成视频、个性化视频生成等多个方向。内容涵盖论文列表、链接、数据集、产品介绍和常见问题解答。这为研究人员和开发者提供了全面了解视频生成技术发展的专业参考。
Awesome-Video-Diffusion-Models - 视频扩散模型研究进展与开源资源综述
Github开源工具箱开源项目数据集文本到视频生成视频生成模型评估指标
本文综述了视频扩散模型领域的研究进展和开源资源。内容包括最新工具箱、基础模型、数据集和评估指标,涵盖文本到视频生成、视频编辑和理解等多个方向。文章系统梳理了该领域的关键技术和资源,为研究人员和开发者提供全面参考,有助于推动视频生成和处理技术的发展。
KandinskyVideo - 先进的开源文本到视频生成模型
GithubKandinsky Video 1.1人工智能开源模型开源项目文本生成视频视频生成技术
KandinskyVideo 1.1是一个开源的文本到视频生成模型,在EvalCrafter基准测试中表现突出。该模型采用三阶段生成流程:初始帧生成、关键帧生成和帧插值,有效提高了视频质量和内容连贯性。除了支持文本到视频转换,KandinskyVideo 1.1还能为输入图像添加动画效果。在视觉质量、文本-视频对齐、动作质量和时间连贯性等方面,该模型都展现出优秀性能,体现了开源文本到视频生成技术的最新发展。
VideoLLaMA2 - 增强视频理解的多模态语言模型
AIGithubVideoLLaMA2多模态大语言模型开源项目视频理解
VideoLLaMA2是一款先进的视频语言模型,通过增强空间-时间建模和音频理解能力,提高了视频问答和描述任务的性能。该模型在零样本视频问答等多项基准测试中表现出色。VideoLLaMA2能处理长视频序列并理解复杂视听内容,为视频理解技术带来新进展。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号