Project Icon

CogVideoX-5b

专家Transformer驱动的先进文本到视频生成模型

CogVideoX-5b是基于专家Transformer的文本到视频生成模型。它可生成6秒720x480分辨率、8帧/秒的视频,支持226个token的英文提示输入。模型采用BF16精度,推理VRAM消耗低至5GB。通过多项优化,CogVideoX-5b在保持视觉质量的同时提高了推理速度,为视频生成研究与应用提供了有力工具。

VideoLLaMA2-7B - 多模态大语言模型在视频时空建模和音频理解上的应用
GithubHuggingfaceVideoLLaMA 2多模态大语言模型开源项目模型模型推理空间-时间建模视频问答
VideoLLaMA2-7B 项目聚焦于视频时空的建模与音频理解,利用先进的视觉和语音编码技术提升视频内容分析能力。项目支持视频聊天和多选视频问答,提供训练与推理代码,适用于多种场景需求,并开放模型权重及技术报告以支持研究与开发。
TATS - 创新长视频生成框架 基于时间无关VQGAN和时间敏感Transformer
GithubTATSTransformerVQGAN开源项目视频生成长视频生成
TATS项目是一个创新的长视频生成框架,通过结合时间无关的VQGAN和时间敏感的Transformer模型,实现了高效的长视频生成。该技术仅需使用数十帧视频进行训练,就能利用滑动窗口方法生成包含数千帧的连贯视频。TATS支持无条件生成以及基于文本、音频等条件的视频生成,为视频内容创作开辟了新的可能性。
cogvlm2-llama3-chinese-chat-19B - 双语视觉语言模型,支持大规模文本和图像解析
CogVLM2GithubHuggingface中文支持开源模型开源项目文本生成模型视觉理解
CogVLM2-LLaMA3-Chinese 是一个开源模型,支持中文和英文,表现出显著性能提升,比如在 TextVQA 和 DocVQA 基准测试中。这一模型支持最大8K的文本长度和1344*1344的图像分辨率,特别适合文本和图像的理解与对话任务。构建于Meta-Llama-3-8B-Instruct基础之上,用户可在ZhipuAI开放平台进行实际体验,适用于需要强大图像解析和多语言支持的场景。
SoraReview - 大型视觉模型的技术进展与应用前景分析
GithubOpenAISora人工智能大视觉模型开源项目文本到视频生成
本项目综述了Sora等大型视觉模型的发展背景、核心技术和应用前景。内容涵盖数据预处理、模型架构和语言指令处理等关键技术,并分析了在电影制作、教育等领域的潜在应用。同时探讨了安全性和公平性等挑战,为视频生成AI的未来发展提供了全面的技术洞察。
ShortVideoGen - 高效AI短视频生成平台
AI工具ShortVideoGen人工智能文本转视频短视频生成订阅计划
ShortVideoGen是一个创新的text to video平台,结合先进的AI Video Generator技术,将文本快速转化为带音频的短视频。用户只需三步即可完成创作:输入文本、自定义参数、生成视频。平台提供多种订阅选项,适应不同需求。网站还展示了多样化的视频示例,突显其广泛应用价值。
llava-onevision-qwen2-0.5b-ov-hf - 推动单图、多图和视频理解的多模态大语言模型
GithubHuggingfaceLLaVA-Onevision图像理解多模态语言模型开源项目模型视频理解计算机视觉
LLaVA-Onevision是基于Qwen2的多模态大语言模型,通过微调GPT生成的多模态指令数据训练而成。作为首个同时推动单图、多图和视频场景性能边界的模型,它展现出强大的视频理解和跨场景能力,实现了从图像到视频的任务迁移。该模型支持多图像和多提示生成,为多样化的视觉理解任务提供了灵活解决方案。
videocomposer - 灵活可控的视频合成与运动模式生成工具
AI生成GithubVideoComposer动作控制开源项目扩散模型视频合成
VideoComposer是一个开源的视频合成模型,能够同时控制生成视频的空间和时间特征。它支持文本、草图、参考视频等多种输入形式,为用户提供灵活的创作方式。项目包含预训练模型和用户界面,便于研究人员和开发者进行视频合成实验。
Video-LLaVA-7B - 统一图像和视频处理的多模态AI模型
GithubHuggingfaceVideo-LLaVA多模态模型大语言模型开源项目模型视觉语言处理视频理解
Video-LLaVA是一种新型多模态AI模型,采用对齐后投影方法学习统一视觉表示。该模型能同时处理图像和视频,具备出色的视觉推理能力。即使没有图像-视频配对数据,Video-LLaVA也能实现图像和视频间的有效交互。通过将统一视觉表示与语言特征空间绑定,该模型在多模态学习和各类视觉任务中展现优异性能。
Tarsier-7b - 开源大规模视频语言模型,提升视频描述和理解能力
GithubHuggingfaceTarsier人工智能开源项目机器学习模型视频描述计算机视觉
Tarsier-7b是一个开放源代码的视频语言模型,专注于视频描述和理解。该模型使用两阶段的训练策略以增强性能,能够生成高质量的视频描述。训练过程包括多任务预训练和多粒度微调,并通过多种数据集进行评估,从而保证出色性能。适合从事计算机视觉与自然语言处理研究的研究人员和爱好者使用,可在相关平台获取更多信息。
videollm-online - 流式视频实时理解与交互的先进模型
GithubVideoLLM-online大语言模型实时交互开源项目流媒体视频视频处理
VideoLLM-online是一款针对流媒体视频的在线大语言模型。该模型支持视频流实时交互,可主动更新响应,如记录活动变化和提供实时指导。项目通过创新的数据合成方法将离线注释转化为流式对话数据,并采用并行化推理技术实现高速处理,在A100 GPU上处理速度可达10-15 FPS。VideoLLM-online在在线和离线环境中均表现出色,能高效处理长达10分钟的视频,为视频理解与交互领域带来新的可能性。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号