Project Icon

MAD

大规模电影音频数据集用于视频语言定位研究

MAD是一个用于视频语言定位研究的大规模数据集,源自电影音频描述。它包含384K个句子,涵盖650部电影的1.2K小时视频内容。数据集横跨22个电影类型和90年电影史,提供多样化的动作、场景和语言素材。MAD的独特之处在于其长形式定位设置,具有庞大的语言词汇量,对准确性和效率提出了挑战。这一资源为研究人员开拓了视频语言理解的新领域。

Awesome_Long_Form_Video_Understanding - 长视频理解研究前沿进展与资源综述
Github人工智能开源项目深度学习视频分析计算机视觉长视频理解
这是一个综合性长视频理解研究资源库,涵盖表征学习、高效建模、大语言模型等多个子领域。项目汇总了前沿研究论文、数据集和工具,对各子任务进行了系统梳理。为长视频理解研究者提供了全面的参考资源,有助于推动该领域的发展。
llm-datasets - LLM微调优质数据集与工具资源库
GithubLLM对话开源项目微调指令跟随数据集
LLM Datasets项目汇集了大语言模型微调所需的优质数据集、实用工具和核心概念。涵盖通用、数学逻辑、编程和对话等多个领域,项目详细阐述了高质量数据集的特征。为研究人员和开发者提供多样化的LLM微调数据资源,旨在促进模型性能提升。
madlad400-3b-mt - 多语言翻译模型,支持450+种语言的实时翻译
GithubHuggingfaceMADLAD-400T5模型多语言开源项目机器翻译模型语言模型
MADLAD-400-3B-MT是基于T5架构的多语言机器翻译模型,在1万亿个涵盖450多种语言的标记上训练而成。模型采用32层3B参数的共享架构,使用256k标记的Sentence Piece模型进行编解码。尽管规模较小,其翻译性能可媲美大型模型,特别适合处理低资源语言的自然语言任务。
Youku-mPLUG - 千万级中文视频语言数据集及多模态基准
GithubYouku-mPLUG基准测试多模态开源项目视频语言数据集预训练模型
Youku-mPLUG是一个包含1000万条中文视频-语言数据的大规模数据集,源自优酷平台。数据涵盖20个超级类别和45个类别,经严格筛选确保质量。项目提供三个多模态视频基准数据集,用于评估模型在分类、检索和描述任务上的表现。研究团队基于GPT-3和BloomZ-7B开发的mPLUG-Video模型展现了出色的零样本学习能力。
EmoV-DB - 情感语音合成的多样化开源数据集
CMU arcticEmoV-DBGithub开源项目强制对齐情感语音数据库语音合成
EmoV-DB是一个专为情感语音合成设计的开源数据集。它收录了四位说话人(两男两女)的录音,包括中性、困倦、愤怒、厌恶和愉悦五种情感风格。数据集基于CMU arctic文本,包含超过5000条录音样本,音频采用16位WAV格式。EmoV-DB还集成了强制对齐功能,可分离语音中的语言和非语言成分。这一资源旨在增强语音生成系统的情感表达控制,为相关研究提供重要支持。
M3D - 推动3D医学图像分析的多模态大语言模型
3D医学图像分析AI医疗GithubM3D医学数据集多模态大语言模型开源项目
M3D是首个针对3D医学分析的多模态大语言模型系列。项目包含最大规模开源3D医学数据集M3D-Data、多任务能力模型M3D-LaMed和全面评估基准M3D-Bench。M3D在图像-文本检索、报告生成、视觉问答、定位和分割等任务中表现优异,为3D医学图像分析领域提供了新的研究方向。
LanguageBind_Audio - 语言驱动的多模态预训练解决方案
GithubHuggingfaceLanguageBind公开源码多模态开源项目数据集模型语义对齐
LanguageBind是一个语言驱动的多模态预训练工具,在五个数据集上表现出色。该项目采用VIDAL-10M数据集,将视频、红外、深度、音频和语言模态结合,实现了跨越视觉模态的扩展。通过多视图增强和ChatGPT的结合,它提高了语言的语义表达,并支持在线和本地运行,包括音频与语言、视频与语言的相似性计算。
videollm-online - 流式视频实时理解与交互的先进模型
GithubVideoLLM-online大语言模型实时交互开源项目流媒体视频视频处理
VideoLLM-online是一款针对流媒体视频的在线大语言模型。该模型支持视频流实时交互,可主动更新响应,如记录活动变化和提供实时指导。项目通过创新的数据合成方法将离线注释转化为流式对话数据,并采用并行化推理技术实现高速处理,在A100 GPU上处理速度可达10-15 FPS。VideoLLM-online在在线和离线环境中均表现出色,能高效处理长达10分钟的视频,为视频理解与交互领域带来新的可能性。
Awesome-Multimodal-Large-Language-Models - 多模态大语言模型研究资源与最新进展汇总
Github多模态大语言模型开源项目指令微调模型评估视觉语言模型视频理解
该项目汇总了多模态大语言模型(MLLMs)领域的最新研究成果,包括论文、数据集和评估基准。涵盖多模态指令微调、幻觉、上下文学习等方向,提供相关代码和演示。项目还包含MLLM调查报告及MME、Video-MME等评估基准,为研究人员提供全面参考。
LLMDataHub - 大语言模型训练数据集合
GithubLLMDataHub大语言模型开源社区开源项目数据集聊天机器人
LLMDataHub汇聚高品质大语言模型训练数据,为研究人员和从业者提供丰富的数据资源。该平台涵盖多种数据集,适合提升聊天机器人对话质量、应答生成及语言理解。同时,平台更新最新数据集,助您获取行业前沿资源。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号