Project Icon

LanguageBind_Audio

语言驱动的多模态预训练解决方案

LanguageBind是一个语言驱动的多模态预训练工具,在五个数据集上表现出色。该项目采用VIDAL-10M数据集,将视频、红外、深度、音频和语言模态结合,实现了跨越视觉模态的扩展。通过多视图增强和ChatGPT的结合,它提高了语言的语义表达,并支持在线和本地运行,包括音频与语言、视频与语言的相似性计算。

VideoGPT-plus - 双编码器融合提升视频理解能力
GithubVideoGPT+人工智能多模态模型开源项目视频对话视频理解
VideoGPT+是一个创新的视频对话模型,通过集成图像和视频编码器,实现了更精细的空间理解和全局时间上下文分析。模型采用自适应池化技术处理双编码器特征,大幅提升了视频基准测试性能。项目同时推出VCG+ 112K数据集和VCGBench-Diverse基准,为视频对话任务提供全面评估。VideoGPT+在空间理解、推理和视频问答等多项任务中表现优异。
dataspeech - 简化语音数据集标注与处理的实用工具
Data-SpeechGithub开源项目数据标注语音AI语音数据集音频转换
Data-Speech是一套用于语音数据集标注的实用脚本工具。它提供简洁代码库,支持音频转换和注释,有助于语音AI模型开发。该工具能重现研究论文中的注释方法,使用自然语言描述标注说话者特征。Data-Speech可处理LibriTTS-R和MLS等数据集,并为Parler-TTS库提供支持。它提供从数据集注释、特征映射到自然语言描述生成的完整工作流程。
AliceMind - 阿里巴巴预训练编码器和解码器模型集合
AliceMindGithub优化技术多模态语言模型大规模预训练模型开源项目模型压缩
此项目涵盖了阿里巴巴机器智能实验室(MinD Lab)开发的多种预训练模型和优化技术。包括首个提升多模态大语言模型mPLUG-Owl2和多模态文档理解模型mPLUG-DocOwl。另有中文视频语言预训练数据集Youku-mPLUG和多模态语言模型mPLUG-Owl的新型训练范式。此外,还包含开放域对话系统ChatPLUG、跨文本、图像和视频的多模态基础模型mPLUG-2等,适用于语言理解、生成、表格理解和跨语言等应用场景。
AudioSep - 自然语言驱动的多功能音频分离基础模型
AudioSepGithub开放域声音分离开源项目自然语言查询语音增强音频分离
AudioSep是一个创新的音频分离基础模型,可通过自然语言描述执行多种音频分离任务。该模型在音频事件分离、乐器分离和语音增强等领域展现出卓越的性能和泛化能力。AudioSep支持用户通过文本描述精确分离所需音频内容,为音频处理技术开辟了新的应用方向。
voice-activity-detection - 基于pyannote.audio的开源语音活动检测模型
GithubHuggingfacepyannote声音分割开源项目模型语音活动检测说话人分类音频处理
该项目提供基于pyannote.audio 2.1的开源语音活动检测模型,可精确识别音频中的语音片段。支持AMI、DIHARD和VoxConverse等数据集,适用于多种应用场景。用户通过简单的Python代码即可调用预训练模型,实现高效的语音检测。这一工具为语音分析和处理提供了可靠基础,适用于学术研究及商业应用。
dynalang - 使用语言和多模态模型预测与解决任务
DynalangGithub人工智能多模态模型开源项目训练脚本语言建模
Dynalang项目通过多种语言创建一个多模态世界模型,预测未来并解决任务。提供详细的安装指南和训练配置,支持HomeGrid、Messenger、VLN和LangRoom等环境。该项目建基于最新研究,旨在通过语言建模提高任务解决效率。
BayLing - 跨语言对齐与指令遵循的多语言大模型
BayLingGithub交互翻译多语言大语言模型开源项目指令跟随
BayLing是一个开源的多语言大规模语言模型,专注于跨语言对齐和指令遵循。该模型在英汉双语生成、指令执行和多轮交互方面表现优异,可在16GB显存的消费级GPU上运行。BayLing支持翻译、写作、创作和建议等多种任务,为用户提供多语言智能辅助。
metavoice-src - 1.2B参数开源TTS模型,支持情感语音合成和跨语言声音克隆
GithubMetaVoice-1BTTS开源开源项目情感语音语音克隆
MetaVoice-1B是一个开源的1.2B参数TTS模型,经过10万小时的语音训练,支持英语情感语音合成和零样本的美式和英式语音克隆(仅需30秒参考音频)。该模型还支持跨语言声音克隆和任意长度文本的语音合成。可通过云端或本地部署使用,并提供Hugging Face和Google Colab的演示。
llava-onevision-qwen2-72b-ov-chat - 多模态大语言模型支持图像、多图和视频交互
GithubHuggingfaceLLaVA-OneVision人工智能图像处理多模态开源项目模型自然语言处理
llava-onevision-qwen2-72b-ov-chat是一个为聊天场景优化的多模态大语言模型。该模型基于llava-onevision-72b-ov构建,通过迭代DPO训练提升了聊天能力,同时保持了良好的指令遵循能力。模型支持图像、多图和视频交互,在英语和中文方面表现出色。研究显示,其采用的迭代DPO训练方法有效增强了模型的聊天表现。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台,提供广泛的设计工具和资源,以满足不同用户的需求。从专业的图形设计师到普通用户,无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑,稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合,帮助用户轻松实现创意设计。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号