SALMONN

通用听觉能力赋能大语言模型实现音频输入的多模态理解

SALMONN是清华大学和字节跳动共同开发的大语言模型，能处理语音、音频和音乐输入。通过结合Whisper和BEATs编码器，SALMONN实现了多语言语音识别、翻译和音频-语音推理等功能。该模型可理解多种音频输入并执行文本和语音指令，展现了跨模态能力，推动了具听觉能力的人工智能发展。

访问官网

multi_token - 将多模态嵌入到大语言模型的开源框架

Githubmulti_token图像识别多模态嵌入大语言模型开源项目语音识别

multi_token是一个开源项目，旨在扩展大语言模型的多模态处理能力。该框架支持将图像、音频、文档和视频等多种模态编码为统一格式，并嵌入到单个模型中。它提供了简便的实现方法，使开发者能够轻松构建支持长文档、图像、音频和视频等多模态输入的语言模型。

seamless-m4t-v2-large - 跨语言跨模态机器翻译新里程碑

GithubHuggingfaceSeamlessM4T多语言翻译开源项目文本翻译模型自动语音识别语音翻译

SeamlessM4T v2是一款先进的多语言多模态机器翻译模型，支持近100种语言。它可实现语音与文本之间的多向转换，覆盖101种语音输入、96种文本处理和35种语音输出语言。新版本采用UnitY2架构，显著提升了翻译质量和语音生成效率，为跨语言交流提供了更优秀的技术支持。

Bert-VITS2 - 多语言BERT驱动的语音合成模型

Bert-VITS2FishAudioGithubMassTTSTTSVITS开源项目

Bert-VITS2项目融合了多语言BERT和先进的自回归TTS模型，提供高品质的语音合成。此项目参考了MassTTS等开源项目，并推荐使用Fish-Speech。详情和演示请参见视频链接和文档，项目强调中文用户需求和法律合规，禁止违规用途。

LiveWhisper - 基于Whisper模型的实时语音转录和语音助手

GithubLiveWhisperWhisper开源项目录音转录语音命令助手语音激活

LiveWhisper项目利用OpenAI的Whisper模型，通过sounddevice库采集声音，实现句子到句子的实时语音转录。该项目可以在一定条件下替代SpeechRecognition工具。它还包括一个语音命令助手，类似于Siri和Alexa，能够执行多种语音命令，如查询天气、时间、讲笑话及执行Wikipedia搜索等。适用于技术爱好者和开发人员，帮助实现高效的语音交互系统。

silero-models - 提供预训练的企业级语音识别和合成模型

GithubONNXPyTorchSilero Models开源项目文本转语音语音识别

silero-models展示高质量预训练语音识别与合成模型，提供简化的企业级语音技术解决方案，性能匹敌谷歌STT。模型即用、支持多语言、语音合成自然，将企业和开发者的部署流程简化至极致。

SenseVoice - 高效、多语种语音识别与情绪识别技术平台

GithubSenseVoice多语言语音识别开源项目情绪识别推理效率热门音频事件检测

SenseVoice是一款支持多语言的语音解析模型，整合了自动语音识别、语种识别、情绪识别及音频事件检测功能。该项目采用非自回归端到端框架，可在超过50种语言上提供精准的语音识别服务，大幅降低了推理延迟，提供方便的微调脚本和多语种细粒度情绪分析，支持多种客户端语言和服务部署，适用于多种商业场景。

Qwen2-Audio-7B - 多模态音频语言模型支持语音交互和内容分析

GithubHuggingfaceQwen2-Audio开源项目模型自然语言处理语音交互音频分析音频语言模型

Qwen2-Audio-7B是一个创新的音频语言模型，具备处理多种音频输入的能力。该模型提供语音聊天和音频分析两种交互模式，支持自由语音对话及音频文本混合分析。模型发布了预训练和对话两个版本，为音频理解和处理领域带来了新的可能性。

MSMC-TTS - 多阶段多码本神经网络文本转语音系统

GithubMSMC-TTSVQ-VAE多阶段多码本开源项目神经网络TTS语音合成

MSMC-TTS是一个高性能神经网络文本转语音系统，基于多阶段多码本VQ-VAE技术。该系统集成了MSMC-VQ-VAE和HifiGAN，通过MSMC-VQ-GAN自编码器优化，并采用多阶段预测器作为声学模型。MSMC-TTS在标准和低资源语言的语音合成中表现优异，能够生成紧凑的语音表示和高质量的语音输出。项目提供了详细的训练、测试和推理指南，并包含针对MSMC-VQ-GAN和多阶段预测器的优化建议。

MelNet - MelNet音频频域生成模型的全面实现

GithubMelNetPythonTTS合成开源项目条件生成音频生成

MelNet项目提供了一个在音频频域中生成模型的实现，支持无条件与条件音频生成。该技术兼容多个数据集，包括Blizzard和VoxCeleb2，支持灵活的训练配置，同时实现多GPU训练与TTS合成，不断更新以支持更多音频处理功能。它为致力于音频生成技术研究的开发者和研究人员提供了有力工具。

stt_en_conformer_transducer_xlarge - Conformer-Transducer模型的超大规模语音识别能力

GithubHuggingfaceNVIDIA ConformerNVIDIA Riva开源项目模型模型训练自动语音识别语音转录

Conformer-Transducer超大模型拥有600M参数，专为英语自动语音识别设计，以较低的字错误率（WER）脱颖而出。通过NVIDIA NeMo工具包训练，涵盖LibriSpeech、Mozilla Common Voice等多个数据集。模型支持Python调用，具备细化调优和批量处理功能，适合多种语音识别应用。虽然暂未兼容NVIDIA Riva，但其在英语语音处理方面表现卓越。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com