conformer

结合卷积神经网络和Transformers的语音识别模型

Conformer PyTorch 卷积神经网络 Transformer 语音识别 Github 开源项目

Conformer模型结合卷积神经网络和Transformers，能同时捕捉音频的局部和全局依赖关系，提高语音识别精度并节省参数。本项目提供该模型的PyTorch实现，包含详细的安装和使用指南，适用于Python 3.7及更高版本。

TensorflowASR - Tensorflow 2和Conformer结合的端到端语音识别解决方案

CTCConformerGithubONNXTensorflowASR开源项目语音识别

Tensorflow 2和Conformer结构打造的端到端语音识别模型，支持在线流式和离线识别，实时率约为0.1。该项目提供VAD、降噪、TTS数据增强等功能，并支持ONNX推理优化。训练结果在Aishell-1测试集上表现优异，适用于语音识别。最新更新的Chunk Conformer结构进一步提升了长时间语音识别的准确性和效率。

stt_en_conformer_transducer_xlarge - Conformer-Transducer模型的超大规模语音识别能力

GithubHuggingfaceNVIDIA ConformerNVIDIA Riva开源项目模型模型训练自动语音识别语音转录

Conformer-Transducer超大模型拥有600M参数，专为英语自动语音识别设计，以较低的字错误率（WER）脱颖而出。通过NVIDIA NeMo工具包训练，涵盖LibriSpeech、Mozilla Common Voice等多个数据集。模型支持Python调用，具备细化调优和批量处理功能，适合多种语音识别应用。虽然暂未兼容NVIDIA Riva，但其在英语语音处理方面表现卓越。

wav2vec2-conformer-rope-large-960h-ft - Wav2Vec2 Conformer模型在Librispeech数据集上的语音识别应用

ConformerGithubHuggingfaceLibriSpeechWav2Vec2开源项目模型自然语言处理语音识别

这是一个基于Wav2Vec2 Conformer架构的语音识别模型，采用旋转位置嵌入技术，在Librispeech数据集的960小时音频上完成预训练和微调。模型在Librispeech测试集上表现优异，'clean'和'other'子集的词错误率分别为1.96%和3.98%。支持16kHz采样的语音输入，适用于精确的语音转文本任务。

stt_en_conformer_ctc_large - 高级自动语音识别的Conformer-CTC模型及其与NVIDIA Riva的兼容性

Conformer-CTCGithubHuggingfaceNVIDIA RivaNeMo工具包开源项目模型自动语音转录语音识别

stt_en_conformer_ctc_large是一个非自回归的Conformer-CTC模型，通过NeMo工具包和多样的训练数据集，提高了语音识别的准确性和效率。模型可以识别多种英文语音样本，并与NVIDIA Riva兼容，支持生产级部署。该模型含有1.2亿个参数，处理16kHz单声道音频输入，并输出转录文本。适合用于推理和新数据集上的微调。结合外部语言模型，在多项测试中实现了低WER，适用于实时语音识别。

EEG-Conformer - 结合卷积和自注意力的EEG解码与可视化工具

EEG ConformerEEG解码Github卷积神经网络大脑波形投影开源项目自注意力机制

EEG Conformer是一种结合卷积和自注意力机制的EEG分类与可视化工具。其卷积模块提取时间和空间上的局部特征，自注意力模块捕捉全局关联，最终通过全连接层进行分类预测。此外，EEG Conformer还具备将类激活映射到脑拓扑图的可视化功能。支持Python 3.10和Pytorch 1.12，在多个BCI竞赛数据集上表现出色。

parakeet-tdt_ctc-110m - 流畅高效的FastConformer TDT-CTC语音识别解决方案

GithubHuggingfaceNVIDIA NeMo开源项目快速Conformer模型模型架构自动语音识别语音转写

该模型融合FastConformer与TDT-CTC架构，专为英文语音识别而优化，支持转录标点和大写字母。以高效架构处理长达20分钟音频数据，通过NVIDIA NeMo和Suno团队训练，在多个基准数据集中表现优异。通过NeMo工具包，预训练检查点便于进行模型推理或微调。

Transformer-TTS - 神经语音合成系统

GithubPyTorchTacotronTransformer-TTS开源项目神经网络语音合成

Transformer-TTS，一个基于Pytorch的高效神经语音合成系统。它使用Transformer网络，且训练速度是传统seq2seq模型的3到4倍。不仅提供预训练模型，其合成语音质量经实验证明优异。同时，项目支持自定义学习模型及策略，包括Noam式预热衰减学习率及关键的梯度裁剪等，是语音合成研究的理想选择。

w2v-bert-2.0 - 大规模多语言语音编码器

GithubHuggingfaceSeamless CommunicationTransformersW2v-BERT 2.0开源项目模型语音编码器预训练模型

W2v-BERT 2.0是一款开源的多语言语音编码器，基于Conformer架构设计。该模型包含6亿参数，在4.5百万小时的无标签音频数据上进行预训练，涵盖143种语言。作为Seamless系列的核心组件，W2v-BERT 2.0可应用于自动语音识别和音频分类等任务。该模型支持通过Hugging Face Transformers和Seamless Communication框架使用，为多语言语音处理研究提供了有力工具。

Comprehensive-Transformer-TTS - 基于非自回归 Transformer 的 TTS

GithubPyTorchTTS开源项目持续时间建模语音合成非自回归变换器

该项目采用非自回归Transformer技术，集成多种最新状态转换模型。Comprehensive-Transformer-TTS不仅提供监督与非监督持续时间建模, 也支持多种数据集和SOTA技术，如Fastformer和Long-Short Transformer，力求在文本到语音转换领域取得领先成果。

reazonspeech-nemo-v2 - 改进后的Conformer架构实现日语长音频自动语音识别

ConformerGithubHuggingfaceNeMoReazonSpeech开源项目日语模型语音识别

reazonspeech-nemo-v2是一个基于改进Conformer架构的日语自动语音识别模型。它采用Longformer注意力机制和RNN-T结构，可处理长达数小时的音频。模型在ReazonSpeech v2.0语料库上训练，参数量为619M。通过reazonspeech库，用户可便捷地使用该模型进行日语语音识别。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

稿定AI

稿定设计是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com