Github
Huggingface
论文parakeet-tdt_ctc-110m项目介绍
项目背景
parakeet-tdt_ctc-110m 是一个自动语音识别（ASR）模型，能够将语音转录为带有标点符号和英文大写字母的文本。该项目由NVIDIA NeMo和Suno.ai团队联合开发。这是一个约有114M参数的大型混合 FastConformer TDT-CTC 模型。
模型架构
该模型采用了混合型 FastConformer-TDT-CTC 架构。FastConformer 是 Conformer 模型的优化版本，具备8倍深度可分离卷积下采样功能。这使得该模型可以在一次处理长达20分钟的音频。其实时传输值（RTFx）在所有数据集中都表现异常快速，平均RTFx可达到大约5300。
训练数据集
模型的训练数据来源于多个数据集，总计36,000小时的英语语音数据。这些数据包括NVIDIA NeMo和Suno团队收集的27,000小时私有子集及9,000小时的公共数据集，如Librispeech、Fisher Corpus、National Speech Corpus Part 1、VCTK、VoxPopuli、Europarl-ASR、Multilingual Librispeech（MLS EN）以及Mozilla Common Voice等。
性能表现
parakeet-tdt_ctc-110m被评估在多个流行的数据集上，其表现以词错误率（WER）衡量，具体如下：
- AMI (Meetings test): WER 15.88
- Earnings-22: WER 12.42
- GigaSpeech: WER 10.52
- LibriSpeech (clean): WER 2.4
- SPGI Speech: WER 2.54
- tedlium-v3: WER 4.16
- Vox Populi: WER 6.91
模型使用
此模型可在NeMo工具包中使用，作为预训练检查点进行推理或在其他数据集上微调。用户可以轻松地通过Python代码调用预训练模型，支持对单个或多个音频文件进行转录。
部署
虽然该模型目前尚未得到NVIDIA Riva的支持，但Riva是一个加速的语音AI SDK，可以在各种云环境和设备上部署。Riva提供高级语音识别、流媒体支持以及企业级服务。
许可证
此模型的使用许可证为CC-BY-4.0，下载和使用模型即表示您接受该许可证的条款和条件。
通过结合各种先进的技术和丰富的数据集，parakeet-tdt_ctc-110m为用户提供了强大而灵活的自动语音识别解决方案。
