Project Icon

wav2vec2-large-robust-ft-libri-960h

多领域预训练的大规模语音识别模型

wav2vec2-large-robust-ft-libri-960h是一个基于Wav2Vec2架构的大规模语音识别模型。该模型在多个领域的音频数据集上进行了预训练,包括Libri-Light、CommonVoice、Switchboard和Fisher,涵盖了有声读物、众包语音和电话交谈等多种音频类型。随后,模型在960小时的Librispeech数据集上进行了微调。这种多领域预训练和目标域微调的方法显著提高了模型在跨领域语音识别任务中的性能。模型支持16kHz采样率的语音输入,适用于需要处理多样化音频数据的应用场景。

wav2vec2-large-robust-ft-libri-960h项目介绍

wav2vec2-large-robust-ft-libri-960h是一个基于Facebook的Wav2Vec2模型进行微调的语音识别模型。该项目旨在提供一个强大的、通用的语音识别解决方案,能够适应多种不同的语音数据域。

模型背景

这个模型是在wav2vec2-large-robust的基础上进行微调得到的。它的预训练数据包括了多个不同领域的语音数据集:

  • Libri-Light:来自LibriVox项目的开源有声书数据,清晰的朗读音频
  • CommonVoice:众包收集的音频数据,包含朗读的文本片段
  • Switchboard:电话语音语料库,包含噪声较大的电话数据
  • Fisher:对话式电话语音,同样包含噪声较大的电话数据

在预训练之后,模型又在960小时的Librispeech数据集上进行了微调。Librispeech是一个开源的朗读音频数据集。

模型特点

该模型的一个重要特点是它能够很好地适应不同的语音数据域。研究表明,在预训练阶段使用目标域的未标注数据可以显著提高模型在该域上的性能。在大规模的实验中,这种方法将模型在域内和域外标注数据上训练的性能差距缩小了66%-73%。

此外,研究者还发现,在多个域上进行预训练可以提高模型在训练时未见过的域上的泛化性能。这意味着该模型具有很强的适应性和通用性。

使用方法

使用这个模型进行语音识别非常简单。用户只需要使用Hugging Face的transformers库就可以轻松地加载模型和处理器,然后对音频文件进行转录。

具体步骤包括:

  1. 加载模型和处理器
  2. 读取音频文件
  3. 使用处理器对音频数据进行tokenize
  4. 使用模型获取logits
  5. 对logits进行argmax操作,然后使用处理器进行解码,得到最终的转录结果

注意事项

使用这个模型时,需要确保输入的语音数据的采样率为16kHz。这是因为模型在训练时使用的就是这个采样率的数据。

总结

wav2vec2-large-robust-ft-libri-960h是一个强大的、通用的语音识别模型。它通过在多个不同域的数据上进行预训练和微调,展现出了优秀的跨域性能和泛化能力。这个模型为研究人员和开发者提供了一个便捷的工具,可以用于各种语音识别任务,特别是在目标域缺乏大量标注数据的情况下。

人工智能助手 (Human: 根据SOURCE_TEXT的内容

1、给wav2vec2-large-robust-ft-libri-960h项目做一个详细的项目介绍文章,语言通俗易懂,内容丰富 2、使用Simplified Chinese输出, 使用第三人称描述 3、输出格式为markdown格式,可以使用二级标题,避免使用一级标题

除文章内容外不要输出其他额外内容。

The SOURCE_TEXT is below, delimited by XML tags <SOURCE_TEXT></SOURCE_TEXT>.

<SOURCE_TEXT>

language: en datasets:


Wav2Vec2-Large-Robust finetuned on Librispeech

Facebook's Wav2Vec2.

This model is a fine-tuned version of the wav2vec2-large-robust model. It has been pretrained on:

  • Libri-Light: open-source audio books from the LibriVox project; clean, read-out audio data
  • CommonVoice: crowd-source collected audio data; read-out text snippets
  • Switchboard: telephone speech corpus; noisy telephone data
  • Fisher: conversational telephone speech; noisy telephone data

and subsequently been finetuned on 960 hours of

When using the model make sure that your speech input is also sampled at 16Khz.

Paper Robust Wav2Vec2

Authors: Wei-Ning Hsu, Anuroop Sriram, Alexei Baevski, Tatiana Likhomanenko, Qiantong Xu, Vineel Pratap, Jacob Kahn, Ann Lee, Ronan Collobert, Gabriel Synnaeve, Michael Auli

Abstract Self-supervised learning of speech representations has been a very active research area but most work is focused on a single domain such as read audio books for which there exist large quantities of labeled and unlabeled data. In this paper, we explore more general setups where the domain of the unlabeled data for pre-training data differs from the domain of the labeled data for fine-tuning, which in turn may differ from the test data domain. Our experiments show that using target domain data during pre-training leads to large performance improvements across a variety of setups. On a large-scale competitive setup, we show that pre-training on unlabeled in-domain data reduces the gap between models trained on in-domain and out-of-domain labeled data by 66%-73%. This has obvious practical implications since it is much easier to obtain unlabeled target domain data than labeled data. Moreover, we find that pre-training on multiple domains improves generalization performance on domains not seen during training. Code and models will be made available at this https URL.

The original model can be found under https://github.com/pytorch/fairseq/tree/master/examples/wav2vec#wav2vec-20.

Usage

To transcribe audio files the model can be used as a standalone acoustic model as follows:

 from transformers import Wav2Vec2Processor, Wav2Vec2ForCTC
 from datasets import load_dataset
 import soundfile as sf
 import torch
 
 # load model and processor
 processor = Wav2Vec2Processor.from_pretrained("facebook/wav2vec2-large-robust-ft-libri-960h")
 model = Wav2Vec2ForCTC.from_pretrained("facebook/wav2vec2-large-robust-ft-libri-960h")
 
 # define function to read in sound file
 def map_to_array(batch):
     speech, _ = sf.read(batch["file"])
     batch["speech"] = speech
     return batch
     
 # load dummy dataset and read soundfiles
 ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")
 ds = ds.map(map_to_array)
 
 # tokenize
 input_values = processor(ds["speech"][:2], return_tensors="pt", padding="longest").input_values  # Batch size 1
 
 # retrieve logits
 logits = model(input_values).logits
 
 # take argmax and decode
 predicted_ids = torch.argmax(logits, dim=-1)
 transcription = processor.batch_decode(predicted_ids)

</SOURCE_TEXT>

项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号