Github
Huggingface项目简介：wav2vec2-xls-r-1b-ca-lm
项目背景
wav2vec2-xls-r-1b-ca-lm是一个自动语音识别模型，致力于识别加泰罗尼亚语。这款模型是在facebook的wav2vec2-xls-r-300m模型基础上进行了微调，主要使用了Mozilla基金会的Common Voice 8.0，加泰罗尼亚语的数据集，以及来自tv3_parla和parlament_parla的数据。
模型描述
此模型为facebook原有的wav2vec2-xls-r-1b模型的微调版本，其通过对现有大规模数据集的微调来提升在加泰罗尼亚语上的性能。
使用目的及局限性
这个模型适用于需要加泰罗尼亚语言识别的任务。但由于数据来源于众包数据集，模型可能受到数据偏差的影响。尤其是在一些加泰罗尼亚语的低资源方言上可能表现不佳。
训练与评估数据
模型训练过程中使用了来自Mozilla基金会和其他来源的多种数据集，并在训练集的测试部分进行了评估。模型评估结果采用了WER（词错误率）和CER（字符错误率）两种指标进行衡量，其在不同数据集测试中的WER和CER值略有不同。
训练过程
训练数据经过了预处理，以去除加泰罗尼亚语字母表之外的字符。数字转化为相应的文字形式是通过一段代码实现的，这段代码由@ccoreilly提供。
训练结果
训练过程及评估结果记录在Tensorboard中，用户可以查看详细的训练记录和训练曲线。
训练超参数
训练中使用了以下超参数：
- 学习率：2e-05
- 训练批次大小：8
- 评估批次大小：8
- 随机种子：42
- 梯度累积步数：8
- 总训练批次大小：64
- 优化器：Adam，参数为betas=(0.9,0.999)，epsilon=1e-08
- 学习率调度器类型：linear
- 学习率调度器预热步骤数：2000
- 训练周期：10.0
- 混合精度训练：原生AMP
框架版本
- Transformers 4.17.0.dev0
- Pytorch 1.10.2+cu102
- Datasets 1.18.3
- Tokenizers 0.11.0
致谢
特别感谢@ccoreilly和@gullabi为该模型提供的资源和知识支持，使得这个模型的开发成为可能。
