Github
Huggingface
文档
论文项目介绍：voxcelebs12_rawnet3
背景概述
voxcelebs12_rawnet3 项目是使用 ESPnet（End-to-End Speech Processing Toolkit）框架进行开发的。ESPnet 是一个深度学习工具包，专注于语音处理。这一特定模型是由 Jungjee 开发的，使用的是 voxceleb 数据集中的配方，这是一套广泛用于说话人识别研究的数据集。该项目的主要目标是提升说话人识别中的性能与准确性。
多语言能力与数据集
voxcelebs12_rawnet3 支持多语言环境，能够识别和处理不同语言的语音数据。它基于 voxceleb 数据集进行训练，这个数据集包含了来自多个语种的语音样本，因而具备良好的多语言适应性。
使用指南
要在 ESPnet2 中使用该模型，首先需要安装 ESPnet 工具包。之后，在模型的目录下执行以下命令以下载并准备使用模型：
cd espnet
git checkout 0c489a83607efb8e21331a9f01df21aac58c2a88
pip install -e .
cd egs2/voxceleb/spk1
./run.sh --skip_data_prep false --skip_train true --download_model espnet/voxcelebs12_rawnet3
此外，还可以通过 Python 脚本加载并应用模型：
import numpy as np
from espnet2.bin.spk_inference import Speech2Embedding
# 通过上传的预训练模型使用
speech2spk_embed = Speech2Embedding.from_pretrained(model_tag="espnet/voxcelebs12_rawnet3")
embedding = speech2spk_embed(np.zeros(16500))
# 使用自己训练的检查点
speech2spk_embed = Speech2Embedding(model_file="model.pth", train_config="config.yaml")
embedding = speech2spk_embed(np.zeros(32000))
环境信息与性能指标
该模型运行于 Python 3.9.16 环境，使用了 ESPnet 202310 版本和 PyTorch 2.0.1。性能指标显示，该模型在目标与非目标条件下的均值与标准差分别为 -0.8015、0.1383 和 0.0836、0.0836。同时，其等错误率（EER）为 0.739%，最小检测成本函数（minDCF）为 0.05818，均显示出了较好的识别能力。
说话人识别配置
模型训练使用的配置文件非常详细，配置了包括批量大小、优化器（Adam）、学习率调度器、预处理方式、前端和后端参数等多项内容。其中，模型采用了 RawNet3 作为编码器，并使用 AAM-Softmax 损失函数优化模型性能。
未来引用
如果在研究中使用此模型或其实现方法，可以引用以下文献以示感谢：
@article{jung2024espnet,
title={ESPnet-SPK: full pipeline speaker embedding toolkit with reproducible recipes, self-supervised front-ends, and off-the-shelf models},
author={Jung, Jee-weon and Zhang, Wangyou and Shi, Jiatong and Aldeneh, Zakaria and Higuchi, Takuya and Theobald, Barry-John and Abdelaziz, Ahmed Hussen and Watanabe, Shinji},
journal={arXiv preprint arXiv:2401.17230},
year={2024}
}
@article{jung2022pushing,
title={Pushing the limits of raw waveform speaker recognition},
author={Jung, Jee-weon and Kim, You Jin and Heo, Hee-Soo and Lee, Bong-Jin and Kwon, Youngki and Chung, Joon Son},
journal={Proc. Interspeech},
year={2022}
}
@inproceedings{watanabe2018espnet,
author={Shinji Watanabe and Takaaki Hori and Shigeki Karita and Tomoki Hayashi and Jiro Nishitoba and Yuya Unno and Nelson Yalta and Jahn Heymann and Matthew Wiesner and Nanxin Chen and Adithya Renduchintala and Tsubasa Ochiai},
title={{ESPnet}: End-to-End Speech Processing Toolkit},
year={2018},
booktitle={Proc. Interspeech},
pages={2207--2211},
doi={10.21437/Interspeech.2018-1456},
url={http://dx.doi.org/10.21437/Interspeech.2018-1456}
}
通过了解以上信息，研究人员和开发者能够更加轻松地应用和拓展这一强大的说话人识别模型，以支持更为复杂的语音处理任务。
