3D-Speaker - 开源多模态说话人识别与验证工具包

license

3D-Speaker是一个开源的单模态和多模态说话人验证、说话人识别和说话人分类工具包。所有预训练模型都可以在ModelScope上获取。此外，我们还提供了一个名为3D-Speaker的大规模语音语料库，以促进语音表示解耦的研究。

快速开始

安装3D-Speaker

git clone https://github.com/alibaba-damo-academy/3D-Speaker.git && cd 3D-Speaker
conda create -n 3D-Speaker python=3.8
conda activate 3D-Speaker
pip install -r requirements.txt

运行实验

# 说话人验证：在3D-Speaker数据集上使用ERes2Net
cd egs/3dspeaker/sv-eres2net/
bash run.sh
# 说话人验证：在3D-Speaker数据集上使用ERes2NetV2
cd egs/3dspeaker/sv-eres2netv2/
bash run.sh
# 说话人验证：在3D-Speaker数据集上使用CAM++
cd egs/3dspeaker/sv-cam++/
bash run.sh
# 说话人验证：在3D-Speaker数据集上使用ECAPA-TDNN
cd egs/3dspeaker/sv-ecapa/
bash run.sh
# 自监督说话人验证：在3D-Speaker数据集上使用RDINO
cd egs/3dspeaker/sv-rdino/
bash run.sh
# 自监督说话人验证：在VoxCeleb数据集上使用SDPN
cd egs/voxceleb/sv-sdpn/
bash run.sh
# 音频和多模态说话人分类：
cd egs/3dspeaker/speaker-diarization/
bash run_audio.sh
bash run_video.sh
# 语言识别
cd egs/3dspeaker/language-idenitfication
bash run.sh

使用ModelScope中的预训练模型进行推理

所有预训练模型都在ModelScope上发布。

# 安装modelscope
pip install modelscope
# 在200k标注说话人上训练的ERes2Net
model_id=iic/speech_eres2net_sv_zh-cn_16k-common
# 在200k标注说话人上训练的ERes2NetV2
model_id=iic/speech_eres2netv2_sv_zh-cn_16k-common
# 在200k标注说话人上训练的CAM++
model_id=iic/speech_campplus_sv_zh-cn_16k-common
# 运行CAM++或ERes2Net推理
python speakerlab/bin/infer_sv.py --model_id $model_id
# 运行批量推理
python speakerlab/bin/infer_sv_batch.py --model_id $model_id --wavs $wav_list

# 在VoxCeleb上训练的SDPN
model_id=iic/speech_sdpn_ecapa_tdnn_sv_en_voxceleb_16k
# 运行SDPN推理
python speakerlab/bin/infer_sv_ssl.py --model_id $model_id

内容概览

监督式说话人验证
- CAM++、ERes2Net、ERes2NetV2、ECAPA-TDNN、ResNet和Res2Net在3D-Speaker上的训练方法。
- CAM++、ERes2Net、ERes2NetV2、ECAPA-TDNN、ResNet和Res2Net在VoxCeleb上的训练方法。
CAM++、ERes2Net、ERes2NetV2、ECAPA-TDNN、ResNet和Res2Net在CN-Celeb数据集上的训练方案。
自监督说话人验证
- RDINO和SDPN在VoxCeleb数据集上的训练方案
- RDINO在3D-Speaker数据集上的训练方案。
- RDINO在CN-Celeb数据集上的训练方案。
说话人分离
- 说话人分离推理方案，包含多个模块，如语音活动检测、语音分割、说话人嵌入提取和说话人聚类。
语种识别
- 语种识别在3D-Speaker数据集上的训练方案。
3D-Speaker数据集
- 数据集介绍和下载地址：3D-Speaker
- 相关论文地址：3D-Speaker

最新动态 :fire:

[2024.8] 发布基于20万说话人数据集训练的ERes2NetV2和ERes2NetV2_w24s4ep4预训练模型。
[2024.5] 在VoxCeleb数据集上发布X-vector模型。
[2024.5] 发布VoxCeleb数据集的SDPN模型训练和推理方案。
[2024.5] 发布视觉模块和语义模块训练方案。
[2024.4] 发布ONNX Runtime及相关推理脚本。
[2024.4] 在VoxCeleb数据集上发布参数更少、推理速度更快的ERes2NetV2模型。
[2024.2] 发布集成语音信息的语种识别方案，提高识别准确率。
[2024.2] 发布多模态说话人分离方案，融合音频和视频图像输入，产生更准确的结果。
[2024.1] 发布3D-Speaker、VoxCeleb和CN-Celeb数据集的ResNet34和Res2Net模型训练和推理方案。
[2024.1] 在说话人验证中发布大间隔微调方案，并添加说话人分离方案。
[2023.11] 发布ERes2Net-base预训练模型，在20万标注说话人的中文数据集上训练。
[2023.10] 发布三个数据集的ECAPA模型训练和推理方案。
[2023.9] 发布CN-Celeb的RDINO模型训练和推理方案。
[2023.8] 在CN-Celeb上发布CAM++、ERes2Net-Base和ERes2Net-Large基准模型。
[2023.8] 发布用于中英文语种识别的ERes2Net和CAM++模型。
[2023.7] 发布在3D-Speaker上训练的CAM++、ERes2Net-Base、ERes2Net-Large预训练模型。
[2023.7] 在说话人分离中发布对话检测和语义说话人变化检测模型。
[2023.7] 发布用于中英文语种识别的CAM++模型。
[2023.6] 发布3D-Speaker数据集及其对应的基准模型，包括ERes2Net、CAM++和RDINO。
[2023.5] 发布ERes2Net预训练模型，在20万标注说话人的中文数据集上训练。
[2023.4] 发布CAM++预训练模型，在20万标注说话人的中文数据集上训练。

联系方式

如果您对3D-Speaker有任何意见或问题，请通过以下方式联系我们：

电子邮件：{chenyafeng.cyf, zsq174630, tongmu.wh, shuli.cly}@alibaba-inc.com

许可证

3D-Speaker 根据Apache License 2.0发布。

致谢

3D-Speaker 包含了第三方组件和修改自一些开源仓库的代码，包括：
Speechbrain、Wespeaker、D-TDNN、DINO、Vicreg、TalkNet-ASD 、Ultra-Light-Fast-Generic-Face-Detector-1MB

引用

如果您觉得这个仓库有用，请考虑给予星标 :star: 和引用 :t-rex:：

@article{chen2024eres2netv2,
  title={ERes2NetV2: 提高短时说话人验证性能的同时提升计算效率},
  author={Chen, Yafeng and Zheng, Siqi and Wang, Hui and Cheng, Luyao, and others},
  booktitle={INTERSPEECH},
  year={2024}
}
@article{chen2024sdpn,
  title={自蒸馏原型网络：无监督学习鲁棒说话人表征},
  author={Chen, Yafeng and Zheng, Siqi and Wang, Hui and Cheng, Luyao and others},
  url={https://arxiv.org/pdf/2308.02774},
  year={2024}
}
@article{chen20243d,
  title={3D-Speaker-Toolkit: 用于多模态说话人验证和说话人分类的开源工具包},
  author={Chen, Yafeng and Zheng, Siqi and Wang, Hui and Cheng, Luyao and others},
  url={https://arxiv.org/pdf/2403.19971},
  year={2024}
}
@inproceedings{zheng20233d,
  title={3D-Speaker: 一个大规模的多设备、多距离和多方言语音表征解耦语料库},
  author={Siqi Zheng, Luyao Cheng, Yafeng Chen, Hui Wang and Qian Chen},
  url={https://arxiv.org/pdf/2306.15354},
  year={2023}
}
@inproceedings{wang2023cam++,
  title={CAM++: 一种基于上下文感知掩码的快速高效说话人验证网络},
  author={Wang, Hui and Zheng, Siqi and Chen, Yafeng and Cheng, Luyao and Chen, Qian},
  booktitle={INTERSPEECH},
  year={2023}
}
@inproceedings{chen2023enhanced,
  title={一种用于说话人验证的增强型Res2Net与局部和全局特征融合},
  author={Chen, Yafeng and Zheng, Siqi and Wang, Hui and Cheng, Luyao and Chen, Qian and Qi, Jiajun},
  booktitle={INTERSPEECH},
  year={2023}
}
@inproceedings{chen2023pushing,
  title={利用正则化蒸馏框架推动自监督说话人验证的极限},
  author={Chen, Yafeng and Zheng, Siqi and Wang, Hui and Cheng, Luyao and Chen, Qian},
  booktitle={ICASSP},
  year={2023}
}