访问官网
Github
Huggingface项目概述
该项目是一个基于pyannote/segmentation-3.0模型微调的说话人分割模型，主要针对英语数据集Callhome进行了优化。这是一个专门用于说话人分割和说话人分类的深度学习模型，能够有效地对音频中的说话人进行识别和分割。
技术特点
该模型在评估集上取得了优秀的性能表现：
- 总体损失率仅为0.4602
- 说话人分类错误率(DER)为0.1828
- 误报率为0.0584
- 漏检率为0.0717
- 混淆率为0.0528
使用方法
这个模型的使用非常简单直观。用户可以通过两种方式来使用它：
- 直接使用分割模型：
- 只需要两行代码就可以加载模型
- 使用diarizers库即可快速调用
- 在pyannote说话人分类流程中使用：
- 可以与pyannote/speaker-diarization-3.1管道集成
- 支持GPU和CPU设备
- 可以处理音频样本并输出RTTM格式的分类结果
训练细节
模型采用了以下训练参数：
- 学习率：0.001
- 训练批次大小：32
- 评估批次大小：32
- 随机种子：42
- 优化器：Adam（带有特定的beta参数）
- 学习率调度器：余弦型
- 训练轮数：5轮
训练成果
在5轮训练过程中，模型表现持续提升：
- 训练损失从0.4123降至0.3475
- 验证损失最终稳定在0.4602
- DER指标保持在0.18左右的良好水平
- 各项错误率指标都维持在较低水平
技术环境
项目使用了最新的深度学习框架版本：
- Transformers 4.40.0
- Pytorch 2.2.2+cu121
- Datasets 2.18.0
- Tokenizers 0.19.1
应用价值
该模型特别适用于需要进行英语音频说话人分割的场景，如会议记录、电话对话分析、多人对话转录等。其良好的性能指标和便捷的使用方式，使其成为音频处理领域的实用工具。
