Huggingface
文档
论文项目概述
这是一个基于Wav2Vec 2.0模型进行微调的英语语音情感识别项目。该项目通过对预训练的Wav2Vec 2.0模型进行微调，实现了对语音中情感的精确识别。最终模型在评估集上取得了97.463%的高准确率，展现了出色的性能。
数据集介绍
研究者们使用了三个著名的语音情感数据集来训练模型：
- SAVEE (Surrey Audio-Visual Expressed Emotion)：包含480个来自4位男性演员的音频文件。
- RAVDESS (Ryerson Audio-Visual Database of Emotional Speech and Song)：包含1440个来自24位专业演员(12位女性，12位男性)的音频文件。
- TESS (Toronto emotional speech set)：包含2800个来自2位女性演员的音频文件。
这些数据集涵盖了不同性别、年龄和口音的说话者，为模型提供了丰富多样的训练样本。
情感标签
模型能够识别7种不同的情感标签：
- 愤怒 (angry)
- 厌恶 (disgust)
- 恐惧 (fear)
- 快乐 (happy)
- 中性 (neutral)
- 悲伤 (sad)
- 惊讶 (surprise)
这些标签涵盖了人类基本的情感表达，使得模型能够适应各种语音情感识别场景。
模型训练
研究者们使用了以下超参数进行模型训练：
- 学习率：0.0001
- 训练批次大小：4
- 评估批次大小：4
- 评估步数：每500步
- 随机种子：42
- 梯度累积步数：2
- 优化器：Adam (betas=(0.9,0.999), epsilon=1e-08)
- 训练轮数：4
- 最大步数：7500
- 保存检查点：每1500步
训练过程中，模型的性能逐步提升。在训练初期，准确率仅为48.6%，但随着训练的进行，准确率稳步上升。在第7500步时，模型达到了97.463%的最终准确率。
应用前景
这个语音情感识别模型具有广泛的应用前景，例如：
- 客户服务质量监控：分析客服电话中客户的情绪变化。
- 心理健康监测：通过语音分析辅助心理健康评估。
- 智能家居：根据用户语音情绪调整家居环境。
- 娱乐产业：为虚拟角色配音提供更真实的情感表达。
- 教育领域：协助教师了解学生的情绪状态，优化教学方法。
局限性
尽管该模型表现出色，但仍存在一些潜在的局限性：
- 数据集局限：训练数据主要来自演员表演，可能与真实场景有差异。
- 语言限制：目前仅支持英语，其他语言的效果有待验证。
- 复杂情感：对于混合或微妙的情感可能识别效果不佳。
- 背景噪音：在嘈杂环境中的识别准确率可能下降。
未来的研究可以针对这些局限性进行改进，以进一步提高模型的实用性和泛化能力。
