Github
Huggingface
文档
论文distilbert-base-uncased-emotion项目介绍
这个项目是一个基于DistilBERT模型的情感分类模型，专门用于识别文本中的情感。该模型是在情感数据集上微调的DistilBERT-base-uncased模型。
模型概述
DistilBERT是一种轻量级的BERT模型变体，通过知识蒸馏技术，在保留97%语言理解能力的同时，将模型大小减少了40%。这使得DistilBERT比原始BERT模型更小、更快。
本项目的模型是在Twitter情感数据集上进行微调的。微调过程使用了Hugging Face的Trainer库，采用以下超参数：
- 学习率：2e-5
- 批次大小：64
- 训练轮数：8
模型性能
在Twitter情感数据集上，该模型展现出了优秀的性能：
- 准确率：93.8%
- F1分数：93.79
- 测试样本处理速度：398.69个样本/秒
相比其他基于BERT的模型，如BERT-base-uncased-emotion、RoBERTa-base-emotion和ALBERT-base-v2-emotion，该模型在保持较高准确率的同时，具有更快的处理速度。
使用方法
使用该模型进行情感分类非常简单。以下是一个示例代码：
from transformers import pipeline
classifier = pipeline("text-classification", model='bhadresh-savani/distilbert-base-uncased-emotion', return_all_scores=True)
prediction = classifier("I love using transformers. The best part is wide range of support and its easy to use")
print(prediction)
输出结果将显示文本属于各个情感类别的概率分数。
数据集
该模型使用的是Twitter情感分析数据集，包含了多种情感标签，如喜悦、悲伤、愤怒、恐惧等。
训练过程
训练过程在Colab notebook上完成，感兴趣的用户可以查看GitHub上的相关代码。
评估结果
模型在测试集上的表现如下：
- 测试准确率：93.8%
- 测试F1分数：0.938
- 测试损失：0.147
此外，模型还展示了优秀的处理速度，能够以398.69个样本/秒的速度处理测试样本。
总的来说，distilbert-base-uncased-emotion是一个高效、准确的情感分类模型，适用于需要快速处理大量文本数据的情感分析任务。它在保持高准确率的同时，提供了更快的处理速度，是文本情感分析领域的一个优秀选择。
