Github
HuggingfacedistilRoberta金融新闻情感分析模型介绍
这个项目是一个基于distilRoberta模型的金融新闻情感分析模型。它通过在金融短语库数据集上微调distilRoberta-base模型而得到。该模型在评估集上取得了很高的准确率,达到了98.23%。
模型基础
该模型是在RoBERTa-base模型的基础上进行蒸馏得到的。它采用了与DistilBERT相同的训练过程。相比于原始的RoBERTa-base模型(125M参数),该模型只有6层、768维度和12个注意力头,总共82M参数,但平均速度是RoBERTa-base的两倍。
训练数据
训练数据来自金融新闻的极性情感数据集。该数据集包含4840个英语金融新闻句子,每个句子都标注了情感类别。数据集根据5-8名标注者的一致性程度进行了划分。
训练过程
模型采用了以下超参数进行训练:
- 学习率: 2e-05
- 训练批次大小: 8
- 评估批次大小: 8
- 随机种子: 42
- 优化器: Adam
- 学习率调度: 线性衰减
- 训练轮数: 5
在训练过程中,模型的验证损失从第一轮的0.1670下降到第四轮的0.1116,准确率从96.46%提升到98.23%。
应用场景
该模型可以用于分析金融新闻文本的情感倾向,帮助投资者和分析师快速了解市场情绪。例如,可以输入"Operating profit totaled EUR 9.4 mn , down from EUR 11.7 mn in 2004 ."这样的金融新闻句子,模型就能判断其情感倾向。
技术细节
该模型基于Transformers 4.10.2、PyTorch 1.9.0、Datasets 1.12.1等框架开发。它是一个文本分类模型,可以直接用于情感分析任务。
总的来说,这是一个在金融领域表现出色的情感分析模型,具有很高的准确率和较快的推理速度,为金融文本分析提供了有力的工具。
