项目简介:roberta-base-finetuned-semeval24
roberta-base-finetuned-semeval24 是一个经过精调的模型,原始模型是 FacebookAI/roberta-base。这个模型并没有提及使用了具体的数据集,但通过评估可以获得以下结果:
- 损失值(Loss):1.7332
- 准确率(Accuracy):84.25%
- F1 值:84.23%
模型描述
目前关于此模型的描述尚不完整,仍需更多信息来补充。
预期用途和限制
此部分信息尚未提供,但通常可以用于文本分类或自然语言处理任务。
训练和评估数据
目前尚无关于训练和评估数据的详细信息,但完整的数据使用情况有助于理解模型的适用场景。
训练过程
训练过程中使用了一些关键的超参数:
- 学习率(learning_rate):2e-05
- 训练批量大小(train_batch_size):16
- 评估批量大小(eval_batch_size):16
- 随机种子(seed):42
- 优化器(optimizer):Adam,betas=(0.9,0.999),epsilon=1e-08
- 学习率调度类型(lr_scheduler_type):线性(linear)
- 训练轮数(num_epochs):5
训练结果
在不同的训练阶段,模型的性能表现如下:
训练损失 | 轮次 | 步骤数 | 验证损失 | 准确率 | F1 值 |
---|---|---|---|---|---|
未记录 | 1.0 | 7485 | 1.0596 | 83.07% | 83.04% |
0.0205 | 2.0 | 14970 | 1.1700 | 86.19% | 86.20% |
0.0205 | 3.0 | 22455 | 1.1577 | 87.04% | 87.04% |
0.0041 | 4.0 | 29940 | 1.4886 | 83.08% | 83.00% |
0.0041 | 5.0 | 37425 | 1.7332 | 84.25% | 84.23% |
使用的框架和版本
该模型在以下软件框架和工具的支持下进行训练:
- Transformers 版本:4.40.1
- Pytorch 版本:2.3.0+cu121
- Datasets 版本:2.19.0
- Tokenizers 版本:0.19.1
总体来说,roberta-base-finetuned-semeval24 是一个强大且经过精细调优的自然语言处理模型,尽管其完整应用场景尚需进一步补充说明,但其现有性能指标已显示出较强的文本处理能力。