Huggingface项目介绍：t5-base-finetuned-sst2
项目概览
t5-base-finetuned-sst2 是基于 T5 模型在 GLUE SST-2 数据集上进行了微调（fine-tuning）的文本分类模型。在验证集上的准确率达到 93.23%，可以用来高效地进行情感分析。
模型详细信息
T5（Text-to-Text Transfer Transformer）是一种编码器-解码器结构的预训练模型。它通过将不同的任务转换为统一的文本到文本的格式进行学习，能够同时处理无监督和有监督的多任务。通过这样的设计，T5 模型可以在多种自然语言处理任务中表现出色。
训练过程
分词（Tokenization）
由于 T5 模型是一个文本到文本的模型，因此需要将数据集的标签进行转换。在每个示例中，将句子转换为 "sst2 sentence: " 加上实际的句子内容作为输入，然后将其送入分词器以获取输入 ids 和注意力掩码。对于标签，如果标签为 1，则选择为 “positive”，否则为 “negative”，并同样进行分词以获取标签的输入 ids 和注意力掩码。训练过程中，输入 ids 中包含的 pad token 会被替换为 -100，以便在计算损失时忽略这些位置。之后，这些输入 ids 会被作为标签，标签的注意力掩码会用作解码器的注意力掩码。
训练超参数
在训练过程中使用了以下超参数：
- 学习率：3e-4
- 训练批次大小：16
- 验证批次大小：16
- 随机种子：42
- 优化器：epsilon=1e-08
- 训练回合数：2
训练结果
在整个训练过程中，模型在每个训练回合的训练损失和验证准确率如下所示：
| Epoch | 训练损失 | 验证准确率 |
|---|---|---|
| 1 | 0.1045 | 0.9323 |
| 2 | 0.0539 | 0.9243 |
从结果可以看出，模型在第一个训练回合即达到了较高的验证准确率，说明其在情感分类任务中的性能非常优越。总体来说，t5-base-finetuned-sst2 是一个经过精调后能高效、高准确率地进行文本情感分类的模型，值得相关领域的从业人员进行参考和使用。
