项目介绍:phibert-finetuned-ner
模型概述
phibert-finetuned-ner是一个经过微调的命名实体识别(NER)模型,基于dmis-lab/biobert-v1.1。这个模型在评估集上的表现非常优秀,各项指标如下:
- 损失(Loss):0.0293
- 精确率(Precision):0.9238
- 召回率(Recall):0.9213
- F1 分数:0.9226
- 准确率(Accuracy):0.9950
模型描述
目前需要更多的信息来进一步说明模型的具体情况。一般地,这类模型用于生物医学领域,通过识别文本中的实体,如疾病、药物、基因等,以促进信息抽取和知识发现。
预期用途及限制
关于这个模型的预期用途及其使用限制,目前还需要补充更多的信息。通常,NER模型在文本分析、信息提取、临床文本处理等领域具有广泛应用。
训练和评估数据
有关训练和评估数据的详细信息尚未提供,需要进一步的补充。在一般情况下,训练数据集与评估数据集的选择在很大程度上决定了NER模型的性能和应用场景。
训练过程
训练超参数
在训练过程中,该模型使用了如下的超参数:
- 学习率(learning_rate):2e-05
- 训练批次大小(train_batch_size):8
- 评估批次大小(eval_batch_size):8
- 随机种子(seed):42
- 优化器(optimizer):Adam,参数为betas=(0.9,0.999)和epsilon=1e-08
- 学习率调度类型(lr_scheduler_type):线性(linear)
- 训练轮数(num_epochs):3
训练结果
三轮训练的结果如下:
- 第一轮:损失0.0309,精确率0.8977,召回率0.9042,F1分数0.9009,准确率0.9939
- 第二轮:损失0.0131,精确率0.9089,召回率0.9114,F1分数0.9102,准确率0.9939
- 第三轮:损失0.0080,精确率0.9238,召回率0.9213,F1分数0.9226,准确率0.9950
可以看出,经过三次训练迭代,模型的性能有了显著的提升。
框架版本
模型训练和评估使用的框架版本是:
- Transformers 4.26.0
- Pytorch 1.13.1+cu116
- Datasets 2.9.0
- Tokenizers 0.13.2
这些工具和框架为模型提供了必要的支持,使其具备出色的自然语言处理能力。