访问官网
Github
HuggingfaceGuwenBERT项目介绍
项目简介
GuwenBERT是一个基于RoBERTa模型的预训练项目，专注于古代汉语（文言文）。这个模型可以用于各种下游任务，例如句子断句、标点符号恢复、命名实体识别等。它能够帮助研究人员和开发人员更好地处理古代文献数据。
使用方式
若要使用GuwenBERT模型，可以通过Python的transformers库来加载：
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("ethanyt/guwenbert-base")
model = AutoModel.from_pretrained("ethanyt/guwenbert-base")
训练数据
GuwenBERT的训练数据来自“殆知阁古代文献”数据集，该数据集包含15,694本文言文书籍，涵盖了佛教、儒学、医学、历史、道教等领域。其中76%的文献带有标点符号。一共大约有17亿汉字，所有繁体字已被转化为简体字。这个数据集构建了一个包含23,292个词汇的词汇表。
训练过程
模型初始化采用了hfl/chinese-roberta-wwm-ext，并通过两步策略进行预训练。第一步中，只更新词嵌入以进行掩码语言模型（MLM）的学习，直至收敛。第二步则更新所有参数。
训练使用4台V100 GPU进行，总共120K步（其中20K用于步骤一，100K用于步骤二），批处理大小为2,048，序列长度为512。优化器使用的是Adam，学习率为2e-4，贝塔为(0.9,0.98)，epsilon为1e-6，权重衰减为0.01，前5K步进行学习率预热，随后进行线性衰减。
评估结果
GuwenBERT在“古联杯”古籍命名实体识别评估中获得了第二名。详细测试结果如下：
| 实体类型 | 精确率 | 召回率 | F1值 |
|---|---|---|---|
| 书名 | 77.50 | 73.73 | 75.57 |
| 其他名称 | 85.85 | 89.32 | 87.55 |
| 微平均值 | 83.88 | 85.39 | 84.63 |
关于我们
我们是来自北京理工大学的数据锤团队。更多合作请联系：ethanyt [at] qq.com
由Tan Yan和Zewen Chi用❤️创建
