访问官网
Github
Huggingface
文档bert-base-turkish-128k-uncased项目介绍
项目背景
bert-base-turkish-128k-uncased是由巴伐利亚州立图书馆的MDZ数字图书团队（dbmdz）发布的一个土耳其语BERT模型。这个项目名为BERTurk，是一个由社区推动的无大小写限制的BERT模型，旨在为土耳其语自然语言处理提供支持。
数据集与训练
BERTurk模型的训练使用了多个数据来源，包括经过过滤和句子分段处理的土耳其OSCAR语料库、近期的维基百科数据、多种OPUS语料库以及Kemal Oflazer提供的特别语料库。最终训练语料库的总大小为35GB，包含44,049,766,662个词元。通过Google的TensorFlow研究云（TFRC）的支持，研究团队在TPU v3-8上进行了200万步的训练，使得该无大小写模型得以实现。模型使用的词汇表大小为128k。
模型权重
目前，该模型仅提供与PyTorch的Transformers兼容的权重。如果需要获取TensorFlow的检查点，可以在项目页面提交请求。
下载链接如下：
- 配置文件:
config.json - 模型文件:
pytorch_model.bin - 词汇表:
vocab.txt
项目使用指南
使用Transformers 2.3及以上版本，用户可以如下加载BERTurk无大小写模型：
from transformers import AutoModel, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("dbmdz/bert-base-turkish-128k-uncased")
model = AutoModel.from_pretrained("dbmdz/bert-base-turkish-128k-uncased")
研究成果
关于词性标注和命名实体识别任务的实验结果，请参考该项目的GitHub仓库。
Hugging Face模型中心
所有的模型均可以在Huggingface模型中心上找到。
联系与反馈
如果对BERT模型有任何疑问，可以在这里提交问题与反馈。
致谢
特别感谢Kemal Oflazer提供了额外的土耳其语大型语料库和Reyyan Yeniterzi提供的土耳其语NER数据集以供评估。该研究由Google的TensorFlow研究云（TFRC）提供的云TPU支持，并感谢Hugging Face团队慷慨提供的下载支持，使得从其S3存储中下载无大小写和大小写敏感的模型成为可能。
