Github
Huggingface
文档electra-base-italian-xxl-cased-discriminator项目介绍
项目背景
在巴伐利亚州立图书馆的MDZ数字图书馆团队（dbmdz）的努力下，意大利语的BERT和ELECTRA模型被公开发布。此项目中的模型专注于提供意大利语处理的优秀性能。
训练数据来源
意大利BERT模型的训练数据主要来自近期的维基百科数据和OPUS语料库集合。最终的语料库大小为13GB，包含超过20亿个标注（tokens）。为了保证高效的句子分割，项目采用了NLTK工具。
对于特大型（XXL）意大利模型，不仅使用了OPUS数据，还扩展了意大利部分的OSCAR语料库数据，使最终的训练语料库达到81GB，包含超过130亿个标注。
值得注意的是，在训练XXL模型时，使用了错误的词汇表大小。这导致真实的词汇表大小为31102，但与config.json中指定的大小不一致。然而，经过评估，模型在这样的情况下仍能正常运行。
ELECTRA模型训练细节
意大利ELECTRA模型是在"XXL"语料库上训练的，总共进行了100万步，每批次的处理量为128。遵循了类似于BERTurk项目的ELECTRA的训练流程。
模型权重
目前仅提供与PyTorch-Transformers兼容的权重。如果需要TensorFlow的检查点，请在项目中提出需求。
以下是部分对应的模型和下载链接：
dbmdz/electra-base-italian-xxl-cased-discriminator
结果参考
关于命名实体识别（NER）或词性标注（PoS）等下游任务的结果，请参阅这个仓库。
使用指南
对于Transformers版本大于等于2.3的库，可以按照如下示例加载意大利BERT模型：
from transformers import AutoModel, AutoTokenizer
model_name = "dbmdz/bert-base-italian-cased"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)
要加载推荐的意大利XXL BERT模型，请使用：
from transformers import AutoModel, AutoTokenizer
model_name = "dbmdz/bert-base-italian-xxl-cased"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)
要加载意大利XXL ELECTRA（判别器）模型，请使用：
from transformers import AutoModel, AutoTokenizer
model_name = "dbmdz/electra-base-italian-xxl-cased-discriminator"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelWithLMHead.from_pretrained(model_name)
Huggingface模型平台
所有模型都可以在Huggingface模型平台上获取。
联系我们
如果您对我们的BERT/ELECTRA模型有疑问或建议，请在这里提交问题。
致谢
本研究得到了Google的TensorFlow Research Cloud（TFRC）云TPU项目的支持，感谢他们提供的设备使用权限。同时，也非常感谢Hugging Face团队的大力支持，使得项目的Cased和Uncased模型都可以从他们的S3存储下载。
