#维基百科语料

该BERT模型基于日语维基百科数据预训练，采用IPA词典和MeCab进行分词，并引入全词掩码技术。模型架构与BERT base一致，包含12层结构、768维隐藏状态和12个注意力头。训练语料来自2019年9月的日语维基百科，词表规模为32000。模型在Cloud TPUs上训练完成，遵循原始BERT的训练配置，并以CC BY-SA 3.0许可证发布。