Github
Huggingface项目介绍：BERT Large Japanese v2
BERT Large Japanese v2是一个专门针对日语语言预训练的BERT模型，其目的是提高日语文本处理和分析的效率和准确性。这个版本的模型利用了多个日语数据集，并采用了先进的分词和全词掩码技术。
模型架构
该模型基于原始BERT large模型的架构，具有24层网络结构，隐藏层的维度为1024，并配有16个注意力头。这样的架构使得模型能够处理复杂的语言结构和语义理解。
训练数据
BERT Large Japanese v2的训练数据来自于CC-100数据集和日本版的维基百科。对于维基百科部分，数据来源于2023年1月2日的Wikipedia Cirrussearch转储文件。来自CC-100的数据集大约有392百万个句子，总大小为74.3GB，而来自维基百科的数据集有34百万个句子，总大小为4.9GB。为确保文本的清晰划分，我们使用了fugashi软件包以及mecab-ipadic-NEologd字典来分割句子。
分词技术
文本首先通过MeCab使用Unidic 2.1.2词典进行分词，接着使用WordPiece算法进行子词划分。此次模型使用的词汇表大小为32768。为了进行有效的分词处理，我们使用了fugashi和unidic-lite软件包。
训练过程
模型的训练分为两个阶段：首先在CC-100语料库上训练100万步，然后在维基百科语料库上再训练100万步。在训练过程中，我们采用了全词掩码的方法，即对由MeCab分词出的每个完整单词的所有子词进行掩码。这种方法有助于提高模型对词汇语境的理解能力。训练过程中使用了TPU Research Cloud提供的Cloud TPU v3-8实例。
授权及许可
预训练模型的分发遵循Apache许可证2.0，这意味着模型可以在保持相应许可证条款的前提下用于各种项目和研究。
致谢
此次模型的训练资源由TPU Research Cloud项目提供，感谢他们为该项目提供的支持与贡献。项目的预训练代码可以在GitHub上的cl-tohoku/bert-japanese仓库中找到。
