#字符分词

bert-base-japanese-char是一个基于日语维基百科训练的BERT模型，采用字符级分词。模型架构包括12层、768维隐藏状态和12个注意力头，词汇量4000。处理流程先用MeCab进行形态分析，再进行字符级分词。模型在约1700万个句子上训练100万步，每批次处理256个实例，每个实例包含512个标记。该模型适用于各种日语自然语言处理任务。