#日语预训练模型
bert-base-japanese-char-v3 - BERT-base日语字符级预训练模型
Huggingface模型日语预训练模型BERTGithub开源项目自然语言处理全词掩码字符级分词
bert-base-japanese-char-v3是一个基于BERT架构的日语预训练模型，采用字符级分词和整词掩码策略。模型在CC-100和日语维基百科上训练，具有12层结构和7027词汇量。它使用MeCab和Unidic 2.1.2进行分词，在TPU上训练了200万步，为日语NLP任务提供了有力支持。
bert-base-japanese-v2 - 日语BERT预训练模型：全词屏蔽和Unidic分词
模型维基百科BERTGithub分词全词掩码Huggingface开源项目日语预训练模型
bert-base-japanese-v2是基于日语维基百科预训练的BERT模型，采用unidic-lite词典和全词屏蔽策略。模型架构包含12层、768维隐藏状态和12个注意力头。它结合MeCab和WordPiece算法进行分词，词表大小为32768。模型在512个token实例上进行了100万步训练，耗时约5天。该模型适用于多种日语自然语言处理任务，为研究人员和开发者提供了强大的日语语言理解工具。