#文本预训练

RoBERTa日语基础模型通过日本维基百科和CC-100语料库训练而成,采用Juman++分词系统和32000规模词表,支持掩码语言建模与下游任务微调。模型经过A100 GPU集群训练,在JGLUE基准测试中展现出稳定性能,可作为日语自然语言处理的基础模型使用。