#LINE DistilBERT

LINE Corporation推出的DistilBERT模型专为日语文本处理而设计，基于BERT-base教师模型，在131 GB日语网络文本上完成了预训练。模型采用DistilBERT架构，有6层、768隐层、12个注意力头和66M参数。评估结果优秀，JGLUE评测中表现出色。其使用MeCab和SentencePiece进行分词和子词处理，词汇量为32768。适用于多种日语NLP任务，遵循Apache 2.0许可证。在GitHub上提供更多信息。