#日本语
line-distilbert-base-japanese - LINE DistilBERT模型推动日语文本智能处理
Github开源项目预训练模型模型架构模型HuggingfaceApache License 2.0日本语LINE DistilBERT
LINE Corporation推出的DistilBERT模型专为日语文本处理而设计，基于BERT-base教师模型，在131 GB日语网络文本上完成了预训练。模型采用DistilBERT架构，有6层、768隐层、12个注意力头和66M参数。评估结果优秀，JGLUE评测中表现出色。其使用MeCab和SentencePiece进行分词和子词处理，词汇量为32768。适用于多种日语NLP任务，遵循Apache 2.0许可证。在GitHub上提供更多信息。
bert-large-japanese-v2 - 更高效的日语文本处理BERT模型
Github开源项目BERT模型Huggingface日本语词级标记整个单词遮盖云TPU
结合Unidic 2.1.2词典和WordPiece算法进行词汇标记的BERT模型，通过在CC-100和Jawiki语料库上的训练，提升日语文本处理的效率，适用于多种自然语言处理任务。
open-calm-small - 高效日语Transformer模型，探索OpenCALM-Small的关键特性
Github开源项目语言模型模型HuggingfaceGPT-NeoX日本语CyberAgentOpenCALM
OpenCALM-Small是由CyberAgent, Inc.开发的小型日语语言模型，以160M参数提供高效的语言生成。基于Transformer架构，它在开源库GPT-NeoX上运行，并支持多样化的生成配置。该模型使用来自日本维基百科和常见抓取数据的精选训练数据集，为高质量日语内容生成奠定基础，是开发者处理日语自然语言任务的理想选择之一。
open-calm-3b - 基于日语数据集的解码器语言模型
Github开源项目语言模型Transformer模型Huggingface日本语CyberAgentOpenCALM-3B
OpenCALM是由CyberAgent开发的语言模型，利用日语数据集进行训练，支持文本生成和自然语言处理。该模型使用GPT-NeoX库编写，提供多种规模的架构选择，如small、medium和large。open-calm-3b版本拥有2.7B参数，采用Transformer架构，提升了语言生成质量，适用于大规模日语语料库处理。