#LUKE

模型是日语版的知识增强型Transformer模型，通过将单词和实体处理为独立的词元来生成其上下文表示。该模型集成了Wikipedia实体嵌入，在特定NLP任务中表现优异。对于不使用Wikipedia实体的任务，建议使用轻量版。luke-japanese在JGLUE数据集的实验中表现出色，相较于多种基线模型效果更佳，特别是在MARC-ja、JSTS和JNLI任务中表现突出。为日语自然语言处理提供了准确理解文本与实体的有力工具。

GLuCoSE-base-ja是基于LUKE的日语文本嵌入模型,通过多样化数据集训练而成。该模型支持512个token输入和768维输出,采用平均池化,适用于句向量相似度和语义搜索任务。在JSTS语义相似度和AIO3零样本搜索基准测试中,GLuCoSE-base-ja的表现超越了包括OpenAI的text-embedding-ada-002在内的多个模型。研究人员可以通过sentence-transformers库轻松使用该模型,为日语自然语言处理应用提供支持。

LUKE-base是一个基于Transformer的预训练模型，专注于语言和实体理解，利用实体感知的自注意力机制，在多项NLP任务中表现优异。该模型具有12个隐藏层、253M参数，并以2018年Wikipedia数据训练。如需更多信息，请参阅官方库。

该项目是LUKE的日本语言版本，利用Yahoo Japan的JGLUE JNLI数据集进行优化调整。模型具备89.77%的准确率，用于计算文本关系（矛盾、中立、蕴含）并适用于自然语言推理任务。通过安装Transformers和SentencePiece库，可快速测试和应用于多语言自然语言处理项目。