ag-nli-DeTS-sentence-similarity-v3-light - 多语言句子相似性评分模型

ag-nli-DeTS-sentence-similarity-v3-light项目介绍

项目背景

ag-nli-DeTS-sentence-similarity-v3-light是一个用于句子相似度计算的项目。简单来说，这个项目的目的是用来比较两句子之间的语义相似性，并输出一个介于0和1之间的分数。0表示完全不相似，而1表示非常相似。这个模型是基于SentenceTransformers中的Cross-Encoder类训练的。

数据集信息

模型的训练依托于多个自然语言推理数据集，包括multi_nli和pietrolesci/nli_fever。这些数据集提供了丰富而多样的句子对，用于模型的学习和测试。

多语言支持

项目支持英文、荷兰文、德文、法文、意大利文和西班牙文等多种语言，展示了其在多语言环境下的适用性。

功能概览

ag-nli-DeTS-sentence-similarity-v3-light项目属于文本分类领域，涉及功能提取、句子相似度计算及转化器等技术。通过该模型，用户能够高效地预测和测量两句子之间的相似程度。

模型使用

使用该模型非常简单，只需将两个句子列表传入模型进行比较。以下是一个基本的使用示例：

from sentence_transformers import CrossEncoder

# 初始化模型
model = CrossEncoder('abbasgolestani/ag-nli-DeTS-sentence-similarity-v3-light')

# 定义两个句子列表
sentences1 = ['我很荣幸有机会帮助改善公司',
              '我热爱我的工作和在这里的所做的事情',
              '我对公司愿景感到兴奋']

sentences2 = ['我对公司未来充满希望',
              '我的工作和我的热情是一致的',
              '我们的公司愿景将是下一个突破，我为在这里工作感到高兴和自豪']

# 生成句子对
pairs = zip(sentences1, sentences2)
list_pairs = list(pairs)

# 进行相似度预测
scores1 = model.predict(list_pairs, show_progress_bar=False)

# 打印结果
for i in range(len(sentences1)):
    print("{} \t\t {} \t\t Score: {:.4f}".format(sentences1[i], sentences2[i], scores1[i]))

示例应用

模型除了能够兼容句子变换器(SentenceTransformers)外，还可直接通过Transformers框架中的AutoModel类使用，具备很强的灵活性。以下是另一种简单的使用方式：

from sentence_transformers import CrossEncoder

# 初始化预训练模型
model = CrossEncoder('abbasgolestani/ag-nli-DeTS-sentence-similarity-v3-light')

# 预测句子对相似度
scores = model.predict([('句子1', '句子2'), ('句子3', '句子4')])

这种通用性和高效性使得ag-nli-DeTS-sentence-similarity-v3-light在各种实际应用场景中都能发挥重要作用。无论是研究人员还是开发人员，都可以轻松地利用它来执行复杂的文本分析任务。