访问官网
Github
Huggingface
文档
论文bge-large-zh-v1.5项目介绍
bge-large-zh-v1.5是由BAAI (北京智源人工智能研究院)开发的一个中文通用嵌入模型。这个模型是FlagEmbedding项目的一部分,专注于检索增强的大语言模型。以下是对该项目的详细介绍:
模型概述
- bge-large-zh-v1.5是一个大规模中文嵌入模型
- 它是BGE(BAAI General Embedding)模型系列的最新版本
- 相比之前的版本,v1.5版本具有更合理的相似度分布
主要特点
- 语言支持:专门针对中文进行优化
- 模型规模:大型模型,具有强大的语义表示能力
- 用途:可用于文本检索、语义相似度计算等任务
- 性能:在C-MTEB(中文大规模文本嵌入基准测试)中排名第一
使用方法
该模型可以通过多种方式使用:
- 使用FlagEmbedding库:
from FlagEmbedding import FlagModel
model = FlagModel('BAAI/bge-large-zh-v1.5')
- 使用Sentence-Transformers:
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('BAAI/bge-large-zh-v1.5')
- 使用Hugging Face Transformers:
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('BAAI/bge-large-zh-v1.5')
model = AutoModel.from_pretrained('BAAI/bge-large-zh-v1.5')
检索指令
对于短查询到长文档的检索任务,建议在查询前添加指令: "为这个句子生成表示以用于检索相关文章："
模型微调
该模型支持进一步微调,可以根据特定任务进行优化。项目提供了微调的示例代码和建议。
相似度计算
v1.5版本改善了相似度分布的问题。在使用时,更重要的是相似度分数的相对顺序,而不是绝对值。
开源许可
该项目采用MIT许可证,允许自由使用、修改和分发。
总的来说,bge-large-zh-v1.5是一个强大的中文文本嵌入模型,在各种NLP任务中都有广泛的应用前景。它不仅性能出色,而且使用方便,是构建中文自然语言处理应用的理想选择。
