bce-reranker-base_v1

项目介绍：bce-reranker-base_v1

项目概述

bce-reranker-base_v1 是由网易有道开发的一套双语及跨语种的语义表征模型，主要包括两种模型：EmbeddingModel 和 RerankerModel。这些模型在语义搜索和排序任务中表现出色，尤其擅长解决多语言与跨语言的检索问题。bce-reranker-base_v1 不仅支持中文和英文，还支持日文和韩文，为多语言应用提供了广泛的适用性。

主要特点

多语言及跨语言能力：支持中文、英文、日文和韩文，并且在跨语言任务中同样表现优异，适用于多领域的真实业务场景。
RAG优化：适用于多种领域，如教育、法律、金融、医疗、文学、FAQ、教材、维基百科等，能够进行大规模检索增强生成（RAG）的优化。
长文本重排序：支持对超过512字符长度的长文本进行高效重排序。
平滑相关性评分：RerankerModel 提供平滑且具有意义的相关性得分，用于改善排序结果和过滤低质量文本，推荐过滤阈值为0.35或0.4。
最佳实践：结合权威实践，建议使用 embedding 召回 top50-100 片段，通过 reranker 精排这些片段，最终选取 top5-10 的结果。

使用指南

安装

首先创建并激活一个 Conda 环境：

conda create --name bce python=3.10 -y
conda activate bce

然后安装 BCEmbedding：

pip install BCEmbedding==0.1.1

或者从源码安装：

git clone git@github.com:netease-youdao/BCEmbedding.git
cd BCEmbedding
pip install -v -e .

快速上手

使用 EmbeddingModel：

from BCEmbedding import EmbeddingModel

# 句子列表
sentences = ['sentence_0', 'sentence_1', ...]

# 初始化嵌入模型
model = EmbeddingModel(model_name_or_path="maidalun1020/bce-embedding-base_v1")

# 提取嵌入
embeddings = model.encode(sentences)

使用 RerankerModel 计算相关性评分并重排：

from BCEmbedding import RerankerModel

# 查询和文本列表
query = 'input_query'
passages = ['passage_0', 'passage_1', ...]

# 构造句子对
sentence_pairs = [[query, passage] for passage in passages]

# 初始化重排模型
model = RerankerModel(model_name_or_path="maidalun1020/bce-reranker-base_v1")

# 计算句子对的得分
scores = model.compute_score(sentence_pairs)