访问官网
Github
Huggingface
文档
论文项目概述
ko-reranker是一个基于BAAI/bge-reranker-large模型,针对韩语数据进行微调的重排序模型。该项目旨在提高检索增强生成(RAG)系统的性能表现。
核心特点
- 重排序器(Reranker)采用问题和文档作为输入,直接输出相似度分数
- 无需计算嵌入向量,通过输入问题和段落即可获得关联性得分
- 基于交叉熵损失函数优化,相关性分数不受特定范围限制
应用场景
这个项目主要用于提升RAG系统的检索质量。在实际应用中,它能够:
- 对检索结果进行二次排序,提高相关文档的排序准确度
- 优化上下文信息的排序,使LLM能获得更优质的参考信息
- 提供比传统语义搜索更精确的相关性评分
技术优势
- 相比单纯使用嵌入模型,重排序器能提供更精确的相关性评分
- 优化了上下文顺序问题,提升了最终生成结果的质量
- 支持通过Transformers库和SageMaker两种方式灵活部署
性能表现
在评测数据集上的表现显示:
- 使用韩语微调后的重排序模型在has-right-in-contexts指标上达到0.96
- mean reciprocal rank(MRR)指标达到0.87
- 相比未使用重排序和使用原始bge-reranker-large的方案都有明显提升
使用方法
项目支持两种使用方式:
- 通过Transformers库直接使用
- 在AWS SageMaker平台上部署服务
开发者可以根据实际需求选择合适的部署方案。模型训练采用了精心调优的参数配置,确保了良好的性能表现。
数据集说明
项目使用msmarco-triplets数据集进行训练:
- 包含约50万个样本
- 每个样本包含查询、正例文本和负例文本
- 原始英文数据通过Amazon Translate转换为韩语
