#跨编码器

FlashRank学习资料汇总 - 超快速文档重排序工具

2 个月前
Cover of FlashRank学习资料汇总 - 超快速文档重排序工具
相关项目
Project Cover

FlashRank

FlashRank是一款极速、超轻量的Python库,专为优化搜索和检索流程设计。基于最新的SoTA大规模语言模型和交叉编码器,支持多种再排序模式并能在常规CPU上运行。模型轻至4MB,适合AWS Lambda等无服务器环境,有效减低运行成本,提升处理效率。适合多样化的部署场景和搜索策略,是提升搜索效率的优选工具。

Project Cover

quora-roberta-base

该跨编码器模型基于RoBERTa-base架构,专为识别Quora平台上的重复问题而设计。通过SentenceTransformers框架训练,模型能为问题对预测0-1范围内的相似度分数。虽然在Quora重复问题数据集上表现出色,但仅适用于检测语义相近的问题,不适合评估一般性相似度。模型集成简便,几行代码即可在项目中实现。

Project Cover

jina-reranker-v2-base-multilingual

jina-reranker-v2-base-multilingual是一款优化文本重排序的多语言transformer模型。它支持多语言查询-文档对处理、长文本输入和闪存注意力机制,在文本检索、多语言处理、函数调用和SQL重排序等基准测试中表现卓越。该模型能显著提升信息检索系统的性能和准确度。

Project Cover

PhoRanker

PhoRanker是一款专门针对越南语文本排序的交叉编码器模型。在MS MMarco Passage Reranking - Vi - Dev数据集上,该模型在NDCG@10和MRR@10等重要指标方面表现优异。PhoRanker兼容sentence-transformers和transformers库,提供了便捷的使用方法和预处理步骤。模型不仅性能卓越,还能保持每秒处理15个文档的高效率。对于需要进行越南语文本排序的应用场景,PhoRanker是一个值得考虑的选择。

Project Cover

cross-encoder-mmarco-mMiniLMv2-L12-H384-v1

mmarco-mMiniLMv2-L12-H384-v1是一个多语言文本重排序模型,基于MiniLM架构设计。它采用12层transformer结构和384维隐藏层,专注于提升文本搜索和排序的准确性。该模型支持多语言输入,适用于搜索结果优化和文档排序等任务,在保持高效性能的同时兼顾了跨语言应用。作为一个开源项目,它为研究人员和开发者提供了强大的文本相关性评分工具。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号