#文本检索

bm25s

BM25S为基于Python的文本检索排名函数，使用Scipy稀疏矩阵实现快速响应。其性能显著优于传统库，支持多种BM25变体，提供灵活API及Hugging Face集成，适合大规模数据的内存效率处理。

loft

LOFT是一个长文本处理基准，包含6类30多个数据集，涵盖检索、多跳推理等任务。该项目提供多模态数据、评估代码和数据集重生成工具，旨在测试大规模语言模型的长文本处理能力。LOFT为研究人员提供了标准化平台，用于全面评估长文本语言模型性能，有助于推动自然语言处理技术发展。

terrier-core

terrier-core是一个开源搜索引擎平台，专为大规模文档集合设计。它提供先进的索引和检索功能，支持快速开发和评估大规模检索应用。该平台兼容TREC和CLEF测试集，适用于文本检索研究。最新版本集成Python接口PyTerrier，便于在Jupyter或Colab环境中进行实验。

pisa

PISA是一款开源的高性能文本搜索引擎，专门面向大规模文档集合。该引擎使用C++开发，具备解析、索引和分片等功能，并实现了多种索引压缩方法和查询处理算法。PISA支持构建倒排索引、执行布尔查询和文档排序，适用于信息检索研究及通用搜索系统。它可以处理包含5000万网页文档的大型语料库，并在毫秒级别内返回搜索结果，为研究人员提供了高效的实验平台。

KoE5

KoE5是一个开源项目，旨在优化韩文文本检索，具有卓越的特征提取能力。模型在intfloat/multilingual-e5-large的基础上进行了微调，并利用ko-triplet-v1.0数据集进行优化，使其适合于复杂文本检索任务，例如信息检索和语义相似性分析。客观上，它在韩文查询处理方面表现出色，广泛应用于多语言嵌入模型的挑战中。

bge-base-en-v1.5

bge-base-en-v1.5是一个基于Transformers.js的英文文本嵌入模型，专门用于语义搜索和文本相似度计算。该模型提供高效的特征提取功能，支持多句嵌入和余弦相似度计算。它易于集成到各种自然语言处理任务中，如信息检索、文档分类和语义匹配。开发者可通过简洁的JavaScript代码实现文本嵌入和相似度计算。

splade-cocondenser-ensembledistil

SPLADE CoCondenser EnsembleDistil是一种先进的段落检索模型，在MS MARCO开发集上展现出卓越性能，MRR@10达38.3，R@1000达98.3。该模型整合了查询扩展、文档扩展和词袋等技术，并通过知识蒸馏和硬负样本采样提升了稀疏神经信息检索模型的效果。研究人员可将其应用于相关信息检索任务，更多技术细节可参考相关论文。

clip-japanese-base

该日语CLIP模型由LY Corporation开发，通过大约10亿对图文数据进行训练，适用于图像和文本的零样本分类与检索。该模型采用Eva02-B作为图像编码器，并使用12层BERT作为文本编码器。模型在图像分类中的准确率达到0.89，检索召回率为0.30。在评估中，使用了STAIR Captions和ImageNet-1K等数据集，表现优秀。模型已开源，遵循Apache 2.0协议。

splade-v3

SPLADE-v3是SPLADE系列的最新稀疏神经信息检索模型，基于SPLADE++SelfDistil优化而来。该模型采用KL散度和MarginMSE混合损失函数，每次查询选取8个负样本进行训练。在性能方面，SPLADE-v3在MS MARCO开发集上达到40.2的MRR@10分数，BEIR-13测试中获得51.7的平均nDCG@10。这一成果为稀疏神经信息检索领域树立了新标准。研究人员可以通过GitHub平台获取并应用SPLADE-v3模型，以提升信息检索效果。