#信息检索

terrier-core是一个开源搜索引擎平台，专为大规模文档集合设计。它提供先进的索引和检索功能，支持快速开发和评估大规模检索应用。该平台兼容TREC和CLEF测试集，适用于文本检索研究。最新版本集成Python接口PyTerrier，便于在Jupyter或Colab环境中进行实验。

FlexNeuART是一个轻量级模块化的信息检索框架，适用于研究、教育和评估。该框架支持多种检索方式，包括密集、稀疏和混合检索，并提供多字段多级正向索引功能。FlexNeuART集成了先进的神经网络和传统模型，支持多GPU训练和推理，以及集成学习。通过Python API，用户可以方便地使用检索器和排序器。在MS MARCO文档排序任务中，FlexNeuART展现了优秀的性能，为信息检索领域的研究和应用提供了灵活而强大的工具。

retriv是一个Python搜索引擎库，支持稀疏、密集和混合检索模式。它利用Numba进行向量运算加速，整合了PyTorch、Transformers和Faiss等工具，实现了高效的检索功能。该库提供自动调优，支持多语言处理，并可通过简单的API快速构建搜索系统。

PISA是一款开源的高性能文本搜索引擎，专门面向大规模文档集合。该引擎使用C++开发，具备解析、索引和分片等功能，并实现了多种索引压缩方法和查询处理算法。PISA支持构建倒排索引、执行布尔查询和文档排序，适用于信息检索研究及通用搜索系统。它可以处理包含5000万网页文档的大型语料库，并在毫秒级别内返回搜索结果，为研究人员提供了高效的实验平台。

ir_datasets是一个Python工具包,为信息检索领域的多种数据集提供统一接口。它可自动下载和处理公开数据集,并为非公开数据集提供获取指南。该工具支持Python和命令行使用,能处理大规模数据集,并修正已知问题。通过快速随机文档访问和灵活迭代切片等功能,ir_datasets简化了信息检索研究中的数据处理流程。

ranx是一个高性能Python排序评估库,专为信息检索和推荐系统设计。它利用Numba实现快速向量运算和自动并行,提供用户友好的接口进行系统评估和比较。ranx支持统计检验、LaTeX表格导出,以及多种融合算法和归一化策略。此外,ranx还提供自动融合优化功能,并配有预计算运行库ranxhub,方便进行模型比较。

本列表精选高维向量搜索和数据库领域的优质资源，包括主流向量数据库服务、开源实现、性能评测工具、学术会议等。内容全面涵盖技术前沿，定期更新，是研究和应用向量搜索技术的重要参考。该资源列表汇集了该领域的前沿技术和工具，为研究人员和开发者提供全面的参考，紧跟最新发展动态。

该模型利用sentence-transformers，通过microsoft/mpnet-base预训练模型和自监督对比学习目标进行微调，将句子和段落有效编码至768维度向量空间，适用于信息检索、语义搜索和聚类任务，尤其是在句子相似度计算中有较好表现。微调时，使用了超过10亿对的句子数据，并在TPU v3-8环境下进行了920k步训练，采用AdamW优化器和对比损失。此外，在无sentence-transformers库的情况下，通过特定的池化操作仍可实现相似的编码效果，代码实现简单易用。

INSTRUCTOR是一种基于T5架构的文本嵌入模型，支持多语言和多任务场景。该模型在句子相似度、文本分类、信息检索等任务中表现优异，适用于提示检索和文本重排序等应用。INSTRUCTOR在多项基准测试中获得了出色成绩，为自然语言处理提供了一个多功能的解决方案。

该项目是基于Baidu-ULTR数据集训练的MonoBERT交叉编码器，采用逆向倾向评分(IPS)方法缓解点击数据中的位置偏差。模型在专家注释和用户点击测试集上评估了排序和点击预测性能，并提供了使用示例。这一开源模型可应用于信息检索领域的研究和实践。

这是一个基于MS Marco Passage Ranking任务训练的跨编码器模型。主要用于信息检索领域,通过对查询和候选段落编码实现文本排序。模型在TREC Deep Learning 2019和MS Marco Passage Reranking数据集上展现出优秀性能,NDCG@10和MRR@10指标表现突出。支持Transformers和SentenceTransformers两种调用方式,适用于多种应用场景。

MedCPT-Article-Encoder是一个生物医学文章嵌入模型，通过255M对查询-文章数据预训练而成。该模型能有效捕捉生物医学文本的语义信息，适用于文章搜索、聚类等任务。在多个零样本生物医学信息检索数据集上，MedCPT-Article-Encoder展现了出色的性能。这一工具可帮助研究人员和开发者提高生物医学文献的检索和分析效率。

stella_en_1.5B_v5是一个专注于英语的语义相似度模型，在多项自然语言处理任务中表现出色。该模型在文本分类、信息检索、文本聚类和语义相似度评估等领域展现了优秀性能，特别是在亚马逊评论分类和问答检索任务中取得了显著成果。模型在多个标准数据集上的稳定表现，使其成为处理复杂英语语言任务的有力工具。

xiaobu-embedding-v2是一款中文语义嵌入模型，在多项自然语言处理任务中表现出色。该模型在文本相似度、分类、聚类、重排序和检索等方面均有良好表现，尤其在MTEB基准测试中成绩突出。这个模型可应用于问答系统、搜索优化和情感分析等多种实际场景。

该模型采用BERT架构,经由Natural Questions、TriviaQA等多个数据集训练而成。它能将文本段落高效编码为低维向量,是实现开放域问答的关键技术。作为密集段落检索(DPR)系统的重要组成部分,该模型在多个问答基准上取得了优异成绩,推动了开放域问答技术的发展。

stella-base-en-v2是一个英语文本嵌入模型，在MTEB基准测试的多个自然语言处理任务中展现出优异性能。这些任务包括文本分类、检索、聚类和语义相似度等。该模型适用于信息检索、问答系统和文本分析等多种应用场景。其特点是在多样化任务中保持较高准确率，提供了一个多功能的文本处理解决方案。

SPLADE-v3是SPLADE系列的最新稀疏神经信息检索模型，基于SPLADE++SelfDistil优化而来。该模型采用KL散度和MarginMSE混合损失函数，每次查询选取8个负样本进行训练。在性能方面，SPLADE-v3在MS MARCO开发集上达到40.2的MRR@10分数，BEIR-13测试中获得51.7的平均nDCG@10。这一成果为稀疏神经信息检索领域树立了新标准。研究人员可以通过GitHub平台获取并应用SPLADE-v3模型，以提升信息检索效果。

ms-marco-TinyBERT-L-2是一个为MS Marco段落排序任务优化的跨编码器模型。在TREC Deep Learning 2019和MS Marco段落重排任务中,它的NDCG@10和MRR@10分别达到69.84和32.56。模型每秒可处理9000个文档,为信息检索提供高效准确的解决方案。研究人员可通过Transformers或SentenceTransformers库使用该模型进行查询-段落对的相关性评分。

NoInstruct-small-Embedding-v0是一个小型嵌入模型，在MTEB基准测试中展现出优秀性能。该模型在文本相似度、分类和检索任务上表现突出，特别是在亚马逊评论分类中。基于sentence-transformers库开发，支持特征提取、句子相似度计算等多种NLP任务。在多个数据集上的出色表现体现了其在实际应用中的潜力。

这个模型专为德语语义搜索和文档检索设计。它使用机器翻译的MSMARCO数据集训练,结合硬负样本和Margin MSE损失,在非对称搜索任务中达到了先进水平。模型在germandpr-beir基准测试的NDCG指标上表现出色,优于其他多语言模型。它与Sentence Transformer库兼容,可广泛应用于各类信息检索任务。

simlm-msmarco-reranker模型采用简单的瓶颈架构,通过自监督预训练压缩段落信息。在MS-MARCO等数据集上表现优异,超越ColBERTv2等多向量方法。该模型仅需无标签语料库即可训练,适用于缺乏标记数据的场景。研究人员可以使用此模型计算查询和段落的相关性得分,应用于信息检索和文本排序任务。

Solon-embeddings-large-0.1是一个法语嵌入模型,在句子相似度、聚类、重排序、检索和分类等多项自然语言处理任务中表现出色。该模型可应用于文本分类、信息检索和语义相似度计算等领域,为法语自然语言处理提供了有力支持。

ms-marco-MiniLM-L-6-v2是一个针对MS Marco信息检索任务优化的跨编码器模型。在TREC Deep Learning 2019和MS Marco Passage Reranking数据集上，其NDCG@10和MRR@10分别达到74.30和39.01。模型每秒处理1800个文档，平衡了性能和效率。基于SentenceTransformers库，该模型可轻松集成到信息检索系统中，用于查询-段落相关性排序。

acge_text_embedding是一个针对中文自然语言处理优化的文本嵌入模型。该模型在MTEB基准测试中表现优异，尤其在语义相似度计算和信息检索任务上成绩突出。它还在文本分类等多个中文NLP任务中展现出优秀性能，为中文自然语言处理应用提供了高效的文本表示能力。

SPLADE模型是一种针对文档检索的高效架构,采用查询和文档推理分离设计。该模型在MS MARCO开发集上达到38.0 MRR@10和97.8 R@1000的性能,同时将推理延迟降至0.7毫秒。它在保持与先进神经排序器相近效果的同时,大幅缩短了延迟,接近传统BM25的速度,为文档检索领域提供了平衡效率与准确性的新方案。

efficient-splade-VI-BT-large-query是一款高效的文档检索SPLADE模型。该模型采用查询和文档推理分离架构，在MS MARCO数据集上实现38.0 MRR@10和97.8 R@1000的性能，查询推理延迟仅0.7毫秒。通过L1正则化和FLOPS正则化等技术，模型在保持接近先进单阶段神经排序器性能的同时，将延迟控制在与BM25相近水平，实现了效率与性能的平衡。

基于MS MARCO数据集开发的英德双语跨编码器模型，主要用于文本段落重排序。模型在TREC-DL19评测中NDCG@10分别达到72.94（英-英）和66.07（德-英），在GermanDPR数据集上MRR@10为49.91。支持SentenceTransformers和Transformers框架，处理速度为900对文档/秒，适用于跨语言信息检索场景。

项目专注于利用组合数据集进行信息检索与分类操作，如MedicalQARetrieval、NFCorpus和PublicHealthQA等。模型的评估指标包括精确率、召回率和F1-分数，在多任务如医疗问答和亚马逊评论分类中展现了良好性能。分类和检索任务测试结果显示，该模型在精度和性能上表现优异，为医疗嵌入和临床信息检索提供了有效的解决方案。

此开源模型基于DeepPavlov/rubert-base-cased，并经过MS-MARCO数据集优化，专用于俄语信息检索，支持高效的查询和段落相关性排序。通过安装sentence-transformers可直接使用，也可通过HuggingFace Transformers扩展文本分类功能，适合需处理俄语复杂文本的用户。

这是一个基于MS MARCO数据集训练的跨语言文本重排序模型，支持英语和德语文本的相关性排序。模型可处理英语-英语、德语-英语和德语-德语的文本匹配任务。在TREC-DL19和GermanDPR基准测试中表现出色，处理速度可达每秒1600个文档对。兼容SentenceTransformers和Transformers框架，为跨语言信息检索应用提供了高效方案。

TCT-ColBERT是一个采用知识蒸馏技术的密集文档检索模型。该模型通过教师模型紧耦合方法，实现了BERT模型的轻量化，在维持检索效果的同时提高了运行效率。项目支持Pyserini框架集成，提供完整的模型实现代码。

InRanker通过语言模型和重排序技术，在无需额外查询或人工标注的情况下提升跨领域信息检索能力。其双重蒸馏训练策略有效生成训练数据，从而优化了模型性能，并保持易用特性。

LLM2Vec-Sheared-LLaMA-mntp-unsup-simcse 是一种基于LLaMA模型的无监督语言模型嵌入技术。该项目通过剪枝和对比学习等方法优化模型，在文本分类、信息检索、聚类等多种NLP任务中表现优异。项目进行了广泛的评估，为自然语言处理领域提供了一种高效的文本表示学习方法。

TinyBERT-L-6模型在MS Marco Passage Ranking任务中进行了优化，解决信息检索中的查询与段落排序问题。该模型通过交叉编码器实现高效的信息检索，提升查准率并缩短排序时间。支持Transformers与SentenceTransformers工具使用，简化实现流程，展示良好性能。项目提供详尽的训练代码和性能评估，助力深度学习场景下的信息处理任务优化。

MMARCO-MiniLMv2-L12-H384-v1模型使用MMARCO数据集，以Google Translate翻译为14种语言，基于多语言MiniLMv2训练，主要用于信息检索。借助SentenceTransformers工具，用户可以对查询进行编码和排序，实现高效的信息检索。详细信息和训练代码可在SBERT.net及GitHub上查看，适用于多语言环境的信息检索。

这个模型专注于越南语文本嵌入，利用RAG以提高生产效率，并采用Matryoshka损失来实现嵌入截断，从而加快比较速度。微调于intfloat/multilingual-e5-base模型，该模型适用于语义文本相似性、搜索和文本分类等任务，映射到784维密集向量空间，支持多语种处理。在多个余弦相似度指标中具有卓越表现，如cosine accuracy@10达到0.9687，提供高效的信息检索和分类解决方案。