Pyserini

Pyserini是一个用于可重现信息检索研究的Python工具包，支持稀疏和密集表示。通过与我们团队基于Lucene构建的Anserini信息检索工具包集成，实现了使用稀疏表示的检索。通过与Facebook的Faiss库集成，实现了使用密集表示的检索。

Pyserini主要设计用于在多阶段排序架构中提供有效、可重现且易于使用的第一阶段检索。我们的工具包作为标准Python包是自包含的，并附带了许多常用IR测试集的查询、相关性判断、预构建索引和评估脚本。使用Pyserini，很容易在多个标准IR测试集上重现运行结果！

更多详细信息，请参阅我们发表在SIGIR 2021上的论文，其中提供了很好的概述。

✨ 新！ 用于TREC 2024 RAG赛道的MS MARCO 2.1文档语料库工作指南。

❗ Anserini在提交272565（2024/04/03）时从JDK 11升级到JDK 21，对应于v0.35.0版本的发布。相应地，Pyserini在提交b2f677（2024/04/04）时升级到JDK 21。

🎬 安装

Pyserini基于Python 3.10构建（其他版本可能也能工作，但不保证）。通过PyPI安装：

pip install pyserini

稀疏检索依赖于Anserini，而Anserini本身是基于Lucene（用Java编写）构建的，因此需要JDK 21。

密集检索依赖于神经网络，需要更复杂的依赖集。pip安装会自动引入🤗 Transformers库以满足包要求。Pyserini还依赖于PyTorch和Faiss，但由于这些包可能需要特定平台的自定义配置，因此它们_不_在包需求中明确列出。我们将这些包的安装留给您。

软件生态系统正在快速发展，潜在的挫折来源是底层依赖项的不同版本之间的不兼容性。我们在这里提供了额外的详细安装说明。

如果您只是计划_使用_Pyserini，那么上面的pip说明就足够了。但是，如果您计划为代码库做贡献或想使用最新的尚未发布的功能，您需要进行开发安装。说明在这里提供。

🙋 如何搜索？

Pyserini支持以下类别的检索模型：

• 使用LuceneSearcher的传统词法模型（如BM25）。
• 使用LuceneImpactSearcher的学习型稀疏检索模型（如uniCOIL、SPLADE等）。
• 使用FaissSearcher的学习型密集检索模型（如DPR、Contriever等）。
• 使用HybridSearcher的混合检索模型（如密集-稀疏融合）。

有关如何使用我们已经为您构建的索引来搜索IR和NLP研究中常见的语料库（如MS MARCO、NaturalQuestions、BEIR等）的详细信息，请参阅本指南（与上面的链接相同）。

一旦您获得了前k个结果，您实际上会想要获取文档文本...有关如何操作的信息，请参阅本指南。

🙋 如何索引我自己的语料库？

这取决于您想要搜索的检索模型类型：

• 构建BM25索引（直接Java实现）
• 构建BM25索引（可嵌入Python实现）
• 构建稀疏向量索引
• 构建密集向量索引

不同类别的模型步骤不同：本指南（与上面的链接相同）描述了详细信息。

🙋 其他常见问题

• 如何配置搜索？（交互式搜索指南）
• 如何手动下载索引？（交互式搜索指南）
• 如何执行密集和混合检索？（交互式搜索指南）
• 如何遍历索引词并访问词项统计信息？（索引读取器API）
• 如何遍历倒排索引？（索引读取器API）
• 如何访问和操作词向量？（索引读取器API）
• 如何计算文档的tf-idf或BM25分数？（索引读取器API）
• 如何访问基本的索引统计信息？（索引读取器API）
• 如何访问底层Lucene分析器？（分析器API）
• 如何构建自定义Lucene查询？（查询构建器API）
• 如何遍历原始集合？（集合API）

⚗️ 可复现性

使用Pyserini，可以轻松地在多个标准IR测试集上复现运行结果！ 我们提供了一些预构建索引，可直接支持"开箱即用"的可复现性。

在我们的SIGIR 2022论文中，我们引入了"两次点击复现"，允许任何人只需两次点击（即复制和粘贴）就能复现实验运行。 文档按不同语料库的复现矩阵组织，提供了不同实验条件和查询集的摘要：

• MS MARCO V1 段落
• MS MARCO V1 文档
• MS MARCO V2 段落
• MS MARCO V2 文档
• BEIR
• Mr.TyDi
• MIRACL
• 开放域问答
• CIRAL

更多详情，请参阅我们的论文在学术研究中建立可复现性文化。

以下额外的复现指南提供了详细的分步说明。

<详细信息> <摘要>稀疏检索</摘要>

稀疏检索

• 复现Robust04即席检索基线
• 复现MS MARCO V1段落排序的BM25基线
• 复现MS MARCO V1文档排序的BM25基线
• 复现来自Elasticsearch的MS MARCO V1文档排序的多字段BM25基线
• 复现MS MARCO V2集合上的BM25基线
• 复现LTR过滤实验：MS MARCO V1段落，MS MARCO V1文档
• 复现MS MARCO V1集合上的IRST实验
• 复现DeepImpact：MS MARCO V1段落
• 复现使用doc2query-T5的uniCOIL：MS MARCO V1，MS MARCO V2
• 复现使用TILDE的uniCOIL：MS MARCO V1段落，MS MARCO V2段落
• 复现SPLADEv2：MS MARCO V1段落
• 复现Mr. TyDi实验
• 复现HC4的BM25基线
• 复现NeuCLIR22上HC4的BM25基线
• 复现SLIM实验
• KILT的基线：知识密集型语言任务基准
• TripClick的基线：健康领域的大规模点击日志数据集
• FEVER（事实抽取与验证）数据集的基线（在Anserini中）

</详细信息> <详细信息> <摘要>密集检索</摘要>

密集检索

• 复现TCT-ColBERTv1实验：MS MARCO V1
• 复现TCT-ColBERTv2实验：MS MARCO V1，MS MARCO V2
• 复现DPR实验
• 复现BPR实验
• 复现ANCE实验
• 复现DistilBERT KD实验
• 复现DistilBERT平衡主题感知采样实验
• 复现SBERT密集检索实验
• 复现ADORE密集检索实验
• 复现向量PRF实验
• 复现ANCE-PRF实验
• 复现Mr. TyDi实验
• 复现DKRR实验

</详细信息> <详细信息> <摘要>混合稀疏-密集检索</摘要>

混合稀疏-密集检索

• 复现MS MARCO V2集合上的uniCOIL + TCT-ColBERTv2实验

</详细信息> <详细信息> <摘要>可用语料库</摘要>

可用语料库

📃 其他文档

• 预构建索引指南
• 交互式搜索指南
• 使用20Newsgroups数据集进行文本分类的指南
• 使用COVID-19开放研究数据集(CORD-19)的指南
• 实体链接使用指南
• 使用spaCy的指南
• 分析器API的用法
• 索引读取器API的用法
• 查询构建器API的用法
• 集合API的用法
• 通过Pyjnius直接交互

📜️ 发布历史

• v0.36.0 (配合Anserini v0.36.1): 2024年6月17日 [发布说明]
• v0.35.0 (配合Anserini v0.35.0): 2024年4月4日 [发布说明]
• v0.25.0 (配合Anserini v0.25.0): 2024年3月31日 [发布说明]
• v0.24.0 (配合Anserini v0.24.0): 2023年12月28日 [发布说明]
• v0.23.0 (配合Anserini v0.23.0): 2023年11月17日 [发布说明]
• v0.22.1 (配合Anserini v0.22.1): 2023年10月19日 [发布说明]
• v0.22.0 (配合Anserini v0.22.0): 2023年8月31日 [发布说明]
• v0.21.0 (配合Anserini v0.21.0): 2023年4月6日 [发布说明]
• v0.20.0 (配合Anserini v0.20.0): 2023年2月1日 [发布说明]

@INPROCEEDINGS{Lin_etal_SIGIR2021_Pyserini,
   author = "Jimmy Lin and Xueguang Ma and Sheng-Chieh Lin and Jheng-Hong Yang and Ronak Pradeep and Rodrigo Nogueira",
   title = "{Pyserini}: A {Python} Toolkit for Reproducible Information Retrieval Research with Sparse and Dense Representations",
   booktitle = "Proceedings of the 44th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2021)",
   year = 2021,
   pages = "2356--2362",
}