MS MARCO Web搜索数据集

简介

MS MARCO Web搜索是一个大规模信息丰富的Web数据集，包含数百万个真实的点击查询-文档标签。该数据集密切模仿真实世界的网页文档和查询分布，为各种下游任务提供丰富信息。它将最大的开放网页文档数据集ClueWeb22作为文档集。ClueWeb22包含约100亿个高质量网页，规模足以代表网络规模数据。它还包含来自网页的丰富信息，如网页浏览器渲染的视觉表示、原始HTML结构、干净文本、语义注释、由行业文档理解系统标注的语言和主题标签等。MS MARCO Web搜索还包含来自93种语言的1000万个独特查询，以及从微软必应搜索引擎的搜索日志中收集的数百万个相关标记的查询-文档对，作为查询集。

它提供了一个基于1亿文档集的检索基准，包含三个网络检索挑战任务，要求在机器学习和信息检索系统研究领域进行创新：嵌入模型、嵌入检索和端到端检索挑战。排行榜的主要目标是研究在大量数据可用时，哪些检索方法最有效，哪些检索方法最具成本效益。

此外，MS MARCO Web搜索还为整个100亿文档集提供了5倍于原有的真实点击标签。研究人员可以使用这个数据集来验证在小数据上有效的方法是否也适用于大数据。

引用

如果您使用MS MARCO Web搜索数据集或其衍生数据集，请引用论文：

@article{XXX,
title={MS MARCO Web Search: A Large-scale Information-rich Web Dataset with Millions of Real Click Labels},
author={Qi Chen, Xiubo Geng, Corby Rosset, Carolyn Buractaon, Jingwen Lu, Tao Shen, Kun Zhou, Chenyan Xiong, Yeyun Gong1, Paul Bennett, Nick Craswell, Xing Xie, Fan Yang, Bryan Tower, Nikhil Rao, Anlei Dong, Wenqi Jiang, Zheng Liu, Mingqin Li, Chuanjie Liu, Jason Li, Rangan Majumder, Jennifer Neville, Andy Oakley, Knut Magne Risvik, Harsha Vardhan Simhadri, Manik Varma, Yujing Wang, Linjun Yang, Mao Yang, Ce Zhang},
journal={arXiv preprint arXiv:XXX},
year={2024}
}

任务

有三个任务：嵌入模型、嵌入检索和端到端检索排名。

嵌入模型排名任务

第一个任务专注于嵌入模型排名。大规模网络数据量需要大型嵌入模型来保证足够的知识覆盖。它要求平衡以下两个目标：良好的模型泛化能力和高效的训练/推理速度。给定一个查询，您需要根据文档与查询的相关性对全集合中的文档进行排名。您可以为此任务提交最多100个文档。它对嵌入模型质量进行建模。我们评估的指标包括：

• 平均倒数排名（MRR）：第一个正确结果排名的倒数的平均值，广泛用于评估模型质量。
• 召回率：搜索过程中召回的地面真实项目（测试查询-文档标签）的平均百分比。
• 吞吐量（QPS）：所有查询同时提供，我们测量从向量摄入到使用机器上所有线程输出所有结果之间的挂钟时间。然后将吞吐量计算为每秒处理的查询数（QPS）。
• 延迟：我们测量在特定QPS下的50、90和99百分位查询延迟。

嵌入检索排名任务

嵌入模型需要与嵌入检索系统协同工作以服务于网络规模数据集。第二个任务专注于嵌入检索算法/系统性能和准确性。我们将一个基线模型生成的嵌入向量作为ANN向量集。这个挑战的目标是呼吁ANN算法创新，以最小化近似搜索和暴力搜索之间的准确性差距，同时仍保持良好的系统性能。在这个任务中，我们只评估ANN召回率（将暴力向量搜索结果作为地面真实值）、吞吐量和延迟。

端到端检索排序任务

在网络场景中，端到端检索系统的结果质量和系统性能是比较不同解决方案时最重要的指标。此挑战任务鼓励各种解决方案，包括嵌入模型加ANN系统、倒排索引解决方案、混合解决方案、神经索引器和大型语言模型等。

数据集