LLM4IR调研

这是与信息检索领域大型语言模型相关的论文集。这些论文根据我们的调研论文《大型语言模型在信息检索中的应用：一项调研》进行组织。

如果您发现任何错误或有任何建议，欢迎与我们联系。邮箱：yutaozhu94@gmail.com 和 dou@ruc.edu.cn。

🌟 引用

如果本文对您的研究有所帮助，请kindly引用我们的论文：

@article{LLM4IRSurvey,
    author={Yutao Zhu and
            Huaying Yuan and
            Shuting Wang and
            Jiongnan Liu and
            Wenhan Liu and
            Chenlong Deng and
            Haonan Chen and
            Zhicheng Dou and
            Ji-Rong Wen},
    title={Large Language Models for Information Retrieval: A Survey},
    journal={CoRR},
    volume={abs/2308.07107},
    year={2023},
    url={https://arxiv.org/abs/2308.07107},
    eprinttype={arXiv},
    eprint={2308.07107}
}

🚀 更新日志

• 版本2 [2024-01-19]
  • 我们添加了一个新的章节介绍搜索代理，这代表了将LLM与IR系统集成的创新方法。
  • 重写器：我们增加了最近关于基于LLM的查询重写的工作，其中大多数集中在对话式搜索上。
  • 检索器：我们添加了利用LLM扩展检索器训练语料库或增强检索器架构的最新技术。
  • 重排器：我们在三个部分分别增加了最新的基于LLM的排序工作：将LLM作为监督重排器、将LLM作为无监督重排器，以及利用LLM进行训练数据增强。
  • 阅读器：我们添加了LLM增强阅读器领域的最新研究，包括介绍参考压缩技术的章节、讨论LLM增强阅读器应用的章节，以及分析LLM增强阅读器特征的章节。
  • 未来方向：我们添加了关于搜索代理的章节和讨论将LLM引入IR系统可能造成偏见的章节。

📋 目录

• 查询重写器
  • 提示方法
  • 微调方法
  • 知识蒸馏方法
• 检索器
  • 利用LLM生成搜索数据
  • 利用LLM增强模型架构
• 重排器
  • 将LLM作为监督重排器
  • 将LLM作为无监督重排器
  • 利用LLM进行训练数据增强
• 阅读器
  • 被动阅读器
  • 主动阅读器
  • 压缩器
  • 分析
  • 应用
• 搜索代理
  • 静态代理
  • 动态代理
• 其他资源

📄 论文列表

查询重写器

提示方法

1. Query2doc：使用大型语言模型进行查询扩展，Wang等人，arXiv 2023。 [论文]
2. 用于稀疏、密集和学习型稀疏检索的生成式和伪相关反馈，Mackie等人，arXiv 2023。 [论文]
3. 使用大型语言模型的生成式相关反馈，Mackie等人，SIGIR 2023（短文）。 [论文]
4. GRM：使用相关性感知样本估计的生成式相关性建模用于文档检索，Mackie等人，arXiv 2023。 [论文]
5. 大型语言模型了解您的上下文搜索意图：对话式搜索的提示框架，Mao等人，arXiv 2023。 [论文]
6. 无需相关性标签的精确零样本密集检索，Gao等人，ACL 2023。 [论文]
7. 通过提示大型语言模型进行查询扩展，Jagerman等人，arXiv 2023。 [论文]
8. 大型语言模型是强大的零样本检索器，Shen等人，arXiv 2023。 [论文]
9. 增强对话式搜索：大型语言模型辅助的信息化查询重写，Ye等人，EMNLP 2023（Findings）。 [论文]
10. 生成式大语言模型能否为测试集创建查询变体？一项探索性研究，M. Alaofi等人，SIGIR 2023（短文）。 [论文]
11. 基于语料库指导的大型语言模型查询扩展，Lei等人，EACL 2024（短文）。 [论文]
12. PromptReps：提示大型语言模型生成密集和稀疏表示用于零样本文档检索，Zhuang等人，arXiv 2024。 [论文]

微调方法

1. QUILL：使用检索增强和多阶段蒸馏的大型语言模型查询意图，Srinivasan等人，EMNLP 2022（工业界）。 [论文]（该论文在基线实验中探索了微调方法。）

知识蒸馏方法

1. QUILL：使用检索增强和多阶段蒸馏的大型语言模型查询意图，Srinivasan等人，EMNLP 2022（工业界）。 [论文]
2. 通过搜索引擎和大型语言模型交互进行知识精炼，Feng等人，arXiv 2023。 [论文]
3. 用于检索增强大型语言模型的查询重写，Ma等人，arXiv 2023。 [论文]

检索器

利用大语言模型生成搜索数据

1. InPars：使用大语言模型进行信息检索的数据增强, Bonifacio等人, arXiv 2022. [论文]
2. 基于大语言模型文档扩展的密集段落检索预训练, 马等人, arXiv 2023. [论文]
3. InPars-v2：大语言模型作为信息检索的高效数据集生成器, Jeronymo等人, arXiv 2023. [论文]
4. Promptagator：基于8个示例的少样本密集检索, 戴等人, ICLR 2023. [论文]
5. AugTriever：通过可扩展数据增强的无监督密集检索, 孟等人, arXiv 2023. [论文]
6. UDAPDR：通过大语言模型提示和重排器蒸馏的无监督领域适应, Saad-Falco等人, arXiv 2023. [论文]
7. 软提示微调：利用大语言模型增强密集检索, 彭等人, arXiv 2023. [论文]
8. CONVERSER：基于合成数据生成的少样本对话密集检索, 黄等人, ACL 2023. [论文]
9. 利用大语言模型为多语言密集检索合成多语言训练数据, Thakur等人, arXiv 2023. [论文]
10. 问题即所需：训练密集段落检索器, Sachan等人, ACL 2023. [论文]
11. 超越事实性：大语言模型作为知识生成器的全面评估, 陈等人, EMNLP 2023. [论文]

运用大语言模型改进模型架构

1. 通过对比预训练的文本和代码嵌入, Neelakantan等人, arXiv 2022. [论文]
2. 微调LLaMA用于多阶段文本检索, 马等人, arXiv 2023. [论文]
3. 大型双编码器是通用检索器, 倪等人, EMNLP 2022. [论文]
4. 基于指令的任务感知检索, 浅井等人, ACL 2023 (Findings). [论文]
5. Transformer记忆作为可微分搜索索引, Tay等人, NeurIPS 2022. [论文]
6. 大语言模型是内置的自回归搜索引擎, Ziems等人, ACL 2023 (Findings). [论文]

重排器

将大语言模型用作有监督重排序器

1. 使用BERT进行多阶段文档排序，Nogueira等人，arXiv 2019。[论文]
2. 使用预训练序列到序列模型进行文档排序，Nogueira等人，EMNLP 2020（发现）。[论文]
3. 用于段落重排序的文本到文本多视图学习，Ju等人，SIGIR 2021（短文）。[论文]
4. 使用预训练序列到序列模型进行文本排序的Expando-Mono-Duo设计模式，Pradeep等人，arXiv 2021。[论文]
5. RankT5：使用排序损失微调T5进行文本排序，Zhuang等人，SIGIR 2023（短文）。[论文]
6. 微调LLaMA用于多阶段文本检索，Ma等人，arXiv 2023。[论文]
7. 大语言模型用于文本排序的两阶段适应，Zhang等人，ACL 2024（发现）。[论文]
8. 不依赖GPT的排序：基于开源大语言模型构建列表式重排序器，Zhang等人，arXiv 2023。[论文]

将大语言模型用作无监督重排序器

1. 语言模型的整体评估，Liang等人，arXiv 2022。[论文]
2. 使用零样本问题生成改进段落检索，Sachan等人，EMNLP 2022。[论文]
3. 通过约束生成进行离散提示优化用于零样本重排序器，Cho等人，ACL 2023（发现）。[论文]
4. 开源大语言模型是强大的零样本查询似然模型用于文档排序，Zhuang等人，EMNLP 2023（发现）。[论文]
5. PaRaDe：使用大语言模型的示例进行段落排序，Drozdov等人，EMNLP 2023（发现）。[论文]
6. 超越是与否：通过评分细粒度相关性标签改进零样本大语言模型排序器，Zhuang等人，arXiv 2023。[论文]
7. ChatGPT擅长搜索吗？调查大语言模型作为重排序代理，Sun等人，EMNLP 2023。[论文]
8. 使用大语言模型进行零样本列表式文档重排序，Ma等人，arXiv 2023。[论文]
9. 在中间找到：排列自洽性改进大语言模型的列表式排序，Tang等人，arXiv 2023。[论文]
10. 大语言模型通过成对排序提示成为有效的文本排序器，Qin等人，NAACL 2024（发现）。[论文]
11. 一种用于大语言模型的有效且高效的零样本排序集合方法，Zhuang等人，SIGIR 2024。[论文]
12. InstUPR：基于指令的大语言模型无监督段落重排序，Huang和Chen，arXiv 2024。[论文]

利用大型语言模型进行训练数据增强

1. ExaRanker：基于解释增强的神经排序器，Ferraretto 等人，SIGIR 2023（短论文）。[论文]

2. InPars-Light：高效排序器的低成本无监督训练，Boytsov 等人，arXiv 2023。[论文]

3. 为交叉编码器重排序生成合成文档，Askari 等人，arXiv 2023。[论文]

4. 指令蒸馏使大型语言模型成为高效的零样本排序器，Sun 等人，arXiv 2023。[论文]

5. RankVicuna：使用开源大型语言模型进行零样本列表式文档重排序，Pradeep 等人，arXiv 2023。[论文]

6. RankZephyr：高效且鲁棒的零样本列表式重排序轻而易举！，Pradeep 等人，arXiv 2023。[论文]

读者

被动读者

1. REALM：检索增强语言模型预训练，Guu等人，ICML 2020. [论文]
2. 检索增强生成用于知识密集型自然语言处理任务，Lewis等人，NeurIPS 2020. [论文]
3. REPLUG：检索增强黑盒语言模型，Shi等人，arXiv 2023. [论文]
4. Atlas：基于检索增强语言模型的少样本学习，Izacard等人，JMLR 2023. [论文]
5. 通过少样本提示的互联网增强语言模型用于开放域问答，Lazaridou等人，arXiv 2022. [论文]
6. 利用检索重新思考：忠实的大型语言模型推理，He等人，arXiv 2023. [论文]
7. FreshLLMs：通过搜索引擎增强刷新大型语言模型，Vu等人，arxiv 2023. [论文]
8. 使大型语言模型能够生成带引用的文本，Gao等人，EMNLP 2023. [论文]
9. Chain-of-Note：增强检索增强语言模型的稳健性，Yu等人，arxiv 2023. [论文]
10. 通过数据重要性学习改进检索增强大型语言模型，Lyu等人，arXiv 2023. [论文]
11. 搜索增强指令学习，Luo等人，EMNLP 2023 (Findings). [论文]
12. RADIT：检索增强双重指令调优，Lin等人，arXiv 2023. [论文]
13. 通过从万亿个标记中检索来改进语言模型，Borgeaud等人，ICML 2022. [论文]
14. 上下文内检索增强语言模型，Ram等人，arXiv 2023. [论文]
15. 交织检索与思维链推理以解决知识密集型多步骤问题，Trivedi等人，ACL 2023. [论文]
16. 通过即插即用检索反馈改进语言模型，Yu等人，arXiv 2023. [论文]
17. 通过迭代检索-生成协同增强检索增强大型语言模型，Shao等人，EMNLP 2023 (Findings). [论文]
18. 检索-生成协同增强大型语言模型，Feng等人，arXiv 2023. [论文]
19. Self-RAG：通过自我反思学习检索、生成和评判，Asai等人，arXiv 2023. [论文]
20. 主动检索增强生成，Jiang等人，EMNLP 2023. [论文]

主动读者

1. 测量并缩小语言模型的组合性差距，Press等人，arXiv 2022. [论文]
2. 展示-搜索-预测：组合检索和语言模型用于知识密集型自然语言处理，Khattab等人，arXiv 2022. [论文]
3. 通过多条思维链的元推理回答问题，Yoran等人，arXiv 2023. [论文]

压缩器

1. LeanContext：利用LLMs进行高效的特定领域问答，Arefeen等人，arXiv 2023。[论文]

2. RECOMP：通过压缩和选择性增强改进检索增强型语言模型，Xu等人，arXiv 2023。[论文]

3. TCRA-LLM：用于降低推理成本的令牌压缩检索增强大型语言模型，Liu等人，EMNLP 2023（研究发现）。[论文]

4. 学习过滤检索增强生成的上下文，Wang等人，arXiv 2023。[论文]

分析

1. 迷失在中间：语言模型如何使用长上下文，Liu等人，arXiv 2023。[论文]

2. 通过检索增强调查大型语言模型的事实知识边界，Ren等人，arXiv 2023。[论文]

3. 探索检索器与大型语言模型的集成策略，Liu等人，arXiv 2023。[论文]

4. 刻画检索增强型大型语言模型的归因和流畅性权衡，Aksitov等人，arXiv 2023。[论文]

5. 何时不信任语言模型：调查参数化和非参数化记忆的有效性，Mallen等人，ACL 2023。[论文]

应用

1. 用医学教科书增强黑盒LLMs进行临床问答，Wang等人，arXiv 2023。[论文]

2. ATLANTIC：用于跨学科科学的结构感知检索增强语言模型，Munikoti等人，arXiv 2023。[论文]

3. 针对孟加拉语的跨语言检索增强情境学习，Li等人，arXiv 2023。[论文]

4. Clinfo.ai：一个使用科学文献回答医学问题的开源检索增强大型语言模型系统，Lozano等人，arXiv 2023。[论文]

5. 通过检索增强大型语言模型提升金融情感分析，Zhang等人，ICAIF 2023。[论文]

6. 使用检索增强大型语言模型进行可解释的长篇法律问答，Louis等人，arXiv 2023。[论文]

7. RETA-LLM：一个检索增强大型语言模型工具包，Liu等人，arXiv 2023。[论文]

8. 变色龙：用于检索增强语言模型的异构和分解加速器系统，Jiang等人，arXiv 2023。[论文]

9. RaLLe：开发和评估检索增强大型语言模型的框架，Hoshi等人，EMNLP 2023。[论文]

10. 不要忘记私有检索：大型语言模型的分布式私有相似性搜索，Zyskind等人，arXiv 2023。[论文]

搜索智能体

静态智能体

1. LaMDA：用于对话应用的语言模型，Thoppilan 等，arXiv 2022。[论文]
2. 寻求知识的语言模型：用于对话和提示补全的模块化搜索和生成，Shuster 等，EMNLP 2022（Findings）。[论文]
3. 教导语言模型使用经验证引用支持回答，Menick 等，arXiv 2022。[论文]
4. WebGLM：面向基于人类偏好的高效网络增强问答系统，Liu 等，KDD 2023。[论文]
5. 具备规划、长上下文理解和程序合成能力的真实世界网络智能体，Gur 等，arXiv 2023。[论文]
6. 知道去向何方：使大语言模型成为相关、负责任且值得信赖的搜索者，Shi 等，arXiv 2023。[论文]

动态智能体

1. WebGPT：基于人类反馈的浏览器辅助问答，Nakano 等，arXiv 2021。[论文]
2. WebShop：面向可扩展真实网络交互的基于语言智能体，Yao 等，arXiv 2022。[论文]
3. WebCPM：面向中文长文本问答的交互式网络搜索，Qin 等，ACL 2023。[论文]
4. Mind2Web：面向网络的通用智能体，Deng 等，arXiv 2023。[论文]
5. WebArena：用于构建自主智能体的真实网络环境，Zhou 等，arXiv 2023。[论文]
6. 分层提示辅助大语言模型进行网络导航，Sridhar 等，EMNLP 2023（Findings）。[论文]

其他资源

1. ACL 2023 教程：基于检索的语言模型及其应用，Asai 等，ACL 2023。[链接]
2. 大型语言模型综述，Zhao 等，arXiv 2023。[论文]
3. 信息检索遇上大语言模型：来自中国信息检索界的战略报告，Ai 等，arXiv 2023。[论文]